Upstage 기술 인터뷰

kubernetes

langchain

목적성이 명확하지 않은 라이브러리나 프레임워크는 죽는다

처음 ai개발에 들어가는 신규 개발자들에게 진입을 대부분 이걸로 하고 있는데, 이점이 없어 보인ㄷ다.

Huggingface ecosystem은 tei, tgi 굉장히 좋아한다. ONNX Server나 Torch serve보다 간편하고 최근 AI개발을 Github 정도의 지위로 리딩하는 건 부정할 수 없을듯. 오히려 inference와 training 라이브러리인 accelerate나 trl, peft 등은 물로 rust 기반

Candle ML 같은 저수준 프레임워크도 수준높은 사용성으로 개발하는 걸 보면 실질적으로 의미있어보인다.

Kakao mobility

가장 의미있는 건 어떤 대용량 데이터를 다루는 대형 프로젝트를 어린 나이에 개발을 이끌어 보았다는 점. 물론 PO는 따로 있었지만, 개발을 구상부터 혼자서 진행했기 때문에 프로젝트에 대한 큰 결정권을 가지고 exit에 key man으로서 기여할 수 있었다. 그리고 프로젝트가 커지면서 기여 개발자들을 2명 백엔드와 프론트엔드에 각각 통합하고 성공적으로 인수인계를 마친 후 회사를 나왔다는 게 의미있었다. 최근에 팀원들을 만날 기회가 있었는데, 제가 나온 이후에도 팀의 핵심 프로덕트로 1년 반 이후에도 잘 사용하고 있다고 한다.

기술적으로는 full stack으로 db부터 front backend, infrastructure 전부 기여했고 현재 지원하는 회사와 관련있는 부분은 Kubernetes를 이용해서 성공적으로 Kakao environment에 배포했다는 점이 있습니다. 두번재로는 redis, web server cache 등으로 대용량 데이터를 효과적으로 서빙하는 데에 익숙하다는 게 있습니다. 디테일한 부분으로는 Time series db로 로깅해서 grafana로 효율적인 모니터링을 구축했다는 것과 geodata를 다루는 데에 매우매우 익숙하다는 점과 code coverage, unit test, 내부 모듈 배포 등 코드 퀄리티에도 지속적으로 노력했습니다.

ReSRer

저번학기 졸업 프로젝트로 ODQA

(물어보면) 네이버 ai 에서 비슷한 논문 sure가 컨퍼런스 accept되면서 논문 출시 문제로 잠정중단

MBTI 윗부분은 이거내용

MBTI GPT

RAG 보안같은 경우는 보통 RAG를 대용량 데이터를 미리 split, indexing하는 것에 비해 요청마다 실시간으로 split indexing하였습니다

보안같은 경우는 이러면 파일 원본을 저장하지 않고 db에 바로 암호화해서 저장하도록 보안상 개선했습니다

Quantization 같은 부분은 제가 적용해보았다지만 그쪽 이론적인 전문가는 아닙니다. 저는 프로덕트 관점에서 Quantization이 주는 메모리 절약 효과를 이해하고 프로젝트에 적용해보았습니다. GPTQ이후로도 AWQ같은 qunatization 중요 리서치만 follow up하고 있지만, quantization은 결국 최적화 이외에는 할수 있는게 없다는 개인적 결론이라서 그쪽보다는 모델 설계나 데이터 학습에 더 집중하고 있습니다

ONNX도 비슷한 맥락으로 wasm기반의 다양한 runtime에서 모델을 작동시킬 수 있다는 점을 프로덕트에 어떻게 적용할 수 있을지 판단하에 node.js backend에 적용했습니다.

Upstage

업스테이지 'Data Research Engineer Internship' 포지션에 지원하신 동기와 생각하시는 커리어 방향에 대해 자유롭게 기술해주세요. *

업스테이지의 AI 산업에 대한 기여와 활동, 특히 LLaMa2 Fine tuning을 통한 성과와 KoLLM 리더보드에서의 활동에 대해 좋은 인상을 가지고 있습니다. 저는 RAG, Function call과 같은 LLM 모듈과 Chat, Instruction 들을 서비스 형태로 잘 이해하고 있으며, 이를 바탕으로 업스테이지가 추구하는 인재상에 부합한다고 생각합니다. 또한, LLaM2GPTQ와 같은 Private LLM 개발 경험이 있으며, AI가 사용자 맞춤형으로 발전해야 한다고 믿습니다. 이를 위해 다양한 모듈과 파라미터 튜닝을 통해 개인화된 AI 제품 개발에 기여하여 삶에 밀접한 AI 생태계에 기여하고 싶습니다.

지원 직무와 관련된 업무 경력(또는 경험)에 대해 자유롭게 기재해주세요. *

실용적인 AI service를 위해 function call과 RAG가 중요하다고 믿으며, 인간 행동을 모방해 AI 에이전트 간에 작업을 효율적으로 분배해야 합니다. 다양한 특화된 AI의 효율적인 사용을 위해 최적화를 중요하게 생각합니다. AI 최적화 기술을 지속적으로 follow up 하고 있으며, GPTQ 및 AWQ와 같은 양자화 기법을 프로젝트에 적용하여 computing cost 절감을 실현했습니다. 또한 PyTorch 및 HuggingFace transformers를 포함한 여러 AI 백엔드 및 프론트엔드 프레임워크에 대한 지식을 가지고 있습니다.

MBTI-GPT는 최근 개발한 AI Web service입니다. 서비스는 소셜 데이터를 활용하여 MBTI 유형을 근거와 함께 제공합니다. 서비스는 기존 MBTI의 자가 평가 방법을 넘어, 온라인 행동과 성격 특성 간에 의미 있는 상관관계가 있다는 사실에 기반하여 Gen AI를 활용했습니다. 기술적으로 실시간 RAG 인덱싱과 OpenAI의 JSON 모드를 전략적으로 사용하여 UX를 크게 개선했으며, 이를 통해 사용자가 자신과 주변인들을 더 깊은 이해할 수 있도록 도왔습니다.

카카오 모빌리티에서 개발당시 GCP GKE의 네트워크를 포함해 1년 동안 관리하여, 클라우드 Kubernetes 컨테이너 환경에 대한 경험을 쌓았습니다. 또한 GKE환경에 InfluxDB와 Grafana를 배포해 Slack 오류 알림 봇을 구현했습니다. 마지막으로 저는 기존의 회사 경험을 통해 지식 공유의 중요성을 인지하고 있고, 평소에 Notion을 활용해 정보를 트리 구조로 체계적으로 정리하기 때문에, 팀내 문서화와 협업 문화에 좋은 영향을 끼칠 수 있습니다.