Deep Learning 을 사용하여 주어진 문제를 해결한 프로젝트 경험이 있나요? 있다면 문제 및 해결 과정을 기술해주세요.
학사 학위과정 중 연세대학교의 Data Intelligence Lab 에서 인턴으로서, AI hallucination 을 막기 위해 사실 관계의 일관성에 대한 필요를 느꼈고,
관심 있는 Interpretable AI 분야에서 요약 AI 의 의사 결정을 해석 가능하도록 만드는 연구를 진행하였습니다. 연구는 Relation Triple 단위로 텍스트를
분해 후 다시 조합하는 방식으로 RTSum (Relation-Triple Summarization) 프레임워크를 제안하며, 직접 RTSum 모델 훈련을 위한 데이터셋을
생성하고 모델을 Fine-tuning 하는 과정을 거쳐 데모를 직접 배포 후 논문을 NAACL 2024 컨퍼런스에 채택될 수 있었습니다. 이러한 경험은 연구
스킬 뿐 아니라 LLM 에 기저에 있는 컴퓨팅을 더 깊게 이해해야 한다는 믿음도 강화하였습니다.
동일한 연구실에서 다음으로 진행한 연구는 ODQA(Open Domain Question Answering)입니다. LLM 컨텍스트의 제한에서 오는 답답함과 데이터
압축의 효과에 대해 탐구하기 위해, LLM 이 질문에 대한 문맥을 읽기 전에 요약하거나 다시 작성하여 더 답하기 쉽도록 context 로 변환하는 연구를
고안하였습니다. 저는 Inference 서버와 벡터 데이터베이스를 활용하여 21M 에 달하는 Wikipedia 를 빠르게 인덱싱하여 아이디어를 검증할 수
있었습니다. 연구 결과는 Baseline 에 비해 4% 높아진 성능을 보였지만, 연구 도중 비슷한 논문들이 제출되어 차별성을 주기 어려웠기 때문에 논문을
작성할 수는 없었습니다. 그럼에도 기술적인 엔지니어링의 발전과 직접 고안한 아이디어가 의도한 대로 작동한다는 증명을 얻었습니다.
연구 뿐 아니라 산업적으로 프로젝트를 개발하며 팀을 이끈 경험은 MBTI GPT 입니다. 미래의 AI 영향력을 체감하려 비즈니스 사업을 AI 서비스를
통해 시작해보아야 한다고 생각했기에, 시대적 관심사와 현대 LLM 이 할 수 있는 일을 조합하였습니다. 단순한 형태의 Chatbot 이 아니라 사람들의
흥미를 끄는 MBTI 성격 분석을 채팅 내역으로 할 수 있다는 것을 파악하고, 개인사업자 등록부터 토스 결제 API 설정까지 진행하여 기업 수준의 AI
서비스를 구성했습니다. 개인 채팅 정보를 제공해야 한다는 서비스 제한적인 특성에 맞물려 초기 사용자의 인기는 바이럴 되지 못했지만, 1,000 명
이상의 분석을 1 달 안에 얻으면서 일부 결제를 통해 서비스 런칭 경험을 얻었습니다.
KRAFTON 입사 1 년 후, 3 년 후, 5 년 후 커리어 계획을 기재해주세요.
Interpretable AI, 인공지능 블랙박스 내부의 구조를 이해하려는 시도는 AI 분야에서 제 주요 관심사입니다. 저는 이러한 AI 작동에 대한 심층적인
이해가 AGI 의 잠재적인 위협에 대한 실질적인 염려를 없앨 수 있는 가장 가능성 있는 후보 중 하나라고 생각하며, AI 의 내부 메커니즘을 밝히는
것에 집중하여 연구하고 있습니다.
최근 Interpretable AI 분야, 특히 수학적 접근을 기반으로 하는 Mechanistic Interpretability 는 Anthropic AI 의 트랜스포머 모델에 대한 계산적인
해석 가능성에 대한 연구 이후, Anthropic 에 의해 주도되고 있습니다. 영향력 있는 AI 기업 중 하나인 Anthropic AI 가 이 분야에 집중하여 연구하는
이유는 LLM 의 기본 능력을 컴퓨팅에 기반하여 이해할 수 있기 때문입니다. 예를 들어, attention head 의 역할을 In-context learning 의 LLM 에서의
발현 관점으로 해석하거나, LLM 의 feature 를 MLP activation 에서 분리해내는 연구가 있습니다.
저는 이러한 학술적 히스토리를 follow-up 하고 저만의 insight 로 재해석해 AGI Korea Facebook 그룹에 공유하며 Mechanistic Interpretability 에
대한 이해를 키워가고 있습니다. 입사 이후 1 년간은 크래프톤 내 서비스에서 제공될 안정성 있는 AI 를 구축하기 위해, 앞으로 더 중요해질
Mechanistic Interpretability 에 대한 통찰과 LLM 의 작동 원리를 크래프톤의 AI 커뮤니티 내에 공유하고 싶습니다. 더불어, 그런 인식을 바탕으로
인공지능 작동을 의도에 더 일치하도록 개선하거나 컨트롤할 수 있는 방법을 뛰어난 동료들과 함께 연구하고 싶습니다.
제 경력과 학술 연구 경험은 AI 가 의도한 대로 작동하려면 내부 메커니즘에 대한 이해가 필요하다는 것을 알려주었습니다. 이를 위해 LLM 모델의
기본 컴퓨팅 유닛인 attention mechanism 을 수학을 기반하여 기능적으로 파악하는 Mechanistic Interpretability 에 대한 이해가 필요합니다. 이
분야는 앞으로 AI safety 와 AI alignment 에서 핵심적인 연구적 기반이 될 것이기에 3 년간 이 분야에 연구적 기여를 하려고 합니다. 저는 이런
연구적 바탕과 제 엔지니어링 능력을 바탕으로 앞으로 이 분야에 연구 목표를 가지고 활동할 것이며, 5 년 이후에는 실제 서비스에 적용될 더 안전한
AGI 발전을 위해 AI Alignment 분야에 그동안 얻은 통찰들을 유저 단 AI 에 적용할 계획입니다.
Seonglae Cho