Statement of Purpose: Donghyun Lee

• 글의 시작 좀더 매력적으로 만들 수 있을까?

• Activation Sparsity에서 자연스럽게 subquadratic model 로 넘어가는 부분
• 이것처럼 research 간 유기성이 더 많으면 좋을듯. 이전 연구에서 ~ 해서 이후연구 주제선정이나 등등 복기하는 등

• Scalability 헤딩 7개 주제들이 왜 scalability로 묶였는지 잘 이해가 안감
• JRT 이후 몇가지 가정을 하면서 여러가지 research proposal 를 하는거같은데 propose들사이 명확히 구분이 잘 안됨. 아니면 마지막 self-improving ai 에 모두 포함되어 하나인건지 헷갈린다.

• Robust Alignment파트 전반적으로 깔끔하고 좋음

• open source model 파트 question의 insight가 좋은데, 문단 읽는게 개요정도 느낌이라 혹시 그걸 얻게된 본인 경험이나 prompt injection 연구랑 연결가능하면 좋을듯
• 한문단 더 추가하고 scalability에서 빼거나?

• Stanford is unequivocally my top choice. 꼭 필요한 문장인가 싶음

• reference 들어간거 좋은듯

전반적 스타일

• bold 좀 많아서 moe 괄호 안 같은건 안해도 될듯 단락에 많으면 2개?

• Moe, PEFT 같은건 italic이나 딴걸로 가능할듯?

• 저번처럼 Research Experiecne 랑 plan 명시해준게 좀더 구조파악에는 쉬웠는데 지저분해서 뺀건지 berkely스타일인지

도입

• 도입 단락 아주 좋다 보완할 부분 제안하자면
• Extrapolating해서 capable 한 models이 더 scaling law에 따른 큰모델 개발한다는거 표현 너무 좋은데 커미티 대상이라 이해하기 쉽게 이해를 돕는 표현 들어가면 좋을듯?

Scalability

• 마찬가지로 커미티로 가는거면 전반적인 readiblity 고려하면 좋을듯

• Although I joined the project after initial rejections from conferences, I played a pivotal role in its revival 이거 부정적일 수 있을거같아서 앞뒤 구절 순서 바꿔서 I played a pivotal role → rejected 된거에 기여했다. 하는게 나을수도?

• MAB 가 classical ML 프로젝트같은데 scalability 랑 엮는 과정이 안와닿아서 이전 스탠퍼드 단락 마지막 문장처럼 ~small accuracy tradeoff 이런 식으로 high level에서 연계하는게 더 개인적으로 좋음

• hardware얘기하는게 뒤에 research plan 때문인거같은데 자연스럽게 바꿔볼수 있으면 더 나을듯?

• This accomplishment was hard-earned and meaningful, overcoming significant setbacks such as limited GPU resources. 이문장 뒤랑도 겹치고 좀 애매해서 빼거나 디테일을 더해줘야 할듯요

• Research Plans에서 좀더 구체적이면 좋을듯? Efficiently sharing computations or embeddings with pagination 여기서 어떻게 해서 efficiency되는지 하기 근거라거나 (overhead에 비해) 기존 방식과 차별점 그리고 scalabilty 언급 한번 더해주면 명확해질듯

Security

• Collaborating 부터 새문단 나을수도? 이건 앞이 짧아서 모르겠다

• scaling law for safety 좋다

• Finally, extending safety mechanisms to Mamba가 약간 뜬금없는 느낌인데 잘 연결해보면 좋을수도