4th industrial revolution이 결구 1st, second 가 연료를 에너지로 변환시켰던 것처럼 데이터를 intelligence로 바꾸는 과정이다.
Activation Engineering
그냥 말로 하는 prompt engineering이 있고 internal state 바꾸는 activation engineering 있다.
LLM 이란 결국 next token prediction을 하는 확률 모델이다. 이 next token prediction 이 일종의 intelligence 의 한 형태인데 인간 지능도 future prediction을 위한 uncertainty principle을 기반으로 하는 world에서 probability model 인것처럼 artificial intelligence도 현재 context에 대한 next token probability model이다.
근데 이게 내부로 어떻게 일어나는 지는 흥미롭다. Transformer 모델이 dominant 한 모델 타입인데 mlp랑 attention layer 두개를 반복하는 것이라고 보면 된다. mlp와 attention block이 어떤 역할을 하는지도 내가 공부하는 분야인데 mlp는 보통 복잡한 계산이나 메모리 역할을 수행한다. attention block은 patten matching을 수행하는데 특정 단어에 대한 다음 단어나 여러 조합들이나 chain으로 패턴매칭을 하는 방식이 결합하여 무수한 형태의 언어 패턴을 찾을 수 있는 능력이 생긴다. 걔내들의 원리를 분석하고 기능을 분해해 컨트롤 하려는 게 activation engineering이 internal state를 의도한 대로 건드릴 수 있는 이유이다.