Latent Prompting Paper

현재 프롬프트 문제점은 그 모호함인데 prompt 를 sae feature 조절과 같이 사용하거나 서로 상호전환되게 해서 ember edit autosteer 처럼 미세조정 가능하도록

token embedding dㅔ 바로 넣는 법

1. system prompt 준 상태에서 activation 뽑음 어떤 뭐 방식으로던 (context 담고있는)

2. ssytem prompt 안 준 상태 에서 activation addition 만 해주면 갑자기 해당 context 다 들어옴

3. 결과적으로 이건 activation 으로 prompt compression 한거임

system prompt까지 일반화한 1:1 single-token 매핑은 아직 아무도 못 했다.