Realtime VLA Steering

steering humanoid control model - skill discovery transitioning - and discussion for model grounding universality

simulation

VLA steering

real time manipulation is necessary for

Alphamayo car driving simulation with streaming intervention seamless

vla 에서 생성되는 image 가 어떻게 반영되는지 action token 은 그냥 더해질거같긴한데

image patch 3 frame 마다 전부 token 더해준다고

mp4 처럼 streaming 데이터에다가 image token 그냥 학습시키면 안되나 이게 general video 면 안될거같아도 real world eye 면 항상 연속적이니 일부 변환된부분 patch 만주는게 맞을거같은데

Latent Prompting Paper

현재 프롬프트 문제점은 그 모호함인데 prompt 를 sae feature 조절과 같이 사용하거나 서로 상호전환되게 해서 ember edit autosteer 처럼 미세조정 가능하도록

token embedding dㅔ 바로 넣는 법

1. system prompt 준 상태에서 activation 뽑음 어떤 뭐 방식으로던 (context 담고있는)

2. ssytem prompt 안 준 상태 에서 activation addition 만 해주면 갑자기 해당 context 다 들어옴

3. 결과적으로 이건 activation 으로 prompt compression 한거임

system prompt까지 일반화한 1:1 single-token 매핑은 아직 아무도 못 했다.

remove sae dependency

realtime

dynamic (different feature)

conditional (some token)

interpretable

AI Overthinking Manifold Steering