Seonglae Cho다른 인물 발화 evidence로 주는 문제
- nickname: {발화} 아니면 제외하라는 방식으로 해결
prompt 길어지면 evidence 잘 못찾는 문제
- 256 * 10
- 512 * 5
정도가 가장 적합했다.
reduce redis commands
이게 비용절감의 핵심
생각보다 chatgpt api는 별로 안들고
split이 크면 1000개는 되서 이거 요청때마다 가져오면 너무 클듯
- 시도 첫번째로 split, report전부 chat object로 통합해서 한꺼번에 넣고 가져오기
- 가져오는거 100mb라 max는 되는데 넣는거는 한번에 1mb가 upstash max라서 split은 각자넣는걸로
- 그래서 가져오는 건 한꺼번에 넣는거는 split별로 넣어서 비용 아주절감
RedisJSON 이용
- vercel kv는 일일 3000한도라서 못할듯 하고 현재는 분석마다 split가져오는거 없에서 아주 좋아짐
- 근데 가져오는거도 1mb 한계 있어서 50개씩 batch 로 저장
Task
뒤에 두가지 메트릭 프롬프팅 아래 세가지 hyperparameter
metricExample
여기에 영향 많이 받음. two shot으로 해볼까 score low high로
아니면 metric description으로 2개 교체
metricDescription
- split size &
top_k
- system prompt
- user prompt
서버 api 오류 - node 20으로 해
오류 표시기능
paid 아니고 결제 없으면 전체 버튼 disable
분석온거 자동으로 펼쳐지게
vercel error
- 4.5mb error