ReSRer 23.10.20 연구노트

해야할 것 poc

chromadb file to huggingface using python dataset

chroma local to server

batch processing poc with 10 size batch?

gpu encoding instread of cpu

faiss gpu

compile 안되서 포기

hf encoding gpu

일단 모델이 gpu 둘다 되는 건 확인함

Vessl 문제

Vessl gpu자원이랑 memory 500기가로 넉넉하게 줘서 바뀌었나 싶다니 문제가 많다

1달 gpu 사용 제한 있다는 점

데이터센터 맞나 의심될 정도로 인터넷 속도가 너무 느림

max 72시간 돌리거나 suspend하면 home 빼고 초기화되는 문제 (cpu image도)

외부에서 접근시 vpn 연결이 귀찮음

dataset upload해둬도 workspace mount 못하고 또 각자 인스턴스에 다운로드해야함

인터넷 느려서 데이터 다운받는거랑 pytorch 오류로 첫날은 하나도 못돌리다가


pip uninstall pytorch -y
pip uninstall pytorch -y
pip install pytorch

cannot import name '_update_worker_pids' from 'torch._C'

Updated 2025 Jul 12 10:33

이렇게 해결했다 심지어 이슈에서 제안하는 해결방안

속도도 느림

어쨋든 그 뒤에 돌렸는데


Saving 295000th passage from 8175744 to data/chroma (5673.71s)
Saving 300000th passage from 8180744 to data/chroma (5785.82s)
Saving 305000th passage from 8185744 to data/chroma (5899.33s)
Saving 310000th passage from 8190744 to data/chroma (6010.44s)
Saving 315000th passage from 8195744 to data/chroma (6128.20s)
Saving 320000th passage from 8200744 to data/chroma (6240.40s)
Saving 325000th passage from 8205744 to data/chroma (6349.55s)
Saving 330000th passage from 8210744 to data/chroma (6470.14s)
Saving 335000th passage from 8215744 to data/chroma (6593.74s)
Saving 340000th passage from db id 8220744 to data/chroma (13.95s)
Saving 345000th passage from db id 8225744 to data/chroma (146.50s)
Saving 350000th passage from db id 8230744 to data/chroma (365.76s)

index migration 시간도 오래 걸리고 메모리 올리는 데도 너무 시간 걸린다

cpu 느린거같아서 보니 1.5ghz로 돌아간다… 왜이렇게 낮춰둔거지

메모리 제한 문제

그리고터진 문제는 vpn이 시간제한있어서 끊긴다는 점 프로세스 ssh로 돌려둔거 다 강제종료되서 pm2같은 걸로 background에서 python실행해둬야할듯

pm2 python

https://pm2.io/blog/2018/09/19/Manage-Python-Processes

막상 여러개 돌리니까 메모리 부족으로 process kill 되는데 찾아보니


cat /sys/fs/cgroup/memory/memory.limit_in_bytes
64424509440

vessl이 노드를 여러 유저가 공유해서 쓰는 cgroup을 쓰는걸로 보이는데 (혹은 컨태이너 내부?) 체크해보니 64기가밖에 안된다…

huggingface to chroma기능구현

index_ctx.dataset 함수 batch processing streaem으로 from huggingface to chroma로 처리하도록 구현

https://huggingface.co/docs/datasets/stream

https://huggingface.co/intfloat/multilingual-e5-large

multilingual e5로 시작해두긴 했는데 query: 를 prefix로 넣어야 해서 찜찜하다


{
  "apps": [
    {
      "name": "index_ctx1",
      "script": "/root/ReSRer/index_ctx.py",
      "args": [
        "faiss",
        "--start_index=335000",
        "--end_index=340000"
      ],
      "wait_ready": false,
      "autorestart": false,
      "max_restarts": 5,
      "interpreter": "/root/ReSRer/.venv/bin/python"
    }
  ]
}