Torchserve Huggingface

Install

cd examples/Huggingface_Transformers
pip install -r requirements.txt

Create model

model_name=XLMRobertaLongForQuestionAnswering 
file_path=XLMRobertaLongForQuestionAnswering-base-squad2-512-4096/pytorch_model.bin
torch-model-archiver --model-name $model_name --version 1.0 --serialized-file $file_path --handler ./Transformer_handler_generalized.py --extra-files "./setup_config.json"

Register

mkdir model_store
mv $model_name.mar model_store

Run server

torchserve --start --model-store model_store --models my_tc=$model_name.mar --ncs

Stop

torchserve --stop

Readme

🤗 Transformers를 활용해 Torchserve 배포하기

이 글은 🤗 Transformers로 모델을 Fine-tuning한 뒤 Torchserve로 배포하는 방법에 대해 소개합니다. 이 글은 yelp 데이터 셋을 활용해 Distil-bert를 Text Classification 모델로 Fine-tuning하는 방법을 다룹니다. 모델 Fine-tuning은 Huggingfae Fine-tuning turorial 예제를 활용했습니다. 이 글외에도 추가적인 이해가 필요하다면 해당 튜토리얼도 읽어보는 것을 추천합니다. 이 글은 yelp 데이터 셋을 활용해 Distil-bert를 Text Classification 모델로 Fine-tuning하는 방법을 다룹니다. TorchServe는 Serving Huggingface Transformers using TorchServe의 예제를 참고했습니다. 해당 예제에는 SequenceClassification 외에도 token_classification, question_answering, text_generation에 대한 예제도 포함하고 있으니 필요한 경우 참고바랍니다.

https://yangoos57.github.io/blog/mlops/torchserve/Deploying_torchserve_using_transformers/