openai_api_server.py如何加载微调后的模型启动OpenAI风格的API服务
#92
by
RoboTerh
- opened
sorry，请问一下如何使用已经微调后的模型进行OpenAI服务的启动？
自己的尝试
根据finetune_demo文件夹下的README.md文件中的描述，使用finetune_demo/inference.py中读取模型的方式进行了openai_api_server.py的改造，具体是在glm_server.py中
其中MODEL_PATH传入的是微调后的权重路径，例如output/checkpoint-2000
运行python openai_api_server.py出现错误
探究了下原因，在创建AsyncEngineArgs对象时传入的model和tokenizer参数为MODEL_PATH，之后会根据其下的config.json加载配置，而微调后的checkpoint不存在config.json
疑问
我应该如何解决这个问题使得能够启动API服务