System Prompt Is Always Overwritten by chat_template
日本語:
"chat_template"を適用すると、systemロールの内容が常に固定文言で上書きされる仕様になっています
これは何か意図があってのことでしょうか？
他のinstruct系モデルのように、systemロールの内容をそのまま反映できると嬉しいです。
English:
When applying the "chat_template", the content of the system role is always overwritten with a fixed string.
Is there any specific reason for this design?
It would be helpful if the actual content of the system role could be reflected as in other instruct models.
Ref:
https://huggingface.co/llm-jp/llm-jp-3.1-1.8b-instruct4/blob/main/tokenizer_config.json#L71
本モデルでは、system ロールの内容について、特定の固定文言のみを用いて学習を行っております。そのため、これ以外の文言を指定した場合、モデルの性能が劣化する可能性があり、現在の chat_template では常に固定文言が使用される仕様としています。
他の instruct 系モデルのように柔軟に system コンテンツを扱えるようにすることは、今後の改良項目として検討しておりますが、現時点では chat_template をカスタマイズしてご利用いただくのが良いかと思います。
なるほど！
確かに、（別のモデルですが）システムプロンプトをファインチューニング時と推論時で変えたら、性能が悪くなったことがありました。
ご丁寧に説明くださり、ありがとうございます。