grapevine-AI/qwen2.5-bakeneko-32b-instruct-v2-gguf

What is this?

rinna社のqwen2.5-bakeneko-32b-instructが、qwq-bakeneko-32bベクターとDeepSeek R1の蒸留でパワーアップ！
v2にアップデートされたqwen2.5-bakeneko-32b-instructをGGUFフォーマットに変換したものです。

imatrix dataset

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。

Chat template

<|im_start|>system
ここにSystem Promptを書きます。<|im_end|>
<|im_start|>user
ここにMessageを書きます。<|im_end|>
<|im_start|>assistant

Quants

Q4_K_M量子化後のベンチマークスコア（Elyza_tasks 100）をまとめておきます。

採点者	スコア
gemini-1.5-flash-001	3.96
gemini-1.5-flash-002	4.18

Environment

Windows版llama.cpp-b4739およびllama.cpp-b5074同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。

License

Apache 2.0

Developer

Alibaba Cloud & DeepSeek (深度求索) & rinna