A newer version of this model is available: lianghsun/Llama-3.2-Taiwan-3B-Instruct

Model Card for lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF

[👋 歡迎加入 Discord 討論 🎉]

image/png

圖像後製來自 VisuaParadigm:站在玉山上的量化 🦙 。

透過 llama.cpplianghsun/Llama-3.2-Taiwan-3B-Instruct 版本轉成 .gguf 和各種量化版本模型。

Model Change Log
Update Date Model Version Key Changes
2025-01-01 v2025.01.01 This version corresponds to the v2025.01.01 release of lianghsun/Llama-3.2-Taiwan-3B-Instruct.
2024-12-11 v2024.12.11 This version corresponds to the v2024.11.27 release of lianghsun/Llama-3.2-Taiwan-3B-Instruct.

More Information

請參考不同 tag 選擇對照的原始非量化的版本,最新的 main 分支對映的是 v2025.01.01 版本,有關原始非量化版本請參考原始模型 lianghsun/Llama-3.2-Taiwan-3B-Instruct 介紹。

已知問題: 量化後的模型會有機率輸出全部簡體中文的情況,此問題目前尚未深入研究原因。

Issuses

How to use in Ollama

根據 Issue:ollama 直接run gguf會跑出文不對題 討論串, @k1dave6412 查出原因是要調整預設的對話模板(chat template),故我們在 repo 內有放置一個 template 的檔案來修正這個問題,但如果你要客制你的對話模板,請照著 Ollama 的 Template 設定。

Model Card Authors

Huang Liang Hsun

Model Card Contact

Huang Liang Hsun

Downloads last month
1,207
GGUF
Model size
3.61B params
Architecture
llama

2-bit

3-bit

4-bit

5-bit

6-bit

8-bit

Inference Examples
Inference API (serverless) does not yet support llama.cpp models for this pipeline type.

Model tree for lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF

Collection including lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF