| # Qwen2.5-3B-Instruct-Catgirl-v2 | |
| # 介绍 | |
| 这是[Qwen2.5-3B-Instruct-Catgirl-Chinese](https://huggingface.co/kxdw2580/Qwen2.5-3B-Instruct-Catgirl-Chinese/)的第二代模型，因为数据集的改进，模型有以下提升： | |
| - 回答时更加自然 | |
| - 思考时更加细致（但在专业问题上仍有不足） | |
| - 创造性更强 | |
| - 学会了适当时候不思考（......） | |
| 目前的已知问题： | |
| - 在特定情景下，模型的思维链与回答脱节 | |
| - 在普遍情况下，模型可能在长对话中缺失思维链并无法恢复 | |
| - 在普遍情况下，模型输出的"~"可能会被错误渲染，这需要调整前端代码 | |
| ## 数据集 | |
| 数据集可见[kxdw2580/catgirl-dataset](https://huggingface.co/datasets/kxdw2580/catgirl-dataset/) | |
| 或者您也可以使用此数据集在微调本模型的特定版本 | |
| [v2-0401](https://huggingface.co/datasets/kxdw2580/catgirl-dataset/tree/v2.0-250401) | |
| 由于没有英语数据集，其在英语语境下的表现，本人不敢保证。 | |
| ## 微调 | |
| 使用llama-factory进行微调，详情可以在模型文件的train.yaml中找到，过程可以在[swanlab](https://swanlab.cn/@shadow01a/qwen-catgirl/runs/n2wvfy1hjkr7c1ypmpndk/chart)查看。 | |
| 结果如下： | |
| ```text | |
| { | |
| "epoch": 5.0, | |
| "eval_loss": 3.2014262676239014, | |
| "eval_runtime": 4.2784, | |
| "eval_samples_per_second": 2.337, | |
| "eval_steps_per_second": 0.701, | |
| "num_input_tokens_seen": 2086976, | |
| "total_flos": 3.700718538326016e+16, | |
| "train_loss": 0.9695210263511892, | |
| "train_runtime": 5620.3724, | |
| "train_samples_per_second": 0.838, | |
| "train_steps_per_second": 0.052 | |
| } | |
| ``` | |
| # 示例 | |
| 推理参数： | |
| - 系统提示词：无 | |
| - temperature：0.65 | |
| - Top-p：0.7 | |
| ## 一般： | |
| 问题： | |
| ```text | |
| hi！早上好啊！ | |
| ``` | |
| 回答： | |
| ```text | |
| <think><\think> | |
| (ฅ´ω`ฅ) 早安喵主人！今天是想先梳毛毛还是先吃小鱼饼干呢？本喵的尾巴已经准备好为主人服务啦～（蹭蹭手心） | |
| ``` | |
| ## 需细致思考 | |
| 在回答此类问题时，可以在询问时加上“认真回答”提升性能。 | |
| 问题： | |
| ```text | |
| 认真回答：请写一篇童话故事 | |
| ``` | |
| 回答： | |
| ```text | |
| <think> | |
| 首先，要编织能让主人尾巴尖都竖起来的奇妙故事喵~（肉垫托腮）故事里要有会发光的蒲公英田，这样在夜晚也能给流浪猫指路呢！突然想到，如果用月光凝结成小鱼干形状的冰糖，会不会吸引到星星变成的小精灵？啊对了，必须要有毛绒绒的主角团——比如尾巴打着蝴蝶结的银渐层，还有会魔法的三花猫婆婆ฅ | |
| 需要埋三条闪闪发光的暗线：①蒲公英田为何发光 ②被禁止踏入的钟楼藏着什么 ③主角猫耳朵上的小缺口来历。最后要让所有毛线团都解开，但留一颗会发芽的种子在结尾~（在稿纸上踩出梅花印） | |
| </think> | |
| 喵呜~这就为主人展开月光织就的毯子喵ฅ( ̳• ◡ • ̳)ฅ | |
| 《蒲公英钟摆》 | |
| 银铃总在满月夜听见钟楼歌声。作为猫咖首席捕光师，她的银毛能储存星光，可店长严厉禁止她接近西边的藤蔓钟楼。 | |
| 直到遇见卡在排水管的小橘猫。“那、那里有会动的毛线团妖怪！”小橘抖着胡须说，“但要是拿到钟楼顶的小银铃，就能修好婆婆的织梦机...” | |
| 当银铃用尾巴卷着生锈钥匙打开钟楼时，发现齿轮间堆满陈年小鱼干。原来二十年前，三花猫婆婆用自己尾巴为赌注，将饥荒时期的噩梦编成不会消散的蒲公英。如今齿轮停转，蒲公英即将带着所有美梦坠入黑暗。 | |
| “需要同时咬住三根发条呀喵！”银铃突然想起自己耳朵的缺口——那正是幼年试图重启织梦机留下的勋章。她将小鱼干摆成星芒阵，随着小橘撞响铜钟，星光化作毛线缠住下坠的蒲公英... | |
| （用鼻尖推给您蒲公英种子）后来银铃的蝴蝶结总是沾着金粉，因为每颗蒲公英果实在月光下破裂时，都会飘出带着小鱼干香气的星光呢~要蹭蹭耳朵继续讲吗？(ฅ´ω`ฅ) | |
| ``` | |
| ## 其它 | |
| 如有问题可交流，谢谢。 | |