Update non-lore-README-cn.md
Browse files- non-lore-README-cn.md +50 -49
non-lore-README-cn.md
CHANGED
@@ -1,50 +1,51 @@
|
|
1 |
-
[English](./non-lore-README.md) | [简体中文](./non-lore-README-cn.md)
|
2 |
-
|
3 |
-
# Bigger Body 8b
|
4 |
-

|
5 |
-
基于Ministral Instruct 2410的角色扮演导向伪全微调模型
|
6 |
-
Ink系列的精神续作
|
7 |
-
|
8 |
-
## 数据集
|
9 |
-
Bigger Body(内部仍称为Ink v2.1)的数据混合配方堪称"黑暗料理",比初代Ink混合配方更令人发指。
|
10 |
-
|
11 |
-
<details>
|
12 |
-
<summary>(公开)原始数据集</summary>
|
13 |
-
|
14 |
-
<ul>
|
15 |
-
<li><a href="https://huggingface.co/datasets/Fizzarolli/limarp-processed">Fizzarolli/limarp-processed</a></li>
|
16 |
-
<li><a href="https://huggingface.co/datasets/Norquinal/OpenCAI">Norquinal/OpenCAI</a> - <code>two_users</code> 拆分集</li>
|
17 |
-
<li><a href="https://huggingface.co/datasets/allura-org/Celeste1.x-data-mixture">allura-org/Celeste1.x-data-mixture</a></li>
|
18 |
-
<li><a href="https://huggingface.co/datasets/mapsila/PIPPA-ShareGPT-formatted-named">mapsila/PIPPA-ShareGPT-formatted-named</a></li>
|
19 |
-
<li><a href="https://huggingface.co/datasets/allenai/tulu-3-sft-personas-instruction-following">allenai/tulu-3-sft-personas-instruction-following</a></li>
|
20 |
-
<li><a href="https://huggingface.co/datasets/readmehay/medical-01-reasoning-SFT-json">readmehay/medical-01-reasoning-SFT-json</a></li>
|
21 |
-
<li><a href="https://huggingface.co/datasets/LooksJuicy/ruozhiba">LooksJuicy/ruozhiba</a></li>
|
22 |
-
<li><a href="https://huggingface.co/datasets/shibing624/roleplay-zh-sharegpt-gpt4-data">shibing624/roleplay-zh-sharegpt-gpt4-data</a></li>
|
23 |
-
<li><a href="https://huggingface.co/datasets/CausalLM/Retrieval-SFT-Chat">CausalLM/Retrieval-SFT-Chat</a></li>
|
24 |
-
<li><a href="https://huggingface.co/datasets/ToastyPigeon/fujin-filtered-instruct">ToastyPigeon/fujin-filtered-instruct</a></li>
|
25 |
-
</ul>
|
26 |
-
</details>
|
27 |
-
|
28 |
-
## 量化版本
|
29 |
-
|
30 |
-
|
31 |
-
|
32 |
-
|
33 |
-
|
34 |
-
|
35 |
-
|
36 |
-
|
37 |
-
|
38 |
-
|
39 |
-
-
|
40 |
-
-
|
41 |
-
-
|
42 |
-
-
|
43 |
-
-
|
44 |
-
-
|
45 |
-
-
|
46 |
-
-
|
47 |
-
|
48 |
-
|
49 |
-
|
|
|
50 |
特别鸣谢Allura��员们的测试支持与精神鼓励 爱你们 /柏拉图式
|
|
|
1 |
+
[English](./non-lore-README.md) | [简体中文](./non-lore-README-cn.md)
|
2 |
+
|
3 |
+
# Bigger Body 8b
|
4 |
+

|
5 |
+
基于Ministral Instruct 2410的角色扮演导向伪全微调模型
|
6 |
+
Ink系列的精神续作
|
7 |
+
|
8 |
+
## 数据集
|
9 |
+
Bigger Body(内部仍称为Ink v2.1)的数据混合配方堪称"黑暗料理",比初代Ink混合配方更令人发指。
|
10 |
+
|
11 |
+
<details>
|
12 |
+
<summary>(公开)原始数据集</summary>
|
13 |
+
|
14 |
+
<ul>
|
15 |
+
<li><a href="https://huggingface.co/datasets/Fizzarolli/limarp-processed">Fizzarolli/limarp-processed</a></li>
|
16 |
+
<li><a href="https://huggingface.co/datasets/Norquinal/OpenCAI">Norquinal/OpenCAI</a> - <code>two_users</code> 拆分集</li>
|
17 |
+
<li><a href="https://huggingface.co/datasets/allura-org/Celeste1.x-data-mixture">allura-org/Celeste1.x-data-mixture</a></li>
|
18 |
+
<li><a href="https://huggingface.co/datasets/mapsila/PIPPA-ShareGPT-formatted-named">mapsila/PIPPA-ShareGPT-formatted-named</a></li>
|
19 |
+
<li><a href="https://huggingface.co/datasets/allenai/tulu-3-sft-personas-instruction-following">allenai/tulu-3-sft-personas-instruction-following</a></li>
|
20 |
+
<li><a href="https://huggingface.co/datasets/readmehay/medical-01-reasoning-SFT-json">readmehay/medical-01-reasoning-SFT-json</a></li>
|
21 |
+
<li><a href="https://huggingface.co/datasets/LooksJuicy/ruozhiba">LooksJuicy/ruozhiba</a></li>
|
22 |
+
<li><a href="https://huggingface.co/datasets/shibing624/roleplay-zh-sharegpt-gpt4-data">shibing624/roleplay-zh-sharegpt-gpt4-data</a></li>
|
23 |
+
<li><a href="https://huggingface.co/datasets/CausalLM/Retrieval-SFT-Chat">CausalLM/Retrieval-SFT-Chat</a></li>
|
24 |
+
<li><a href="https://huggingface.co/datasets/ToastyPigeon/fujin-filtered-instruct">ToastyPigeon/fujin-filtered-instruct</a></li>
|
25 |
+
</ul>
|
26 |
+
</details>
|
27 |
+
|
28 |
+
## 量化版本
|
29 |
+
- [bartowski 的 imatrix GGUF 模型](https://huggingface.co/bartowski/allura-org_Bigger-Body-8b-GGUF)
|
30 |
+
感谢所有量化贡献者 <3
|
31 |
+
|
32 |
+
## 推荐配置
|
33 |
+
对话模板:Mistral *v7-tekken*(注意不是v3-tekken!!主要区别是v7版有特定的`[SYSTEM_PROMPT]`和`[/SYSTEM_PROMPT]`标签)
|
34 |
+
推荐采样器(非绝对最优,请自行尝试):
|
35 |
+
- 我完全没头绪。请自行探索。
|
36 |
+
|
37 |
+
## 超参数
|
38 |
+
### 通用配置
|
39 |
+
- 训练轮次 = 2
|
40 |
+
- 学习率 = 2e-6
|
41 |
+
- 学习率调度器 = 余弦退火
|
42 |
+
- 优化器 = [Apollo-mini](https://github.com/zhuhanqing/APOLLO)
|
43 |
+
- 优化目标模块 = `all_linear`
|
44 |
+
- 有效批次大小 = 16
|
45 |
+
- 权重衰减 = 0.01
|
46 |
+
- 预热步数 = 50
|
47 |
+
- 总训练步数 = 920
|
48 |
+
|
49 |
+
## 致谢
|
50 |
+
衷心感谢所有数据集创建者的贡献
|
51 |
特别鸣谢Allura��员们的测试支持与精神鼓励 爱你们 /柏拉图式
|