Fizzarolli commited on
Commit
1042a63
·
verified ·
1 Parent(s): 71ebbd5

Update non-lore-README-cn.md

Browse files
Files changed (1) hide show
  1. non-lore-README-cn.md +50 -49
non-lore-README-cn.md CHANGED
@@ -1,50 +1,51 @@
1
- [English](./non-lore-README.md) | [简体中文](./non-lore-README-cn.md)
2
-
3
- # Bigger Body 8b
4
- ![image/png](AETEG6110A00KPFHTKMZVNG5C0.jpeg)
5
- 基于Ministral Instruct 2410的角色扮演导向伪全微调模型
6
- Ink系列的精神续作
7
-
8
- ## 数据集
9
- Bigger Body(内部仍称为Ink v2.1)的数据混合配方堪称"黑暗料理",比初代Ink混合配方更令人发指。
10
-
11
- <details>
12
- <summary>(公开)原始数据集</summary>
13
-
14
- <ul>
15
- <li><a href="https://huggingface.co/datasets/Fizzarolli/limarp-processed">Fizzarolli/limarp-processed</a></li>
16
- <li><a href="https://huggingface.co/datasets/Norquinal/OpenCAI">Norquinal/OpenCAI</a> - <code>two_users</code> 拆分集</li>
17
- <li><a href="https://huggingface.co/datasets/allura-org/Celeste1.x-data-mixture">allura-org/Celeste1.x-data-mixture</a></li>
18
- <li><a href="https://huggingface.co/datasets/mapsila/PIPPA-ShareGPT-formatted-named">mapsila/PIPPA-ShareGPT-formatted-named</a></li>
19
- <li><a href="https://huggingface.co/datasets/allenai/tulu-3-sft-personas-instruction-following">allenai/tulu-3-sft-personas-instruction-following</a></li>
20
- <li><a href="https://huggingface.co/datasets/readmehay/medical-01-reasoning-SFT-json">readmehay/medical-01-reasoning-SFT-json</a></li>
21
- <li><a href="https://huggingface.co/datasets/LooksJuicy/ruozhiba">LooksJuicy/ruozhiba</a></li>
22
- <li><a href="https://huggingface.co/datasets/shibing624/roleplay-zh-sharegpt-gpt4-data">shibing624/roleplay-zh-sharegpt-gpt4-data</a></li>
23
- <li><a href="https://huggingface.co/datasets/CausalLM/Retrieval-SFT-Chat">CausalLM/Retrieval-SFT-Chat</a></li>
24
- <li><a href="https://huggingface.co/datasets/ToastyPigeon/fujin-filtered-instruct">ToastyPigeon/fujin-filtered-instruct</a></li>
25
- </ul>
26
- </details>
27
-
28
- ## 量化版本
29
- 待补充!
30
-
31
- ## 推荐配置
32
- 对话模板:Mistral *v7-tekken*(注意不是v3-tekken!!主要区别是v7版有特定的`[SYSTEM_PROMPT]`和`[/SYSTEM_PROMPT]`标签)
33
- 推荐采样器(非绝对最优,请自行尝试):
34
- - 我完全没头绪。请自行探索。
35
-
36
- ## 超参数
37
- ### 通用配置
38
- - 训练轮次 = 2
39
- - 学习率 = 2e-6
40
- - 学习率调度器 = 余弦退火
41
- - 优化器 = [Apollo-mini](https://github.com/zhuhanqing/APOLLO)
42
- - 优化目标模块 = `all_linear`
43
- - 有效批次大小 = 16
44
- - 权重衰减 = 0.01
45
- - 预热步数 = 50
46
- - 总训练步数 = 920
47
-
48
- ## 致谢
49
- 衷心感谢所有数据集创建者的贡献
 
50
  特别鸣谢Allura��员们的测试支持与精神鼓励 爱你们 /柏拉图式
 
1
+ [English](./non-lore-README.md) | [简体中文](./non-lore-README-cn.md)
2
+
3
+ # Bigger Body 8b
4
+ ![image/png](AETEG6110A00KPFHTKMZVNG5C0.jpeg)
5
+ 基于Ministral Instruct 2410的角色扮演导向伪全微调模型
6
+ Ink系列的精神续作
7
+
8
+ ## 数据集
9
+ Bigger Body(内部仍称为Ink v2.1)的数据混合配方堪称"黑暗料理",比初代Ink混合配方更令人发指。
10
+
11
+ <details>
12
+ <summary>(公开)原始数据集</summary>
13
+
14
+ <ul>
15
+ <li><a href="https://huggingface.co/datasets/Fizzarolli/limarp-processed">Fizzarolli/limarp-processed</a></li>
16
+ <li><a href="https://huggingface.co/datasets/Norquinal/OpenCAI">Norquinal/OpenCAI</a> - <code>two_users</code> 拆分集</li>
17
+ <li><a href="https://huggingface.co/datasets/allura-org/Celeste1.x-data-mixture">allura-org/Celeste1.x-data-mixture</a></li>
18
+ <li><a href="https://huggingface.co/datasets/mapsila/PIPPA-ShareGPT-formatted-named">mapsila/PIPPA-ShareGPT-formatted-named</a></li>
19
+ <li><a href="https://huggingface.co/datasets/allenai/tulu-3-sft-personas-instruction-following">allenai/tulu-3-sft-personas-instruction-following</a></li>
20
+ <li><a href="https://huggingface.co/datasets/readmehay/medical-01-reasoning-SFT-json">readmehay/medical-01-reasoning-SFT-json</a></li>
21
+ <li><a href="https://huggingface.co/datasets/LooksJuicy/ruozhiba">LooksJuicy/ruozhiba</a></li>
22
+ <li><a href="https://huggingface.co/datasets/shibing624/roleplay-zh-sharegpt-gpt4-data">shibing624/roleplay-zh-sharegpt-gpt4-data</a></li>
23
+ <li><a href="https://huggingface.co/datasets/CausalLM/Retrieval-SFT-Chat">CausalLM/Retrieval-SFT-Chat</a></li>
24
+ <li><a href="https://huggingface.co/datasets/ToastyPigeon/fujin-filtered-instruct">ToastyPigeon/fujin-filtered-instruct</a></li>
25
+ </ul>
26
+ </details>
27
+
28
+ ## 量化版本
29
+ - [bartowski 的 imatrix GGUF 模型](https://huggingface.co/bartowski/allura-org_Bigger-Body-8b-GGUF)
30
+ 感谢所有量化贡献者 <3
31
+
32
+ ## 推荐配置
33
+ 对话模板:Mistral *v7-tekken*(注意不是v3-tekken!!主要区别是v7版有特定的`[SYSTEM_PROMPT]`和`[/SYSTEM_PROMPT]`标签)
34
+ 推荐采样器(非绝对最优,请自行尝试):
35
+ - 我完全没头绪。请自行探索。
36
+
37
+ ## 超参数
38
+ ### 通用配置
39
+ - 训练轮次 = 2
40
+ - 学习率 = 2e-6
41
+ - 学习率调度器 = 余弦退火
42
+ - 优化器 = [Apollo-mini](https://github.com/zhuhanqing/APOLLO)
43
+ - 优化目标模块 = `all_linear`
44
+ - 有效批次大小 = 16
45
+ - 权重衰减 = 0.01
46
+ - 预热步数 = 50
47
+ - 总训练步数 = 920
48
+
49
+ ## 致谢
50
+ 衷心感谢所有数据集创建者的贡献
51
  特别鸣谢Allura��员们的测试支持与精神鼓励 爱你们 /柏拉图式