Bigger Body 70b
基于 Llama 3.3 70b 的沉浸式角色扮演伪全参数微调模型，Ink 系列的精神续作。
数据集
Bigger Body（内部仍称 Ink v2.1）的训练数据配方堪称精神污染，其邪恶程度甚至超越了初代 Ink 数据集。
（公开）原始数据集
- Fizzarolli/limarp-processed
- Norquinal/OpenCAI -
two_users分割 - allura-org/Celeste1.x-data-mixture
- mapsila/PIPPA-ShareGPT-formatted-named
- allenai/tulu-3-sft-personas-instruction-following
- readmehay/medical-01-reasoning-SFT-json
- LooksJuicy/ruozhiba
- shibing624/roleplay-zh-sharegpt-gpt4-data
- CausalLM/Retrieval-SFT-Chat
- ToastyPigeon/fujin-filtered-instruct
量化版本
待补充！
推荐配置
对话模板：Llama 3
推荐采样参数（仅供参考，请自行探索）：
- 暂时没有建议，自由发挥吧
超参数配置
常规参数
- 训练轮数 = 2
- 学习率 = 1e-5
- 学习率调度器 = REX
- 优化器 = CAME
- 有效批次大小 = 16
- 权重衰减 = 0.01
- 预热步数 = 0
- 总训练步数 = 920
- 量化位数 = 4bit
LoRA 参数
- LoRA 秩 = 16
- LoRA 缩放系数 = 32
- LoRA 丢弃率 = 0.25
致谢
衷心感谢所有数据集的贡献者们。
特别致谢 Allura 全体成员的测试支持与精神鼓励 /柏拉图式比心