[English](./non-lore-README.md) | [简体中文](./non-lore-README-cn.md) # Bigger Body 70b 基于 Llama 3.3 70b 的沉浸式角色扮演伪全参数微调模型，Ink 系列的精神续作。 ## 数据集 Bigger Body（内部仍称 Ink v2.1）的训练数据配方堪称精神污染，其邪恶程度甚至超越了初代 Ink 数据集。

（公开）原始数据集

## 量化版本待补充！ ## 推荐配置对话模板：Llama 3 推荐采样参数（仅供参考，请自行探索）： - 暂时没有建议，自由发挥吧 ## 超参数配置 ### 常规参数 - 训练轮数 = 2 - 学习率 = 1e-5 - 学习率调度器 = [REX](https://github.com/IvanVassi/REX_LR) - 优化器 = [CAME](https://github.com/yangluo7/CAME) - 有效批次大小 = 16 - 权重衰减 = 0.01 - 预热步数 = 0 - 总训练步数 = 920 - 量化位数 = 4bit ## LoRA 参数 - LoRA 秩 = 16 - LoRA 缩放系数 = 32 - LoRA 丢弃率 = 0.25 ## 致谢衷心感谢所有数据集的贡献者们。特别致谢 Allura 全体成员的测试支持与精神鼓励 /柏拉图式比心