|
|
--- |
|
|
license: mit |
|
|
datasets: |
|
|
- NotEvilAI/ru-reasoning_effort-sft_dpo_think_gpt |
|
|
- NotEvilAI/gpt-ru-reasoning_effort-sft |
|
|
- NotEvilAI/gpt-oss-20b-ru-reasoning-dpo |
|
|
language: |
|
|
- ru |
|
|
- en |
|
|
base_model: |
|
|
- openai/gpt-oss-20b |
|
|
library_name: transformers |
|
|
tags: |
|
|
- reasoning |
|
|
- russian |
|
|
- gpt-oss |
|
|
- thinking |
|
|
--- |
|
|
|
|
|
# NotEvilAI/gpt-oss-20b-ru-reasoner |
|
|
|
|
|
[NotEvilAI/gpt-oss-20b-ru-reasoner](https://huggingface.co/NotEvilAI/gpt-oss-20b-ru-reasoner) - экспериментальная модель с адаптивным русскоязычным ризонингом на основе [openai/gpt-oss-20b](https://huggingface.co/openai/gpt-oss-20b). |
|
|
|
|
|
Модель думает на том языке, на котором требуется сгенерировать ответ(протестировано на английском и русском) без явного указания языка ризонинга. |
|
|
|
|
|
Имеется 5 режимов ризонинга(`reasoning_effort`): |
|
|
- `low`, `medium`, `high` - стандартные значения минимального, среднего и большого ризонинга для gpt-oss-20b/gpt-oss-120b |
|
|
- `none` - отключить ризонинг, в thinking будет пустая строка |
|
|
- `auto` - "автоматический" размер ризонинга |
|
|
|
|
|
## Предпосылки |
|
|
|
|
|
gpt-oss-20b и gpt-oss-120b по-умолчанию всегда думают только на английском языке. |
|
|
[Официальный Cookbook OpenAI](https://cookbook.openai.com/articles/gpt-oss/fine-tune-transfomers) предлагает сделать файн-тюн gpt-oss-20b на основе датасета `HuggingFaceH4/Multilingual-Thinking`(синтетический датасет из 1к примеров, полученных путём перевода prompt-reasoning-answer на 4 языка с английского). |
|
|
Этот подход позволяет задать 'Reasoning language' в системном промте и заставить модель думтаь на требуемом языке, что в теории должно повысить качество ответов. |
|
|
Во время файнтюна модель выявляет новые закономерности и учится думать на запрашиваемом языке. |
|
|
|
|
|
При разработке данной модели мы поставили цель исключить явное указание языка ризонинга, а также добавить два новых режима ризонинга: автоматический(auto) и без ризонинга(none). |
|
|
|
|
|
## Обучение |
|
|
|
|
|
Для обучения модели был составлен датасет [NotEvilAI/ru-reasoning_effort-sft_dpo_think_gpt](https://huggingface.co/datasets/NotEvilAI/ru-reasoning_effort-sft_dpo_think_gpt). |
|
|
|
|
|
Модель обучалась на собственном сервере с 8x H200 в 2 стадии: |
|
|
- Full fine-tuning SFT с помощью axolotl: |
|
|
- `num_epochs: 5` (20b версия модели сходится медленнее, чем 120b, однако переобучения замечено не было) |
|
|
- `learning_rate: 5e-5` подобран эмпирически |
|
|
- `optimizer: adamw_torch_fused` |
|
|
- Упаковка семплов через `sample_packing, multipack_real_batches, pad_to_sequence_len, group_by_length` |
|
|
- Обучение длилось ~ 5 часов |
|
|
- DPO с помощью transformers: |
|
|
- Семплирование по 25 семплов на промт с целью поиска ризонинга не на нужном языке |
|
|
- `learning_rate: 5e-6` |
|
|
- `gradient_accumulation_steps: 4` |
|
|
- Конвертация результатирующей модели из fp32 в bf16 |
|
|
- Обучение длилось ~ 3.5 часа |
|
|
|
|
|
## Больше информации |
|
|
|
|
|
Подписывайтесь на наш [Telegram-канал](https://t.me/ak_segfault). Там мы будем выкладывать новые модели и датасеты. Также там вы можете задать автору интересующие вас вопросы. |
