Update README.md
Browse files
README.md
CHANGED
@@ -1,22 +1,53 @@
|
|
1 |
---
|
2 |
-
base_model: stepenZEN/DeepSeek-R1-Distill-Llama-8B-Abliterated
|
3 |
-
tags:
|
4 |
-
- text-generation-inference
|
5 |
-
- transformers
|
6 |
-
- unsloth
|
7 |
-
- llama
|
8 |
-
- gguf
|
9 |
-
license: apache-2.0
|
10 |
language:
|
|
|
11 |
- en
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
12 |
---
|
13 |
|
14 |
-
#
|
|
|
|
|
|
|
|
|
15 |
|
16 |
-
|
17 |
-
-
|
18 |
-
|
|
|
|
|
|
|
|
|
19 |
|
20 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
21 |
|
22 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
language:
|
3 |
+
- ru
|
4 |
- en
|
5 |
+
license: mit
|
6 |
+
tags:
|
7 |
+
- chat
|
8 |
+
- instruct
|
9 |
+
- distilled
|
10 |
+
- QA
|
11 |
+
pipeline_tag: text-generation
|
12 |
+
datasets:
|
13 |
+
- d0rj/ru-instruct
|
14 |
+
base_model:
|
15 |
+
- stepenZEN/DeepSeek-R1-Distill-Llama-8B-Abliterated
|
16 |
---
|
17 |
|
18 |
+
# DeepSeek-R1-Distill-Llama-8B-Abliterated-RU
|
19 |
+
|
20 |
+
[](https://huggingface.co/stepenZEN/DeepSeek-R1-Distill-Llama-8B-Abliterated)
|
21 |
+
|
22 |
+
Модель представляет собой дообученную версию DeepSeek-R1-Distill-Llama-8B-Abliterated:cite[10] на русскоязычном синтетическом датасете инструкций.
|
23 |
|
24 |
+
## Особенности
|
25 |
+
1. **Базовая архитектура**: Основана на Llama-8B с дистилляцией знаний от DeepSeek-R1:cite[3]:cite[6]
|
26 |
+
2. **Дообучение**: Адаптация под русский язык через датасет ru-instruct (800k+ примеров)
|
27 |
+
3. **Оптимизация**:
|
28 |
+
- Удаление артефактов перевода через модель Den4ikAI/nonsense_gibberish_detector:cite[8]
|
29 |
+
- Дедупликация методом SimHash
|
30 |
+
4. **Мультидоменность**: Поддержка математических расчётов, программирования и QA:cite[8]
|
31 |
|
32 |
+
## Датасет обучения
|
33 |
+
Комбинация 7 переведённых датасетов:
|
34 |
+
| Источник | Описание |
|
35 |
+
|----------|----------|
|
36 |
+
| OpenOrca-ru | 1.2M диалогов с детализированными ответами |
|
37 |
+
| OpenHermes-2.5-ru | Инструкции для сложных задач |
|
38 |
+
| Dolphin-ru | Мультизадачные инструкции |
|
39 |
+
| GSM8k-ru | Математические задачи |
|
40 |
+
| Boolq-ru | Вопросы с ответами Да/Нет |
|
41 |
+
| Conala-mined-ru | Python-сниппеты |
|
42 |
+
| Alpaca-cleaned-ru | Общие инструкции |
|
43 |
|
44 |
+
**Формат данных**:
|
45 |
+
```python
|
46 |
+
{
|
47 |
+
"conversations": [
|
48 |
+
{"role": "system", "content": "..."},
|
49 |
+
{"role": "user", "content": "..."},
|
50 |
+
{"role": "assistant", "content": "..."}
|
51 |
+
],
|
52 |
+
"source": "название_датасета"
|
53 |
+
}
|