README.md

---
license: apache-2.0
language:
- en
- ru
base_model:
- mistralai/Mistral-Small-3.2-24B-Instruct-2506
library_name: transformers
datasets:
  - Vikhrmodels/GrandMaster2
---

## Vistral-24B-Instruct
### Описание

**Vistral** - это наша новая флагманская унимодальная LLM (Large Language Model) представляющая из себя улучшенную версию [mistralai/Mistral-Small-3.2-24B-Instruct-2506](https://huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506) командой **VikhrModels**, адаптированную преимущественно для русского и английского языков. Удалён визуальный энкодер, убрана мультимодальность. Сохранена стандартная архитектура "MistralForCausalLM" без изменений в базовой структуре модели.

Весь использованный код для обучения доступен в нашем репозитории [effective_llm_alignment](https://github.com/VikhrModels/effective_llm_alignment/) на GitHub, а основные датасеты доступны в нашем [профиле на HF](https://huggingface.co/Vikhrmodels).

Модель доступна на нашем сайте [Chat Vikhr](https://chat.vikhr.org)

## Quantized variants:

- GGUF [Vikhrmodels/Vistral-24B-Instruct-GGUF](https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-GGUF)
- MLX
  - 4 bit [Vikhrmodels/Vistral-24B-Instruct-MLX_4bit](https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-MLX_4bit)
  - 8 bit [Vikhrmodels/Vistral-24B-Instruct-MLX_8bit](https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-MLX_8bit)


### Метрики и оценка качества

Модель оценивалась на нашем русскоязычном open-source SbS бенчмарке [ru-arena-general](https://github.com/VikhrModels/ru_llm_arena)



#### Результаты на Ru-Arena-General

| Model Name                                       | Winrate  | 95% CI             | Average # Tokens |
|--------------------------------------------------|--------|--------------------|------------------|
| **Vistral-24B-Instruct**               | **96.1**   | (-0.7, 0.8)        | 647              |
| Mistral-Small-3.2-24B-Instruct-2506                        | 92.1   | (-0.9, 1.0)        | 486              |
| vikhr-nemo-12b-instruct-r-21-09-24(180 leaked)               | 79.8   | (-2.2, 1.9)        | 627              |



#### Пример правильного использования с OpenAI-like API

Запуск vLLM сервера: `vllm serve --dtype half --max-model-len 32000 -tp 1 Vikhrmodels/Vistral-24B-Instruct --api-key token-abc123`

```python
from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="token-abc123",
)

llm_model = "Vikhrmodels/Vistral-24B-Instruct"

sample_history = [
    {'role': 'user', 'content': 'Напиши краткое описание книги Гарри Поттер.'}
]

final_answer = llm_client.chat.completions.create(
    model=llm_model,
    messages=sample_history,
    temperature=0.3,
    max_tokens=2048
).choices[0].message.content

print(final_answer)
```

Ответ после выполнения кода будет выглядеть примерно так:

    **Краткое описание книги «Гарри Поттер»:**  

    «Гарри Поттер» — это серия фантастических романов Дж. К. Роулинг о мальчике-волшебнике, который узнаёт, что он сын могущественных магов, и отправляется учиться в школу чародейства и волшебства Хогвартс. В первом томе («Гарри Поттер и философский камень») Гарри знакомится с друзьями Роном и Гермионой, раскрывает тайну своего прошлого и сталкивается с опасным тёмным магом Волан-де-Мортом.  
    
    В последующих книгах Гарри и его друзья борются с силами зла, раскрывают древние тайны, переживают взросление и учатся использовать волшебство во благо. Серия сочетает приключения, дружбу, магию и борьбу добра со злом.  
    
    **Основные темы:** волшебный мир, дружба, храбрость, преданность, борьба со злом.


### Нюансы и ограничения
- Модель имеет **низкий уровень безопасности ответов** и нацелена на правильное и полное выполенние инструкций, имейте это ввиду при использовании и тестируйте самостоятельно. Частично это исправляется системными промптами и дополнительными указаниями о важности безопасности в промпте пользователя.
- Системные промпты не предназначены для описание персонажей, мы рекомендуем использовать их для спецификации стиля ответа (вроде "answer only in json format"). Кроме того, желательно, писать их **на английском языке**, так как так было в датасете, от использования английского в системных промтпах не зависит язык ответа.
- Модель лучше использовать с низкой темптературой (0.1-0.5), а таже использовать top_k (30-50), при температуре 1.0 были замечены случайные дефекты генерации.

### Авторы
- Nikolay Kompanets, [LakoMoor](https://t.me/lakomoordev), [Vikhr Team](https://t.me/vikhrlabs)
- Sergei Bratchikov, [NLP Wanderer](https://t.me/nlpwanderer), [Vikhr Team](https://t.me/vikhrlabs)
- Konstantin Korolev, [Vikhr Team](https://t.me/vikhrlabs)
- Aleksandr Nikolich, [Vikhr Team](https://t.me/vikhrlabs)

```
@inproceedings{nikolich2024vikhr,
  title={Vikhr: Advancing Open-Source Bilingual Instruction-Following Large Language Models for Russian and English},
  author={Aleksandr Nikolich and Konstantin Korolev and Sergei Bratchikov and Nikolay Kompanets and Igor Kiselev and Artem Shelmanov},
  booktitle={Proceedings of the 4th Workshop on Multilingual Representation Learning (MRL) @ EMNLP-2024},
  year={2024},
  publisher={Association for Computational Linguistics},
  url={https://arxiv.org/pdf/2405.13929}
}
```