Upload fine-tuned model (rumodernbert_solyanka) to insuperabile/rumodernbert-solyanka

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,547 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:1900000
+- loss:TripletLoss
+base_model: deepvk/RuModernBERT-base
+widget:
+- source_sentence: Знаете ли Вы отчего зависит есть ли у человека зубы мудрости? У
+    меня например начали резаться с 15 лет, а у некоторых знакомых которым по 30 лет
+    их нет...
+  sentences:
+  - 'Я точно знаю, от чего зависит то, что у меня их нет. Вернее, не от чего, а от
+    кого: от стоматолога - он их удалил! )))))))))))))
+
+    А если серьезно.. . То, посмотрите, какие люди разные - высокие и маленькие, полные
+    и худые, блондины и брюнеты.. . Так и с зубами. У одного с 15 лет выросли, а у
+    другого дольше сидят. У некоторых вообще не вырастают потому, что им места нет
+    или еще какие-то там нарушения. И мудрость здесь ни при чем. Просто эти зубы начинают
+    расти не в нежном детском возрасте, а тогда, когда человек уже взрослый и мудрый.
+    Это переносный смысл. '
+  - Любовь - кольцо, это тот же треугольник, только со стерными углами))) ) гыы
+  - Была во всех трёх странах. В Индии грязнее всего, в Гоа с детьми делать нечего.
+    В Таиланде не так чтобы очень, но тоже далеко не идеально. Во Вьетнаме чище и
+    ухоженнее всего.
+- source_sentence: Торговые риски и развитие мясоперерабатывающей отрасли в России
+  sentences:
+  - Введение. В данной статье проанализирована актуальная проблема торговых рисков
+    и развитие мясоперерабатывающей отрасли. А целью данного исследования является
+    выявление ключевых аспектов продовольственной самообеспеченности через призму
+    существующих угроз и состояния развития рынка мясных продуктов Российской Федерации.
+    Материалы и методы. Данное исследование основывается на научных исследованиях
+    российских и зарубежных ученых, которые изучают развитие мясоперерабатывающей
+    отрасли в России. На основании этих исследований была определена оценка торговых
+    рисков для потребителей и производителей мяса в стране, что показало неоднородность
+    объемов производства мясных продуктов и цен производителей на мясные изделия между
+    федеральными округами Российской Федерации. Также был проведен двухвыборочный
+    t -критерий Стьюдента и двухфакторный дисперсионный анализ ANOVA по годам, который
+    окончательно закрепил предположение о том, что Россию можно считать страной со
+    значительными региональными различиями с точки зрения мясоперерабатывающей отрасли.
+    Результаты. Основные выводы свидетельствуют о том, что во всех федеральных округах
+    России наблюдался значительный рост прибыли; однако темпы роста, по-видимому,
+    различаются по регионам. Как это ни парадоксально, торговые риски (западные санкции,
+    ограничительные меры COVID-19, налоговая политика государства) помогли российской
+    мясоперерабатывающей промышленности укрепить свои позиции. Обсуждение. На сегодняшний
+    день торговые риски в мясоперерабатывающей отрасли имеют стратегическое з��ачение
+    как для продовольственной безопасности отдельного региона, так и для всей национальной
+    безопасности всей страны. Заключение. Выявлены тенденции последних лет в рамках
+    функционирования рынка мяса и мясных продуктов Российской Федерации. Проанализировано
+    влияние пандемических, карантинных и санкционных мер на развитие мясоперерабатывающей
+    отрасли. Определены особенности развития этого рынка на современном этапе и дана
+    оценка развития этого рынка в среднесрочной перспективе.
+  - "Езжайте в другое место, поприличнее. В Китае полно красивых мест. \nА ЖаоХе,\
+    \ примерно как Сунька.\nНе езжайте - разочаруетесь в Китае и русских людях.\n\
+    Выберите место получше. "
+  - В настоящее время профилактика семейно-бытовых правонарушений является одним из
+    приоритетных направлений деятельности Министерства внутренних дел Российской Федерации.
+    Некачественное и несвоевременное принятие мер реагирования сотрудников полиции
+    на данный вид правонарушений, а также освещаемые в средствах массовой информации
+    резонансные преступления, которым предшествовали семейные конфликты, формируют
+    негативное общественное мнение о деятельности полиции и государства в целом. Исследование
+    посвящено повышению эффективности работы, проводимой органами внутренних дел,
+    по профилактике и пресечению фактов семейно-бытовых конфликтов, в том числе сопровождаемых
+    применением насилия к детям и женщинам. Особое внимание уделено понятию семейно-бытовых
+    правонарушений, анализу причин и условий возникновения семейно-бытовых конфликтов,
+    правовым основам регулирования ответственности в сфере семейно-бытовых конфликтов
+    в соответствии с законами субъектов Российской Федерации. Проанализированы основные
+    направления профилактики преступлений и административных правонарушений на бытовой
+    почве участковыми уполномоченными полиции. Определены тактические особенности
+    проведения работы с лицами, состоящими на профилактическом учете в органах внутренних
+    дел, при осуществлении профилактического обхода административного участка. Предложен
+    механизм привлечения общественности и отдельных категорий граждан к содействию
+    правоохранительным органам в целях своевременного выявления и пресечения бытовых
+    правонарушений. На основе проведенного анализа сделан вывод, что залогом эффективной
+    работы по искоренению рассматриваемого негативного социального явления является
+    проведение профилактического обхода административного участка, профилактических
+    бесед, основанных на изучении индивидуально-психологических особенностей лиц,
+    их прошлого, основных характеристик личности, а также на информированности об
+    их ближайшем окружении, связях, имеющих как позитивную, так и негативную окраску.
+    Показан��, что вопросы защиты жизни и здоровья членов семьи от противоправных посягательств
+    должны решаться комплексно, во взаимодействии с другими ведомствами и институтами
+    гражданского общества.
+- source_sentence: 'Зачем на СВД нужен автоспуск, ведь она очередями все-равно не
+    стреляет, или я ошибаюсь? '
+  sentences:
+  - "Есть массив с обьектами \"товаров\" например.\n[code]\n    someArr = [{name:***,\
+    \ prodid:***, prodinfo:***},{name:***, prodid:***, prodinfo:***}]\n[/code]\nИ\
+    \ больше в нем инфы разной. Есть еще один массив\n[code]\n    someOtherArr = [{prodid:***},{prodid:***},{prodid:***}]\n\
+    [/code]\nв нем только объекты с айди. как сравнить эти массивы и выбрать с someArr\
+    \ только те обьекты где есть айди с someOtherArr"
+  - "Автоспуск - это деталь спускового механизма стрелкового оружия, автоматически\
+    \ освобождающая боевой взвод курка или ударника при запертом канале ствола. СВД\
+    \ винтовка самозарядная, а автоспуск в самозарядном (не автоматическом) оружии\
+    \ предназначен только для того, чтобы исключить возможность выстрела при недозакрытом\
+    \ затворе, а не для обеспечения стрельбы очередями. \n \nP.S. К автоспуску фотоаппарата\
+    \ никакого отношения не имеет"
+  - 'Да это в принципе разные вещи. Стоимость акций, в общем-то, мало зависит от реальной
+    стоимости предприятия. '
+- source_sentence: 'SDN с платформой Red Hat OpenStack: интеграция с OpenDaylight'
+  sentences:
+  - Представляю вашему вниманию подбору фреймворков, темплейтов, jquery-плагинов и
+    иконок для создания интерфейсов в стиле Windows 8.
+  - 'Запущен сервер джанго. Пользователь через фронтенд создаёт и запускает некоторые
+    задачи, которые крутятся на сервере в отдельном процессе. Также задачи добавляются
+    в бд, в частности имеют статус активна/не активна. Собственно вопрос: можно ли
+    при отключении (ctrl+c) сервера или его падении вызвать событие, которое перешлёт
+    на обработчик, где можно уже реализовать нужные задачи, в моём случае изменить
+    статус задач на неактивные и убить все процессы. Спасибо.'
+  - OpenDaylight — проект с открытым исходным кодом под эгидой Linux Foundation, направленный
+    на содействие внедрению и развитию программно-определяемых сетей (SDN) путем создания
+    общей отраслевой платформы. Red Hat — платиновый член-учредитель сообщества OpenDaylight,
+    в деятельности которого участвуют как отдельные специалисты, так и крупные сетевые
+    компании. OpenDaylight стимулирует инновации и разработку самых разных вариантов
+    использования.
+- source_sentence: "Проверьте пожалуйста текст на расставление запятых и раскрытие\
+    \ скобок, тире:) Материал музыки – это звуки. Материал, из которого писатель слагает\
+    \ произведения, - слово. Материал, которым пользуется художник, - это краски.\
+    \ \n Как и звуки краски могут быть и радостными, и печальными. Художник выдавливает\
+    \ их из тюбиков на палитру, и она вспыхивает всеми цветами радуги. Тут и лазурные\
+    \ тона весенней листвы, и нежно – розовый тон заката и глубокие краски вечерних\
+    \ сумерек, краски огненные, как само солнце, и спокойные иссиня - чёрные, как\
+    \ ночное море. \n Но художник не бросает краски на холст беспорядочными пятнами.\
+    \ Постепенно из десятков мазков на холсте вырисовывается лицо, появляются предметы\
+    \ обстановки… Мы смотрим на картину что придаёт перед нашим взором и не видим\
+    \ ни холста, ни красок. Мы видим живую сцену или пейзаж. Нас волнует настроение,\
+    \ которое вложил в свою работу художник. Мы с удовольствием рассматриваем полотно,\
+    \ где разворачиваются события и переживаем их. В этом искусство живописца сродни\
+    \ работы писателя. \n В одном только живопись не похожа ни на музыку, ни на книгу.\
+    \ Мелодия течет и изменяется непрерывно события, за которыми мы следим, читая\
+    \ книгу, следует одно за другим. А картина изображает только одно мгновение. Как\
+    \ будто долго и настойчиво выбирал художник самый замечательный момент жизни,\
+    \ который достоин увековечения. И художник словно приказал времени «Остановить\
+    \ мгновение!» И красками на холсте запечатлел всё, что увидел в этом неповторимом\
+    \ мгновении.\n"
+  sentences:
+  - 'По моему Папанов под словами "ЭМ" и "ЖО" подразумевал совсем не футболиста...))) '
+  - 'Фильтр салона находится в моторном отсеке. Надо вскрыть заднюю полость моторного
+    отсека у правой стороны лобового стекла. '
+  - "Материал музыки – это звуки. Материал, из которого писатель слагает произведения,\
+    \ - слово. Материал, которым пользуется художник - это краски. \nКак и звуки,\
+    \ краски могут быть и радостными, и печальными. Художник выдавливает их из тюбиков\
+    \ на палитру, и она вспыхивает всеми цветами радуги. Тут и лазурные тона весенней\
+    \ листвы, и нежно – розовый тон заката, и глубокие краски вечерних сумерек (краски\
+    \ огненные, как само солнце) , и спокойные иссиня - чёрные, как ночное море. \n\
+    Но художник не бросает краски на холст беспорядочными пятнами. Постепенно из десятков\
+    \ мазков на холсте вырисовывается лицо, появляются предметы обстановки… Мы смотрим\
+    \ на картину, что предстает перед нашим взором и не видим ни холста, ни красок.\
+    \ Мы видим живую сцену или пейзаж. Нас волнует настроение, которое вложил в свою\
+    \ работу художник. Мы с удовольствием рассматриваем полотно, где разворачиваются\
+    \ события и переживаем их. В этом искусство живописца сродни работы писателя.\
+    \ \nВ одном только живопись не похожа ни на музыку, ни на книгу. Мелодия течет\
+    \ и изменяется непрерывно, события, за которыми мы следим читая книгу, следуют\
+    \ одно за другим. А картина изображает только одно мгновение. Как будто долго\
+    \ и настойчиво выбирал художник самый замечательный момент жизни, который достоин\
+    \ увековечения. И художник словно приказал времени «Остановить мгновение! » И\
+    \ красками, на холсте запечатлел всё, что увидел в этом неповторимом мгновении.\
+    \ \n \n...на картину, что ПРИДАЕТ? (может ПРЕДСТАЕТ? ) перед нашим взором ...\n\
+    ...события, за которыми мы следим читая книгу, СЛЕДУЕТ (нужно писать СЛЕДУЮТ)\
+    \ одно за другим... "
+datasets:
+- insuperabile/solyanka-triplets
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy
+model-index:
+- name: SentenceTransformer based on deepvk/RuModernBERT-base
+  results:
+  - task:
+      type: triplet
+      name: Triplet
+    dataset:
+      name: triplet eval
+      type: triplet_eval
+    metrics:
+    - type: cosine_accuracy
+      value: 0.9990800023078918
+      name: Cosine Accuracy
+---
+
+# SentenceTransformer based on deepvk/RuModernBERT-base
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [deepvk/RuModernBERT-base](https://huggingface.co/deepvk/RuModernBERT-base) on the [solyanka-triplets](https://huggingface.co/datasets/insuperabile/solyanka-triplets) dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [deepvk/RuModernBERT-base](https://huggingface.co/deepvk/RuModernBERT-base) <!-- at revision 3d745996527ed96de79c7b79adcd0667af740652 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - [solyanka-triplets](https://huggingface.co/datasets/insuperabile/solyanka-triplets)
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: ModernBertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'Проверьте пожалуйста текст на расставление запятых и раскрытие скобок, тире:) Материал музыки – это звуки. Материал, из которого писатель слагает произведения, - слово. Материал, которым пользуется художник, - это краски. \n Как и звуки краски могут быть и радостными, и печальными. Художник выдавливает их из тюбиков на палитру, и она вспыхивает всеми цветами радуги. Тут и лазурные тона весенней листвы, и нежно – розовый тон заката и глубокие краски вечерних сумерек, краски огненные, как само солнце, и спокойные иссиня - чёрные, как ночное море. \n Но художник не бросает краски на холст беспорядочными пятнами. Постепенно из десятков мазков на холсте вырисовывается лицо, появляются предметы обстановки… Мы смотрим на картину что придаёт перед нашим взором и не видим ни холста, ни красок. Мы видим живую сцену или пейзаж. Нас волнует настроение, которое вложил в свою работу художник. Мы с удовольствием рассматриваем полотно, где разворачиваются события и переживаем их. В этом искусство живописца сродни работы писателя. \n В одном только живопись не похожа ни на музыку, ни на книгу. Мелодия течет и изменяется непрерывно события, за которыми мы следим, читая книгу, следует одно за другим. А картина изображает только одно мгновение. Как будто долго и настойчиво выбирал художник самый замечательный момент жизни, который достоин увековечения. И художник словно приказал времени «Остановить мгновение!» И красками на холсте запечатлел всё, что увидел в этом неповторимом мгновении.\n',
+    'Материал музыки – это звуки. Материал, из которого писатель слагает произведения, - слово. Материал, которым пользуется художник - это краски. \nКак и звуки, краски могут быть и радостными, и печальными. Художник выдавливает их из тюбиков на палитру, и она вспыхивает всеми цветами радуги. Тут и лазурные тона весенней листвы, и нежно – розовый тон заката, и глубокие краски вечерних сумерек (краски огненные, как само солнце) , и спокойные иссиня - чёрные, как ночное море. \nНо художник не бросает краски на холст беспорядочными пятнами. Постепенно из десятков мазков на холсте вырисовывается лицо, появляются предметы обстановки… Мы смотрим на картину, что предстает перед нашим взором и не видим ни холста, ни красок. Мы видим живую сцену или пейзаж. Нас волнует настроение, которое вложил в свою работу художник. Мы с удовольствием рассматриваем полотно, где разворачиваются события и переживаем их. В этом искусство живописца сродни работы писателя. \nВ одном только живопись не похожа ни на музыку, ни на книгу. Мелодия течет и изменяется непрерывно, события, за которыми мы следим читая книгу, следуют одно за другим. А картина изображает только одно мгновение. Как будто долго и настойчиво выбирал художник самый замечательный момент жизни, который достоин увековечения. И художник словно приказал времени «Остановить мгновение! » И красками, на холсте запечатлел всё, что увидел в этом неповторимом мгновении. \n \n...на картину, что ПРИДАЕТ? (может ПРЕДСТАЕТ? ) перед нашим взором ...\n...события, за которыми мы следим читая книгу, СЛЕДУЕТ (нужно писать СЛЕДУЮТ) одно за другим... ',
+    'Фильтр салона находится в моторном отсеке. Надо вскрыть заднюю полость моторного отсека у правой стороны лобового стекла. ',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Triplet
+
+* Dataset: `triplet_eval`
+* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| **cosine_accuracy** | **0.9991** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### solyanka-triplets
+
+* Dataset: [solyanka-triplets](https://huggingface.co/datasets/insuperabile/solyanka-triplets) at [bcb121a](https://huggingface.co/datasets/insuperabile/solyanka-triplets/tree/bcb121a58fa5068196fe9d2652ac56dedc8f7f75)
+* Size: 1,900,000 training samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                             | positive                                                                             | negative                                                                            |
+  |:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                               | string                                                                              |
+  | details | <ul><li>min: 4 tokens</li><li>mean: 29.29 tokens</li><li>max: 499 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 162.74 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 10 tokens</li><li>mean: 163.2 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                          | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
+  |:--------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Здание Центра исследований и разработок Huawei в Нанкине</code>                                                           | <code>Центр был открыт в 2018 году. Здание разделено на три острова связанных между собой коридором.Общая площадь 150 000 кв.м. В здание по мимо рабочих помещений, есть:  спортивный зал, библиотека, сад, столовая.<br>Photographs: Xuetao Zhang<br>https://www.archdaily.com/932248/huawei-nanjing-research-and...</code>                                                                                                                                                                                                                                                                                                                                                  | <code>Как выглядит дикий банан в живой природе.<br>Банан — одна из ярких фигур в истории человеческой цивилизации. Страшно представить, о чем бы мы шутили, снимали кинокомедии и сочиняли мемы, если бы не он. (Один тут художник недавно дивно нагрел руки на самом простом банане.)<br>Первые письменные упоминания об этих плодах встречаются в индийских текстах XVII века до нашей эры. Прежде чем стать таким, каким мы его знаем по магазинным полкам, банан прошел долгий путь эволюции.<br>Однако в Юго-Восточной Азии в первозданном виде сумел сберечь себя дикий банан.<br>Вид изнутри<br>Сравнительный анализ)<br>Дичок.<br>Размером дичок, как видишь, куда меньше привычного нам родственника. Плод набит крупными семенами (в каждом около 60 штук), мякоть совершенно несъедобна. Хотя вот на Филиппинах из них героически удаляют семечки и выжимают что-то типа сока.<br>Кстати, банан — одно из древнейших культивируемых растений и экспортная культура с самой большой прибылью в мире: оборот — 12 миллиардов долларов, в отрасли занято около...</code> |
+  | <code>anila name meaning</code>                                                                                                 | <code>[3 сл. a-ni-la, an-ila] Имя девочки Анила произносится как aa-N IY-Laa- ࢠ€ÂÂ. Анила возникла на санскрите и в основном используется в Индии. Имя Анила означает «бог ветра». Anila - женская версия китайского и вьетнамского An, английского и индийского Anil. Формы Anila включают имена Anilah, Anilla, Anyla, Anylah, Anylla и Anyllah. Анила не часто используется в качестве имени девочки, ее нет в топ-1000 имен. Нила - женская версия китайского и вьетнамского An, а также английского и индийского Anil. Формы Анила включают имена Анилах, Анилла, Анила, Анила, Анилла и Аниллах. Анила не часто используется в качестве имени девочки.</code> | <code>Охратоксины - это микотоксины, продуцируемые несколькими видами Aspergillus и Penicillium. Охратоксин А - наиболее экономически важная форма охратоксина; охратоксины B и C менее токсичны и встречаются реже. Охратоксины могут передаваться через молоко, кровь и мясо. Отравление охратоксинами считается причиной хронического заболевания почек у людей, известного как балканская эндемическая нефропатия. злаки, виноград, кофе, орехи и инжир. Penicillium verrucosum - основная причина загрязнения зерновых культур охратоксинами в умеренном климате.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
+  | <code>для чего созданы таможни на Украину? .Как защитить российских автомобилистов от украинских безбожных поборов ГАИ? </code> | <code>Таможни созданы для контроля за перемещением товаров через границу между странами. А насчёт поборов - не нарушай. </code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | <code>только не тугоушие, а тугоухость<br>стойкое понижение слуха при заболеваниях среднего или внутреннего уха, длительном воздействии шума, возрастных изменениях.<br>[ссылка заблокирована по решению администрации проекта]<br>http://menier.narod.ru/lechmenier.html<br>http://www.peterkaliniak.com/page/944<br>http://vse-lechim.ru/termins/item1141.html<br>[ссылка заблокирована по решению администрации проекта]<br>[ссылка заблокирована по решению администрации проекта]<br><br>посмотрите здесь. конечно все зависит от степени болезни. удачи</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
+* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
+  ```json
+  {
+      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
+      "triplet_margin": 5
+  }
+  ```
+
+### Evaluation Dataset
+
+#### solyanka-triplets
+
+* Dataset: [solyanka-triplets](https://huggingface.co/datasets/insuperabile/solyanka-triplets) at [bcb121a](https://huggingface.co/datasets/insuperabile/solyanka-triplets/tree/bcb121a58fa5068196fe9d2652ac56dedc8f7f75)
+* Size: 100,000 evaluation samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                             | positive                                                                            | negative                                                                             |
+  |:--------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                              | string                                                                               |
+  | details | <ul><li>min: 4 tokens</li><li>mean: 31.28 tokens</li><li>max: 492 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 166.05 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 161.41 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                                                                                                                                             | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
+  |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Какую мощность имеет сигнал WNSC?</code>                                                                                                                                                                                                                                                                                                     | <code>WNSC-FM own. WNSC is one of only a few stations on the South Carolina side of the market (the other being WOSF, which is licensed to Gaffney) that penetrates Charlotte to any significant extent. Its 97,900-watt signal easily covers Charlotte itself, as well as Gaston and Union counties. However, it only provides fringe coverage to the northern part of the market (Concord, Lincolnton, Mooresville, etc.), largely because it must conform its signal to protect fellow NPR station WDAV, at nearby 89.9. Until the spring of 2011, it identified as "Rock Hill/Charlotte," making it the only ETV station to include a second</code>                                                                                                                                                                                                                                                                                                                                      | <code>Nobuhiko Takada story and controversy between them, as Tamura had challenged Takada and walked out of his old professional wrestling promotion in 1995 to work for a rival company. Tamura was also reluctant to fight at the event due to sharing card with Kenichi Yamamoto, another Takada understudy he had a personal enmity with. However, the match took place without more troubles. Master and apprentice exchanged kicks and punches at the start of the fight. Tamura dropped Takada with a leg kick, but action had to be stopped when he landed an accidental heavy low blow. After recovering, Takada took Tamura down</code>                                                                                                                                                                                                                                                                                                                                                                                                              |
+  | <code>Fitch понизило рейтинг банка «Уралсиб»</code>                                                                                                                                                                                                                                                                                                | <code>Fitch понизило рейтинг банка «Уралсиб»Ведомости 18:58<br>Фото: РИА Новости<br>Международное рейтинговое агентство Fitch понизило долгосрочный рейтинг дефолта эмитента (РДЭ) российского банка «Уралсиб» и его дочерней структуры «Уралсиб-лизинг» с В+ до В. Прогноз по рейтингу банка — «стабильный», по «дочке» — «негативный». Об этом говорится в пресс-релизе агентства. Таким образом, финансовой компании остался один шаг до преддефолтного уровня<br>Краткосрочный рейтинг банка подтвержден на уровне В. Рейтинг устойчивости снижен до b с b+.<br>Рейтинговое действие отражает сохраняющееся давление на капитализацию банка и слабые перспективы улучшения ликвидности, учитывая более сложную операционную среду, говорится в сообщении Fitch. Международное рейтинговое агентство отмечает возросшую стоимость капитала и затраты на переоценку в соответствии с рыночными трендами, что может еще больше подорвать уже и без того слабую рентабельность банка.</code> | <code>Ограничение на любительскую и спортивную охоту было введено сегодня в Татарстане, передает пресс-центр Управления по охране и использованию объектов животного мира РТ. Согласно сообщению охотиться запрещено на зайца-беляка, глухаря, рябчика и куропатку до 2017 года. Это связано с сохранением охотничьих ресурсов и их рациональным использованием.<br>Запрет на охоту будет действовать во всех угодьях кроме следующих: «Аксубаевское», «Беркут», «Бутино-Шешминское», «Арское», «Урнякское», «Атнинское», «Юкя», «Буинское», «Глухарь», «Фазан», «Елабужское», «Караишевское», «Зеленодольское», «Краснооктябрьское», «Волжско-Камское», «Камское раздолье», «Рысь», «Новомензелинское», «Сухаревское», «Шешминское», «Красновидово», «Тюрнясевское», «Тетюшское», «Урахчинское», «Мизиновское» и общедоступных охотничьих угодий Алькеевского, Альметьевского, Дрожжановского, Лениногорского, Рыбно-Слободского муниципальных районов.<br>Напомним, что 15 августа текущего года врио президента РТ Рустам Минниханов подписал ука...</code> |
+  | <code>Как составить исковое заявление по потере оригинала диплома на работе - на директора супермаркета, работника отдела кадров или хозяина предприятия?. На работе потеряли оригинал моего диплома. Как правильно составить исковое заявление и на кого? На директора супермаркета, на работникаотдела кадров или на хозяина предприятия?</code> | <code>Вам нужно получить дубликат диплома в учебном заведении, которое Вам его выдало. А от того, что Вы напишите исковое заявление, диплом все равно не найдется.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | <code>Здравствуйте, Павел,главное, чтобы нынешний собственник нашел понимание с ТСЖ относительно площади квартиры.Что же касается ошибочных начислений, то действительно, предыдущий собственник может взыскать неосновательно перечисленную плату, однако есть несколько нюансов, которые требуют более детального знакомства с ситуацией.С уважением, Иван Ерпылёв</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
+* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
+  ```json
+  {
+      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
+      "triplet_margin": 5
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 32
+- `learning_rate`: 1e-06
+- `num_train_epochs`: 1
+- `bf16`: True
+- `load_best_model_at_end`: True
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 32
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 1e-06
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 1
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: batch_sampler
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch   | Step     | Training Loss | Validation Loss | triplet_eval_cosine_accuracy |
+|:-------:|:--------:|:-------------:|:---------------:|:----------------------------:|
+| 0.1598  | 593      | 0.4866        | -               | -                            |
+| 0.3196  | 1186     | 0.0792        | -               | -                            |
+| 0.4794  | 1779     | 0.0436        | -               | -                            |
+| 0.6392  | 2372     | 0.0355        | -               | -                            |
+| 0.7990  | 2965     | 0.0324        | -               | -                            |
+| 0.9588  | 3558     | 0.0304        | -               | -                            |
+| **1.0** | **3711** | **-**         | **0.0309**      | **0.9991**                   |
+
+* The bold row denotes the saved checkpoint.
+
+### Framework Versions
+- Python: 3.11.10
+- Sentence Transformers: 4.1.0
+- Transformers: 4.52.4
+- PyTorch: 2.6.0+cu124
+- Accelerate: 1.7.0
+- Datasets: 3.6.0
+- Tokenizers: 0.21.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### TripletLoss
+```bibtex
+@misc{hermans2017defense,
+    title={In Defense of the Triplet Loss for Person Re-Identification},
+    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
+    year={2017},
+    eprint={1703.07737},
+    archivePrefix={arXiv},
+    primaryClass={cs.CV}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoint-3711/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

checkpoint-3711/README.md

@@ -0,0 +1,546 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:1900000
+- loss:TripletLoss
+base_model: deepvk/RuModernBERT-base
+widget:
+- source_sentence: Знаете ли Вы отчего зависит есть ли у человека зубы мудрости? У
+    меня например начали резаться с 15 лет, а у некоторых знакомых которым по 30 лет
+    их нет...
+  sentences:
+  - 'Я точно знаю, от чего зависит то, что у меня их нет. Вернее, не от чего, а от
+    кого: от стоматолога - он их удалил! )))))))))))))
+
+    А если серьезно.. . То, посмотрите, какие люди разные - высокие и маленькие, полные
+    и худые, блондины и брюнеты.. . Так и с зубами. У одного с 15 лет выросли, а у
+    другого дольше сидят. У некоторых вообще не вырастают потому, что им места нет
+    или еще какие-то там нарушения. И мудрость здесь ни при чем. Просто эти зубы начинают
+    расти не в нежном детском возрасте, а тогда, когда человек уже взрослый и мудрый.
+    Это переносный смысл. '
+  - Любовь - кольцо, это тот же треугольник, только со стерными углами))) ) гыы
+  - Была во всех трёх странах. В Индии грязнее всего, в Гоа с детьми делать нечего.
+    В Таиланде не так чтобы очень, но тоже далеко не идеально. Во Вьетнаме чище и
+    ухоженнее всего.
+- source_sentence: Торговые риски и развитие мясоперерабатывающей отрасли в России
+  sentences:
+  - Введение. В данной статье проанализирована актуальная проблема торговых рисков
+    и развитие мясоперерабатывающей отрасли. А целью данного исследования является
+    выявление ключевых аспектов продовольственной самообеспеченности через призму
+    существующих угроз и состояния развития рынка мясных продуктов Российской Федерации.
+    Материалы и методы. Данное исследование основывается на научных исследованиях
+    российских и зарубежных ученых, которые изучают развитие мясоперерабатывающей
+    отрасли в России. На основании этих исследований была определена оценка торговых
+    рисков для потребителей и производителей мяса в стране, что показало неоднородность
+    объемов производства мясных продуктов и цен производителей на мясные изделия между
+    федеральными округами Российской Федерации. Также был проведен двухвыборочный
+    t -критерий Стьюдента и двухфакторный дисперсионный анализ ANOVA по годам, который
+    окончательно закрепил предположение о том, что Россию можно считать страной со
+    значительными региональными различиями с точки зрения мясоперерабатывающей отрасли.
+    Результаты. Основные выводы свидетельствуют о том, что во всех федеральных округах
+    России наблюдался значительный рост прибыли; однако темпы роста, по-видимому,
+    различаются по регионам. Как это ни парадоксально, торговые риски (западные санкции,
+    ограничительные меры COVID-19, налоговая политика государства) помогли российской
+    мясоперерабатывающей промышленности укрепить свои позиции. Обсуждение. На сегодняшний
+    день торговые риски в мясоперерабатывающей отрасли имеют стратегическое з��ачение
+    как для продовольственной безопасности отдельного региона, так и для всей национальной
+    безопасности всей страны. Заключение. Выявлены тенденции последних лет в рамках
+    функционирования рынка мяса и мясных продуктов Российской Федерации. Проанализировано
+    влияние пандемических, карантинных и санкционных мер на развитие мясоперерабатывающей
+    отрасли. Определены особенности развития этого рынка на современном этапе и дана
+    оценка развития этого рынка в среднесрочной перспективе.
+  - "Езжайте в другое место, поприличнее. В Китае полно красивых мест. \nА ЖаоХе,\
+    \ примерно как Сунька.\nНе езжайте - разочаруетесь в Китае и русских людях.\n\
+    Выберите место получше. "
+  - В настоящее время профилактика семейно-бытовых правонарушений является одним из
+    приоритетных направлений деятельности Министерства внутренних дел Российской Федерации.
+    Некачественное и несвоевременное принятие мер реагирования сотрудников полиции
+    на данный вид правонарушений, а также освещаемые в средствах массовой информации
+    резонансные преступления, которым предшествовали семейные конфликты, формируют
+    негативное общественное мнение о деятельности полиции и государства в целом. Исследование
+    посвящено повышению эффективности работы, проводимой органами внутренних дел,
+    по профилактике и пресечению фактов семейно-бытовых конфликтов, в том числе сопровождаемых
+    применением насилия к детям и женщинам. Особое внимание уделено понятию семейно-бытовых
+    правонарушений, анализу причин и условий возникновения семейно-бытовых конфликтов,
+    правовым основам регулирования ответственности в сфере семейно-бытовых конфликтов
+    в соответствии с законами субъектов Российской Федерации. Проанализированы основные
+    направления профилактики преступлений и административных правонарушений на бытовой
+    почве участковыми уполномоченными полиции. Определены тактические особенности
+    проведения работы с лицами, состоящими на профилактическом учете в органах внутренних
+    дел, при осуществлении профилактического обхода административного участка. Предложен
+    механизм привлечения общественности и отдельных категорий граждан к содействию
+    правоохранительным органам в целях своевременного выявления и пресечения бытовых
+    правонарушений. На основе проведенного анализа сделан вывод, что залогом эффективной
+    работы по искоренению рассматриваемого негативного социального явления является
+    проведение профилактического обхода административного участка, профилактических
+    бесед, основанных на изучении индивидуально-психологических особенностей лиц,
+    их прошлого, основных характеристик личности, а также на информированности об
+    их ближайшем окружении, связях, имеющих как позитивную, так и негативную окраску.
+    Показан��, что вопросы защиты жизни и здоровья членов семьи от противоправных посягательств
+    должны решаться комплексно, во взаимодействии с другими ведомствами и институтами
+    гражданского общества.
+- source_sentence: 'Зачем на СВД нужен автоспуск, ведь она очередями все-равно не
+    стреляет, или я ошибаюсь? '
+  sentences:
+  - "Есть массив с обьектами \"товаров\" например.\n[code]\n    someArr = [{name:***,\
+    \ prodid:***, prodinfo:***},{name:***, prodid:***, prodinfo:***}]\n[/code]\nИ\
+    \ больше в нем инфы разной. Есть еще один массив\n[code]\n    someOtherArr = [{prodid:***},{prodid:***},{prodid:***}]\n\
+    [/code]\nв нем только объекты с айди. как сравнить эти массивы и выбрать с someArr\
+    \ только те обьекты где есть айди с someOtherArr"
+  - "Автоспуск - это деталь спускового механизма стрелкового оружия, автоматически\
+    \ освобождающая боевой взвод курка или ударника при запертом канале ствола. СВД\
+    \ винтовка самозарядная, а автоспуск в самозарядном (не автоматическом) оружии\
+    \ предназначен только для того, чтобы исключить возможность выстрела при недозакрытом\
+    \ затворе, а не для обеспечения стрельбы очередями. \n \nP.S. К автоспуску фотоаппарата\
+    \ никакого отношения не имеет"
+  - 'Да это в принципе разные вещи. Стоимость акций, в общем-то, мало зависит от реальной
+    стоимости предприятия. '
+- source_sentence: 'SDN с платформой Red Hat OpenStack: интеграция с OpenDaylight'
+  sentences:
+  - Представляю вашему вниманию подбору фреймворков, темплейтов, jquery-плагинов и
+    иконок для создания интерфейсов в стиле Windows 8.
+  - 'Запущен сервер джанго. Пользователь через фронтенд создаёт и запускает некоторые
+    задачи, которые крутятся на сервере в отдельном процессе. Также задачи добавляются
+    в бд, в частности имеют статус активна/не активна. Собственно вопрос: можно ли
+    при отключении (ctrl+c) сервера или его падении вызвать событие, которое перешлёт
+    на обработчик, где можно уже реализовать нужные задачи, в моём случае изменить
+    статус задач на неактивные и убить все процессы. Спасибо.'
+  - OpenDaylight — проект с открытым исходным кодом под эгидой Linux Foundation, направленный
+    на содействие внедрению и развитию программно-определяемых сетей (SDN) путем создания
+    общей отраслевой платформы. Red Hat — платиновый член-учредитель сообщества OpenDaylight,
+    в деятельности которого участвуют как отдельные специалисты, так и крупные сетевые
+    компании. OpenDaylight стимулирует инновации и разработку самых разных вариантов
+    использования.
+- source_sentence: "Проверьте пожалуйста текст на расставление запятых и раскрытие\
+    \ скобок, тире:) Материал музыки – это звуки. Материал, из которого писатель слагает\
+    \ произведения, - слово. Материал, которым пользуется художник, - это краски.\
+    \ \n Как и звуки краски могут быть и радостными, и печальными. Художник выдавливает\
+    \ их из тюбиков на палитру, и она вспыхивает всеми цветами радуги. Тут и лазурные\
+    \ тона весенней листвы, и нежно – розовый тон заката и глубокие краски вечерних\
+    \ сумерек, краски огненные, как само солнце, и спокойные иссиня - чёрные, как\
+    \ ночное море. \n Но художник не бросает краски на холст беспорядочными пятнами.\
+    \ Постепенно из десятков мазков на холсте вырисовывается лицо, появляются предметы\
+    \ обстановки… Мы смотрим на картину что придаёт перед нашим взором и не видим\
+    \ ни холста, ни красок. Мы видим живую сцену или пейзаж. Нас волнует настроение,\
+    \ которое вложил в свою работу художник. Мы с удовольствием рассматриваем полотно,\
+    \ где разворачиваются события и переживаем их. В этом искусство живописца сродни\
+    \ работы писателя. \n В одном только живопись не похожа ни на музыку, ни на книгу.\
+    \ Мелодия течет и изменяется непрерывно события, за которыми мы следим, читая\
+    \ книгу, следует одно за другим. А картина изображает только одно мгновение. Как\
+    \ будто долго и настойчиво выбирал художник самый замечательный момент жизни,\
+    \ который достоин увековечения. И художник словно приказал времени «Остановить\
+    \ мгновение!» И красками на холсте запечатлел всё, что увидел в этом неповторимом\
+    \ мгновении.\n"
+  sentences:
+  - 'По моему Папанов под словами "ЭМ" и "ЖО" подразумевал совсем не футболиста...))) '
+  - 'Фильтр салона находится в моторном отсеке. Надо вскрыть заднюю полость моторного
+    отсека у правой стороны лобового стекла. '
+  - "Материал музыки – это звуки. Материал, из которого писатель слагает произведения,\
+    \ - слово. Материал, которым пользуется художник - это краски. \nКак и звуки,\
+    \ краски могут быть и радостными, и печальными. Художник выдавливает их из тюбиков\
+    \ на палитру, и она вспыхивает всеми цветами радуги. Тут и лазурные тона весенней\
+    \ листвы, и нежно – розовый тон заката, и глубокие краски вечерних сумерек (краски\
+    \ огненные, как само солнце) , и спокойные иссиня - чёрные, как ночное море. \n\
+    Но художник не бросает краски на холст беспорядочными пятнами. Постепенно из десятков\
+    \ мазков на холсте вырисовывается лицо, появляются предметы обстановки… Мы смотрим\
+    \ на картину, что предстает перед нашим взором и не видим ни холста, ни красок.\
+    \ Мы видим живую сцену или пейзаж. Нас волнует настроение, которое вложил в свою\
+    \ работу художник. Мы с удовольствием рассматриваем полотно, где разворачиваются\
+    \ события и переживаем их. В этом искусство живописца сродни работы писателя.\
+    \ \nВ одном только живопись не похожа ни на музыку, ни на книгу. Мелодия течет\
+    \ и изменяется непрерывно, события, за которыми мы следим читая книгу, следуют\
+    \ одно за другим. А картина изображает только одно мгновение. Как будто долго\
+    \ и настойчиво выбирал художник самый замечательный момент жизни, который достоин\
+    \ увековечения. И художник словно приказал времени «Остановить мгновение! » И\
+    \ красками, на холсте запечатлел всё, что увидел в этом неповторимом мгновении.\
+    \ \n \n...на картину, что ПРИДАЕТ? (может ПРЕДСТАЕТ? ) перед нашим взором ...\n\
+    ...события, за которыми мы следим читая книгу, СЛЕДУЕТ (нужно писать СЛЕДУЮТ)\
+    \ одно за другим... "
+datasets:
+- insuperabile/solyanka-triplets
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy
+model-index:
+- name: SentenceTransformer based on deepvk/RuModernBERT-base
+  results:
+  - task:
+      type: triplet
+      name: Triplet
+    dataset:
+      name: triplet eval
+      type: triplet_eval
+    metrics:
+    - type: cosine_accuracy
+      value: 0.9990800023078918
+      name: Cosine Accuracy
+---
+
+# SentenceTransformer based on deepvk/RuModernBERT-base
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [deepvk/RuModernBERT-base](https://huggingface.co/deepvk/RuModernBERT-base) on the [solyanka-triplets](https://huggingface.co/datasets/insuperabile/solyanka-triplets) dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [deepvk/RuModernBERT-base](https://huggingface.co/deepvk/RuModernBERT-base) <!-- at revision 3d745996527ed96de79c7b79adcd0667af740652 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - [solyanka-triplets](https://huggingface.co/datasets/insuperabile/solyanka-triplets)
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: ModernBertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'Проверьте пожалуйста текст на расставление запятых и раскрытие скобок, тире:) Материал музыки – это звуки. Материал, из которого писатель слагает произведения, - слово. Материал, которым пользуется художник, - это краски. \n Как и звуки краски могут быть и радостными, и печальными. Художник выдавливает их из тюбиков на палитру, и она вспыхивает всеми цветами радуги. Тут и лазурные тона весенней листвы, и нежно – розовый тон заката и глубокие краски вечерних сумерек, краски огненные, как само солнце, и спокойные иссиня - чёрные, как ночное море. \n Но художник не бросает краски на холст беспорядочными пятнами. Постепенно из десятков мазков на холсте вырисовывается лицо, появляются предметы обстановки… Мы смотрим на картину что придаёт перед нашим взором и не видим ни холста, ни красок. Мы видим живую сцену или пейзаж. Нас волнует настроение, которое вложил в свою работу художник. Мы с удовольствием рассматриваем полотно, где разворачиваются события и переживаем их. В этом искусство живописца сродни работы писателя. \n В одном только живопись не похожа ни на музыку, ни на книгу. Мелодия течет и изменяется непрерывно события, за которыми мы следим, читая книгу, следует одно за другим. А картина изображает только одно мгновение. Как будто долго и настойчиво выбирал художник самый замечательный момент жизни, который достоин увековечения. И художник словно приказал времени «Остановить мгновение!» И красками на холсте запечатлел всё, что увидел в этом неповторимом мгновении.\n',
+    'Материал музыки – это звуки. Материал, из которого писатель слагает произведения, - слово. Материал, которым пользуется художник - это краски. \nКак и звуки, краски могут быть и радостными, и печальными. Художник выдавливает их из тюбиков на палитру, и она вспыхивает всеми цветами радуги. Тут и лазурные тона весенней листвы, и нежно – розовый тон заката, и глубокие краски вечерних сумерек (краски огненные, как само солнце) , и спокойные иссиня - чёрные, как ночное море. \nНо художник не бросает краски на холст беспорядочными пятнами. Постепенно из десятков мазков на холсте вырисовывается лицо, появляются предметы обстановки… Мы смотрим на картину, что предстает перед нашим взором и не видим ни холста, ни красок. Мы видим живую сцену или пейзаж. Нас волнует настроение, которое вложил в свою работу художник. Мы с удовольствием рассматриваем полотно, где разворачиваются события и переживаем их. В этом искусство живописца сродни работы писателя. \nВ одном только живопись не похожа ни на музыку, ни на книгу. Мелодия течет и изменяется непрерывно, события, за которыми мы следим читая книгу, следуют одно за другим. А картина изображает только одно мгновение. Как будто долго и настойчиво выбирал художник самый замечательный момент жизни, который достоин увековечения. И художник словно приказал времени «Остановить мгновение! » И красками, на холсте запечатлел всё, что увидел в этом неповторимом мгновении. \n \n...на картину, что ПРИДАЕТ? (может ПРЕДСТАЕТ? ) перед нашим взором ...\n...события, за которыми мы следим читая книгу, СЛЕДУЕТ (нужно писать СЛЕДУЮТ) одно за другим... ',
+    'Фильтр салона находится в моторном отсеке. Надо вскрыть заднюю полость моторного отсека у правой стороны лобового стекла. ',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Triplet
+
+* Dataset: `triplet_eval`
+* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| **cosine_accuracy** | **0.9991** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### solyanka-triplets
+
+* Dataset: [solyanka-triplets](https://huggingface.co/datasets/insuperabile/solyanka-triplets) at [bcb121a](https://huggingface.co/datasets/insuperabile/solyanka-triplets/tree/bcb121a58fa5068196fe9d2652ac56dedc8f7f75)
+* Size: 1,900,000 training samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                             | positive                                                                             | negative                                                                            |
+  |:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                               | string                                                                              |
+  | details | <ul><li>min: 4 tokens</li><li>mean: 29.29 tokens</li><li>max: 499 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 162.74 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 10 tokens</li><li>mean: 163.2 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                          | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
+  |:--------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Здание Центра исследований и разработок Huawei в Нанкине</code>                                                           | <code>Центр был открыт в 2018 году. Здание разделено на три острова связанных между собой коридором.Общая площадь 150 000 кв.м. В здание по мимо рабочих помещений, есть:  спортивный зал, библиотека, сад, столовая.<br>Photographs: Xuetao Zhang<br>https://www.archdaily.com/932248/huawei-nanjing-research-and...</code>                                                                                                                                                                                                                                                                                                                                                  | <code>Как выглядит дикий банан в живой природе.<br>Банан — одна из ярких фигур в истории человеческой цивилизации. Страшно представить, о чем бы мы шутили, снимали кинокомедии и сочиняли мемы, если бы не он. (Один тут художник недавно дивно нагрел руки на самом простом банане.)<br>Первые письменные упоминания об этих плодах встречаются в индийских текстах XVII века до нашей эры. Прежде чем стать таким, каким мы его знаем по магазинным полкам, банан прошел долгий путь эволюции.<br>Однако в Юго-Восточной Азии в первозданном виде сумел сберечь себя дикий банан.<br>Вид изнутри<br>Сравнительный анализ)<br>Дичок.<br>Размером дичок, как видишь, куда меньше привычного нам родственника. Плод набит крупными семенами (в каждом около 60 штук), мякоть совершенно несъедобна. Хотя вот на Филиппинах из них героически удаляют семечки и выжимают что-то типа сока.<br>Кстати, банан — одно из древнейших культивируемых растений и экспортная культура с самой большой прибылью в мире: оборот — 12 миллиардов долларов, в отрасли занято около...</code> |
+  | <code>anila name meaning</code>                                                                                                 | <code>[3 сл. a-ni-la, an-ila] Имя девочки Анила произносится как aa-N IY-Laa- ࢠ€ÂÂ. Анила возникла на санскрите и в основном используется в Индии. Имя Анила означает «бог ветра». Anila - женская версия китайского и вьетнамского An, английского и индийского Anil. Формы Anila включают имена Anilah, Anilla, Anyla, Anylah, Anylla и Anyllah. Анила не часто используется в качестве имени девочки, ее нет в топ-1000 имен. Нила - женская версия китайского и вьетнамского An, а также английского и индийского Anil. Формы Анила включают имена Анилах, Анилла, Анила, Анила, Анилла и Аниллах. Анила не часто используется в качестве имени девочки.</code> | <code>Охратоксины - это микотоксины, продуцируемые несколькими видами Aspergillus и Penicillium. Охратоксин А - наиболее экономически важная форма охратоксина; охратоксины B и C менее токсичны и встречаются реже. Охратоксины могут передаваться через молоко, кровь и мясо. Отравление охратоксинами считается причиной хронического заболевания почек у людей, известного как балканская эндемическая нефропатия. злаки, виноград, кофе, орехи и инжир. Penicillium verrucosum - основная причина загрязнения зерновых культур охратоксинами в умеренном климате.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
+  | <code>для чего созданы таможни на Украину? .Как защитить российских автомобилистов от украинских безбожных поборов ГАИ? </code> | <code>Таможни созданы для контроля за перемещением товаров через границу между странами. А насчёт поборов - не нарушай. </code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | <code>только не тугоушие, а тугоухость<br>стойкое понижение слуха при заболеваниях среднего или внутреннего уха, длительном воздействии шума, возрастных изменениях.<br>[ссылка заблокирована по решению администрации проекта]<br>http://menier.narod.ru/lechmenier.html<br>http://www.peterkaliniak.com/page/944<br>http://vse-lechim.ru/termins/item1141.html<br>[ссылка заблокирована по решению администрации проекта]<br>[ссылка заблокирована по решению администрации проекта]<br><br>посмотрите здесь. конечно все зависит от степени болезни. удачи</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
+* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
+  ```json
+  {
+      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
+      "triplet_margin": 5
+  }
+  ```
+
+### Evaluation Dataset
+
+#### solyanka-triplets
+
+* Dataset: [solyanka-triplets](https://huggingface.co/datasets/insuperabile/solyanka-triplets) at [bcb121a](https://huggingface.co/datasets/insuperabile/solyanka-triplets/tree/bcb121a58fa5068196fe9d2652ac56dedc8f7f75)
+* Size: 100,000 evaluation samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                             | positive                                                                            | negative                                                                             |
+  |:--------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                              | string                                                                               |
+  | details | <ul><li>min: 4 tokens</li><li>mean: 31.28 tokens</li><li>max: 492 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 166.05 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 161.41 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                                                                                                                                             | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
+  |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Какую мощность имеет сигнал WNSC?</code>                                                                                                                                                                                                                                                                                                     | <code>WNSC-FM own. WNSC is one of only a few stations on the South Carolina side of the market (the other being WOSF, which is licensed to Gaffney) that penetrates Charlotte to any significant extent. Its 97,900-watt signal easily covers Charlotte itself, as well as Gaston and Union counties. However, it only provides fringe coverage to the northern part of the market (Concord, Lincolnton, Mooresville, etc.), largely because it must conform its signal to protect fellow NPR station WDAV, at nearby 89.9. Until the spring of 2011, it identified as "Rock Hill/Charlotte," making it the only ETV station to include a second</code>                                                                                                                                                                                                                                                                                                                                      | <code>Nobuhiko Takada story and controversy between them, as Tamura had challenged Takada and walked out of his old professional wrestling promotion in 1995 to work for a rival company. Tamura was also reluctant to fight at the event due to sharing card with Kenichi Yamamoto, another Takada understudy he had a personal enmity with. However, the match took place without more troubles. Master and apprentice exchanged kicks and punches at the start of the fight. Tamura dropped Takada with a leg kick, but action had to be stopped when he landed an accidental heavy low blow. After recovering, Takada took Tamura down</code>                                                                                                                                                                                                                                                                                                                                                                                                              |
+  | <code>Fitch понизило рейтинг банка «Уралсиб»</code>                                                                                                                                                                                                                                                                                                | <code>Fitch понизило рейтинг банка «Уралсиб»Ведомости 18:58<br>Фото: РИА Новости<br>Международное рейтинговое агентство Fitch понизило долгосрочный рейтинг дефолта эмитента (РДЭ) российского банка «Уралсиб» и его дочерней структуры «Уралсиб-лизинг» с В+ до В. Прогноз по рейтингу банка — «стабильный», по «дочке» — «негативный». Об этом говорится в пресс-релизе агентства. Таким образом, финансовой компании остался один шаг до преддефолтного уровня<br>Краткосрочный рейтинг банка подтвержден на уровне В. Рейтинг устойчивости снижен до b с b+.<br>Рейтинговое действие отражает сохраняющееся давление на капитализацию банка и слабые перспективы улучшения ликвидности, учитывая более сложную операционную среду, говорится в сообщении Fitch. Международное рейтинговое агентство отмечает возросшую стоимость капитала и затраты на переоценку в соответствии с рыночными трендами, что может еще больше подорвать уже и без того слабую рентабельность банка.</code> | <code>Ограничение на любительскую и спортивную охоту было введено сегодня в Татарстане, передает пресс-центр Управления по охране и использованию объектов животного мира РТ. Согласно сообщению охотиться запрещено на зайца-беляка, глухаря, рябчика и куропатку до 2017 года. Это связано с сохранением охотничьих ресурсов и их рациональным использованием.<br>Запрет на охоту будет действовать во всех угодьях кроме следующих: «Аксубаевское», «Беркут», «Бутино-Шешминское», «Арское», «Урнякское», «Атнинское», «Юкя», «Буинское», «Глухарь», «Фазан», «Елабужское», «Караишевское», «Зеленодольское», «Краснооктябрьское», «Волжско-Камское», «Камское раздолье», «Рысь», «Новомензелинское», «Сухаревское», «Шешминское», «Красновидово», «Тюрнясевское», «Тетюшское», «Урахчинское», «Мизиновское» и общедоступных охотничьих угодий Алькеевского, Альметьевского, Дрожжановского, Лениногорского, Рыбно-Слободского муниципальных районов.<br>Напомним, что 15 августа текущего года врио президента РТ Рустам Минниханов подписал ука...</code> |
+  | <code>Как составить исковое заявление по потере оригинала диплома на работе - на директора супермаркета, работника отдела кадров или хозяина предприятия?. На работе потеряли оригинал моего диплома. Как правильно составить исковое заявление и на кого? На директора супермаркета, на работникаотдела кадров или на хозяина предприятия?</code> | <code>Вам нужно получить дубликат диплома в учебном заведении, которое Вам его выдало. А от того, что Вы напишите исковое заявление, диплом все равно не найдется.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | <code>Здравствуйте, Павел,главное, чтобы нынешний собственник нашел понимание с ТСЖ относительно площади квартиры.Что же касается ошибочных начислений, то действительно, предыдущий собственник может взыскать неосновательно перечисленную плату, однако есть несколько нюансов, которые требуют более детального знакомства с ситуацией.С уважением, Иван Ерпылёв</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
+* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
+  ```json
+  {
+      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
+      "triplet_margin": 5
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 32
+- `learning_rate`: 1e-06
+- `num_train_epochs`: 1
+- `bf16`: True
+- `load_best_model_at_end`: True
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 32
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 1e-06
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 1
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: batch_sampler
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch  | Step | Training Loss | Validation Loss | triplet_eval_cosine_accuracy |
+|:------:|:----:|:-------------:|:---------------:|:----------------------------:|
+| 0.1598 | 593  | 0.4866        | -               | -                            |
+| 0.3196 | 1186 | 0.0792        | -               | -                            |
+| 0.4794 | 1779 | 0.0436        | -               | -                            |
+| 0.6392 | 2372 | 0.0355        | -               | -                            |
+| 0.7990 | 2965 | 0.0324        | -               | -                            |
+| 0.9588 | 3558 | 0.0304        | -               | -                            |
+| 1.0    | 3711 | -             | 0.0309          | 0.9991                       |
+
+
+### Framework Versions
+- Python: 3.11.10
+- Sentence Transformers: 4.1.0
+- Transformers: 4.52.4
+- PyTorch: 2.6.0+cu124
+- Accelerate: 1.7.0
+- Datasets: 3.6.0
+- Tokenizers: 0.21.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### TripletLoss
+```bibtex
+@misc{hermans2017defense,
+    title={In Defense of the Triplet Loss for Person Re-Identification},
+    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
+    year={2017},
+    eprint={1703.07737},
+    archivePrefix={arXiv},
+    primaryClass={cs.CV}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoint-3711/config.json

@@ -0,0 +1,81 @@
+{
+  "activation_function": "gelu",
+  "allow_embedding_resizing": true,
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "attention_layer": "rope",
+  "attention_probs_dropout_prob": 0.0,
+  "attn_out_bias": false,
+  "attn_out_dropout_prob": 0.1,
+  "attn_qkv_bias": false,
+  "bert_layer": "prenorm",
+  "bos_token_id": 50281,
+  "classifier_activation": "gelu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "cls",
+  "cls_token_id": 50281,
+  "compile_model": true,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "embed_dropout_prob": 0.0,
+  "embed_norm": true,
+  "embedding_dropout": 0.0,
+  "embedding_layer": "sans_pos",
+  "eos_token_id": 50282,
+  "final_norm": true,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "head_pred_act": "gelu",
+  "hidden_act": "gelu",
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "init_method": "full_megatron",
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "local_attention": 128,
+  "local_attn_rotary_emb_base": 10000.0,
+  "local_rope_theta": 10000.0,
+  "loss_function": "fa_cross_entropy",
+  "loss_kwargs": {
+    "reduction": "mean"
+  },
+  "masked_prediction": true,
+  "max_position_embeddings": 8192,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "mlp_dropout_prob": 0.0,
+  "mlp_in_bias": false,
+  "mlp_layer": "glu",
+  "mlp_out_bias": false,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "norm_kwargs": {
+    "bias": false,
+    "eps": 1e-05
+  },
+  "normalization": "layernorm",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 50283,
+  "padding": "unpadded",
+  "repad_logits_with_grad": false,
+  "rotary_emb_base": 160000.0,
+  "rotary_emb_dim": null,
+  "rotary_emb_interleaved": false,
+  "rotary_emb_scale_base": null,
+  "sep_token_id": 50282,
+  "skip_first_prenorm": true,
+  "sliding_window": 128,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.52.4",
+  "unpad_embeddings": true,
+  "vocab_size": 50368
+}

checkpoint-3711/config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "4.1.0",
+    "transformers": "4.52.4",
+    "pytorch": "2.6.0+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

checkpoint-3711/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b4b8411440f4b0a9c68965cd518105fb4aba6a0c81480b7d28d83630ba995223
+size 596070136

checkpoint-3711/modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

checkpoint-3711/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7b0f47144a558155c4b9fa3bc6f993a8e2804b3986210c9fb572efb477f2674f
+size 1192227066

checkpoint-3711/rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6fe06cbec48873f7cf0d5b361a59149eba8e2f91780f602044d2ef83c90e59df
+size 14244

checkpoint-3711/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:89bbc6ab6c96a90d6557c95493a409a78753fe443a9e45295730f2ae044ec57b
+size 1064

checkpoint-3711/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

checkpoint-3711/special_tokens_map.json

@@ -0,0 +1,46 @@
+{
+  "additional_special_tokens": [
+    "<|padding|>",
+    "<|endoftext|>",
+    "[UNK]",
+    "[CLS]",
+    "[SEP]",
+    "[PAD]",
+    "[MASK]"
+  ],
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoint-3711/tokenizer_config.json

@@ -0,0 +1,954 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<|padding|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "    ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "3": {
+      "content": "   ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "4": {
+      "content": "  ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "5": {
+      "content": "|||EMAIL_ADDRESS|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "6": {
+      "content": "|||PHONE_NUMBER|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50259": {
+      "content": "|||IP_ADDRESS|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50260": {
+      "content": "                        ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50261": {
+      "content": "                       ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50262": {
+      "content": "                      ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50263": {
+      "content": "                     ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50264": {
+      "content": "                    ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50265": {
+      "content": "                   ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50266": {
+      "content": "                  ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50267": {
+      "content": "                 ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50268": {
+      "content": "                ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50269": {
+      "content": "               ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50270": {
+      "content": "              ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50271": {
+      "content": "             ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50272": {
+      "content": "            ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50273": {
+      "content": "           ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50274": {
+      "content": "          ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50275": {
+      "content": "         ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50276": {
+      "content": "        ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50277": {
+      "content": "       ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50278": {
+      "content": "      ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50279": {
+      "content": "     ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50280": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50281": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50282": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50283": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50284": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50285": {
+      "content": "[unused0]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50286": {
+      "content": "[unused1]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50287": {
+      "content": "[unused2]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50288": {
+      "content": "[unused3]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50289": {
+      "content": "[unused4]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50290": {
+      "content": "[unused5]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50291": {
+      "content": "[unused6]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50292": {
+      "content": "[unused7]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50293": {
+      "content": "[unused8]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50294": {
+      "content": "[unused9]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50295": {
+      "content": "[unused10]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50296": {
+      "content": "[unused11]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50297": {
+      "content": "[unused12]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50298": {
+      "content": "[unused13]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50299": {
+      "content": "[unused14]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50300": {
+      "content": "[unused15]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50301": {
+      "content": "[unused16]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50302": {
+      "content": "[unused17]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50303": {
+      "content": "[unused18]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50304": {
+      "content": "[unused19]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50305": {
+      "content": "[unused20]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50306": {
+      "content": "[unused21]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50307": {
+      "content": "[unused22]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50308": {
+      "content": "[unused23]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50309": {
+      "content": "[unused24]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50310": {
+      "content": "[unused25]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50311": {
+      "content": "[unused26]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50312": {
+      "content": "[unused27]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50313": {
+      "content": "[unused28]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50314": {
+      "content": "[unused29]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50315": {
+      "content": "[unused30]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50316": {
+      "content": "[unused31]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50317": {
+      "content": "[unused32]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50318": {
+      "content": "[unused33]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50319": {
+      "content": "[unused34]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50320": {
+      "content": "[unused35]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50321": {
+      "content": "[unused36]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50322": {
+      "content": "[unused37]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50323": {
+      "content": "[unused38]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50324": {
+      "content": "[unused39]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50325": {
+      "content": "[unused40]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50326": {
+      "content": "[unused41]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50327": {
+      "content": "[unused42]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50328": {
+      "content": "[unused43]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50329": {
+      "content": "[unused44]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50330": {
+      "content": "[unused45]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50331": {
+      "content": "[unused46]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50332": {
+      "content": "[unused47]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50333": {
+      "content": "[unused48]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50334": {
+      "content": "[unused49]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50335": {
+      "content": "[unused50]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50336": {
+      "content": "[unused51]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50337": {
+      "content": "[unused52]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50338": {
+      "content": "[unused53]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50339": {
+      "content": "[unused54]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50340": {
+      "content": "[unused55]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50341": {
+      "content": "[unused56]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50342": {
+      "content": "[unused57]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50343": {
+      "content": "[unused58]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50344": {
+      "content": "[unused59]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50345": {
+      "content": "[unused60]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50346": {
+      "content": "[unused61]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50347": {
+      "content": "[unused62]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50348": {
+      "content": "[unused63]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50349": {
+      "content": "[unused64]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50350": {
+      "content": "[unused65]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50351": {
+      "content": "[unused66]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50352": {
+      "content": "[unused67]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50353": {
+      "content": "[unused68]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50354": {
+      "content": "[unused69]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50355": {
+      "content": "[unused70]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50356": {
+      "content": "[unused71]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50357": {
+      "content": "[unused72]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50358": {
+      "content": "[unused73]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50359": {
+      "content": "[unused74]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50360": {
+      "content": "[unused75]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50361": {
+      "content": "[unused76]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50362": {
+      "content": "[unused77]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50363": {
+      "content": "[unused78]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50364": {
+      "content": "[unused79]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50365": {
+      "content": "[unused80]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50366": {
+      "content": "[unused81]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50367": {
+      "content": "[unused82]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "additional_special_tokens": [
+    "<|padding|>",
+    "<|endoftext|>",
+    "[UNK]",
+    "[CLS]",
+    "[SEP]",
+    "[PAD]",
+    "[MASK]"
+  ],
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "tokenizer_class": "PreTrainedTokenizer",
+  "unk_token": "[UNK]"
+}

checkpoint-3711/trainer_state.json

@@ -0,0 +1,85 @@
+{
+  "best_global_step": 3711,
+  "best_metric": 0.9990800023078918,
+  "best_model_checkpoint": "/my_model_output/rumodernbert_solyanka/checkpoint-3711",
+  "epoch": 1.0,
+  "eval_steps": 500,
+  "global_step": 3711,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.15979520344920506,
+      "grad_norm": 3.437915086746216,
+      "learning_rate": 8.404742656965777e-07,
+      "loss": 0.4866,
+      "step": 593
+    },
+    {
+      "epoch": 0.3195904068984101,
+      "grad_norm": 2.164642095565796,
+      "learning_rate": 6.806790622473725e-07,
+      "loss": 0.0792,
+      "step": 1186
+    },
+    {
+      "epoch": 0.4793856103476152,
+      "grad_norm": 2.1435794830322266,
+      "learning_rate": 5.208838587981676e-07,
+      "loss": 0.0436,
+      "step": 1779
+    },
+    {
+      "epoch": 0.6391808137968202,
+      "grad_norm": 1.1813297271728516,
+      "learning_rate": 3.6108865534896254e-07,
+      "loss": 0.0355,
+      "step": 2372
+    },
+    {
+      "epoch": 0.7989760172460253,
+      "grad_norm": 1.226506233215332,
+      "learning_rate": 2.0129345189975746e-07,
+      "loss": 0.0324,
+      "step": 2965
+    },
+    {
+      "epoch": 0.9587712206952304,
+      "grad_norm": 2.737544059753418,
+      "learning_rate": 4.149824845055241e-08,
+      "loss": 0.0304,
+      "step": 3558
+    },
+    {
+      "epoch": 1.0,
+      "eval_loss": 0.030859705060720444,
+      "eval_runtime": 1596.6388,
+      "eval_samples_per_second": 62.632,
+      "eval_steps_per_second": 0.245,
+      "eval_triplet_eval_cosine_accuracy": 0.9990800023078918,
+      "step": 3711
+    }
+  ],
+  "logging_steps": 593,
+  "max_steps": 3711,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 1,
+  "save_steps": 500,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 512,
+  "trial_name": null,
+  "trial_params": null
+}

checkpoint-3711/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d1e977a923acf9cd0b37c83cd6a3d6c6def3c2e5b4d71847252398eb01d03cab
+size 5560

config.json

@@ -0,0 +1,81 @@
+{
+  "activation_function": "gelu",
+  "allow_embedding_resizing": true,
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "attention_layer": "rope",
+  "attention_probs_dropout_prob": 0.0,
+  "attn_out_bias": false,
+  "attn_out_dropout_prob": 0.1,
+  "attn_qkv_bias": false,
+  "bert_layer": "prenorm",
+  "bos_token_id": 50281,
+  "classifier_activation": "gelu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "cls",
+  "cls_token_id": 50281,
+  "compile_model": true,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "embed_dropout_prob": 0.0,
+  "embed_norm": true,
+  "embedding_dropout": 0.0,
+  "embedding_layer": "sans_pos",
+  "eos_token_id": 50282,
+  "final_norm": true,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "head_pred_act": "gelu",
+  "hidden_act": "gelu",
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "init_method": "full_megatron",
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "local_attention": 128,
+  "local_attn_rotary_emb_base": 10000.0,
+  "local_rope_theta": 10000.0,
+  "loss_function": "fa_cross_entropy",
+  "loss_kwargs": {
+    "reduction": "mean"
+  },
+  "masked_prediction": true,
+  "max_position_embeddings": 8192,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "mlp_dropout_prob": 0.0,
+  "mlp_in_bias": false,
+  "mlp_layer": "glu",
+  "mlp_out_bias": false,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "norm_kwargs": {
+    "bias": false,
+    "eps": 1e-05
+  },
+  "normalization": "layernorm",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 50283,
+  "padding": "unpadded",
+  "repad_logits_with_grad": false,
+  "rotary_emb_base": 160000.0,
+  "rotary_emb_dim": null,
+  "rotary_emb_interleaved": false,
+  "rotary_emb_scale_base": null,
+  "sep_token_id": 50282,
+  "skip_first_prenorm": true,
+  "sliding_window": 128,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.52.4",
+  "unpad_embeddings": true,
+  "vocab_size": 50368
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "4.1.0",
+    "transformers": "4.52.4",
+    "pytorch": "2.6.0+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

eval/triplet_evaluation_triplet_eval_results.csv

@@ -0,0 +1,2 @@
+epoch,steps,accuracy_cosine
+1.0,3711,0.9990800023078918

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b4b8411440f4b0a9c68965cd518105fb4aba6a0c81480b7d28d83630ba995223
+size 596070136

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,46 @@
+{
+  "additional_special_tokens": [
+    "<|padding|>",
+    "<|endoftext|>",
+    "[UNK]",
+    "[CLS]",
+    "[SEP]",
+    "[PAD]",
+    "[MASK]"
+  ],
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,954 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<|padding|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "    ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "3": {
+      "content": "   ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "4": {
+      "content": "  ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "5": {
+      "content": "|||EMAIL_ADDRESS|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "6": {
+      "content": "|||PHONE_NUMBER|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50259": {
+      "content": "|||IP_ADDRESS|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50260": {
+      "content": "                        ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50261": {
+      "content": "                       ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50262": {
+      "content": "                      ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50263": {
+      "content": "                     ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50264": {
+      "content": "                    ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50265": {
+      "content": "                   ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50266": {
+      "content": "                  ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50267": {
+      "content": "                 ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50268": {
+      "content": "                ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50269": {
+      "content": "               ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50270": {
+      "content": "              ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50271": {
+      "content": "             ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50272": {
+      "content": "            ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50273": {
+      "content": "           ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50274": {
+      "content": "          ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50275": {
+      "content": "         ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50276": {
+      "content": "        ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50277": {
+      "content": "       ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50278": {
+      "content": "      ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50279": {
+      "content": "     ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50280": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50281": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50282": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50283": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50284": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50285": {
+      "content": "[unused0]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50286": {
+      "content": "[unused1]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50287": {
+      "content": "[unused2]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50288": {
+      "content": "[unused3]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50289": {
+      "content": "[unused4]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50290": {
+      "content": "[unused5]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50291": {
+      "content": "[unused6]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50292": {
+      "content": "[unused7]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50293": {
+      "content": "[unused8]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50294": {
+      "content": "[unused9]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50295": {
+      "content": "[unused10]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50296": {
+      "content": "[unused11]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50297": {
+      "content": "[unused12]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50298": {
+      "content": "[unused13]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50299": {
+      "content": "[unused14]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50300": {
+      "content": "[unused15]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50301": {
+      "content": "[unused16]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50302": {
+      "content": "[unused17]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50303": {
+      "content": "[unused18]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50304": {
+      "content": "[unused19]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50305": {
+      "content": "[unused20]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50306": {
+      "content": "[unused21]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50307": {
+      "content": "[unused22]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50308": {
+      "content": "[unused23]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50309": {
+      "content": "[unused24]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50310": {
+      "content": "[unused25]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50311": {
+      "content": "[unused26]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50312": {
+      "content": "[unused27]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50313": {
+      "content": "[unused28]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50314": {
+      "content": "[unused29]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50315": {
+      "content": "[unused30]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50316": {
+      "content": "[unused31]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50317": {
+      "content": "[unused32]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50318": {
+      "content": "[unused33]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50319": {
+      "content": "[unused34]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50320": {
+      "content": "[unused35]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50321": {
+      "content": "[unused36]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50322": {
+      "content": "[unused37]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50323": {
+      "content": "[unused38]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50324": {
+      "content": "[unused39]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50325": {
+      "content": "[unused40]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50326": {
+      "content": "[unused41]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50327": {
+      "content": "[unused42]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50328": {
+      "content": "[unused43]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50329": {
+      "content": "[unused44]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50330": {
+      "content": "[unused45]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50331": {
+      "content": "[unused46]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50332": {
+      "content": "[unused47]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50333": {
+      "content": "[unused48]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50334": {
+      "content": "[unused49]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50335": {
+      "content": "[unused50]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50336": {
+      "content": "[unused51]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50337": {
+      "content": "[unused52]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50338": {
+      "content": "[unused53]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50339": {
+      "content": "[unused54]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50340": {
+      "content": "[unused55]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50341": {
+      "content": "[unused56]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50342": {
+      "content": "[unused57]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50343": {
+      "content": "[unused58]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50344": {
+      "content": "[unused59]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50345": {
+      "content": "[unused60]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50346": {
+      "content": "[unused61]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50347": {
+      "content": "[unused62]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50348": {
+      "content": "[unused63]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50349": {
+      "content": "[unused64]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50350": {
+      "content": "[unused65]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50351": {
+      "content": "[unused66]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50352": {
+      "content": "[unused67]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50353": {
+      "content": "[unused68]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50354": {
+      "content": "[unused69]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50355": {
+      "content": "[unused70]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50356": {
+      "content": "[unused71]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50357": {
+      "content": "[unused72]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50358": {
+      "content": "[unused73]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50359": {
+      "content": "[unused74]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50360": {
+      "content": "[unused75]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50361": {
+      "content": "[unused76]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50362": {
+      "content": "[unused77]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50363": {
+      "content": "[unused78]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50364": {
+      "content": "[unused79]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50365": {
+      "content": "[unused80]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50366": {
+      "content": "[unused81]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50367": {
+      "content": "[unused82]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "additional_special_tokens": [
+    "<|padding|>",
+    "<|endoftext|>",
+    "[UNK]",
+    "[CLS]",
+    "[SEP]",
+    "[PAD]",
+    "[MASK]"
+  ],
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "tokenizer_class": "PreTrainedTokenizer",
+  "unk_token": "[UNK]"
+}