File size: 24,737 Bytes
5407fba
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
---
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:253483
- loss:MarginMSELoss
base_model: sentence-transformers/quora-distilbert-multilingual
widget:
- source_sentence: L'autore è sconosciuto. Il poema andò perduto, ma nel XV secolo
    fu ritrovato e copiato in un manoscritto dallo studioso greco neoplatonico Costantino
    Lascaris. Si trova nei manoscritti sia da solo che insieme ad altri scritti, quali
    gli Inni orfici o gli Inni omerici. Un'altra opera correlata è il Lithica (che
    descrive le proprietà e il simbolismo di diverse pietre).
  sentences:
  - Perchè è stato copiato in un manoscritto?
  - Qual è il nome originale della piazza Garibaldi?
  - Chi fu il creatore dell'uomo secondo Ovidio?
- source_sentence: 'Il 31 ottobre 1973 un tram guasto trainato da un''altra vettura
    in direzione del deposito di Fuorigrotta si sganciò all''interno della Galleria
    Laziale. Dal momento che percorreva la galleria in salita, il tram, privo di conducente
    e senza freni, ripiombò nella piazza a fortissima velocità (circa 70 km/h), fiondandosi
    su alcune automobili ferme al semaforo e terminò la sua folle corsa nell''aiuola
    della fontana della piazza senza però danneggiarla, abbattendo però una palma
    che non è mai più stata rimpiazzata. L''incidente causò due morti: Luigi Esposito
    (passeggero del taxi di appena 24 anni) e del tassista Gianni Vozzo (29 anni)
    che in quel momento si trovavano all''interno del taxi colpito e tranciato in
    due parti dal tram.'
  sentences:
  - Perché il tram ripiombò nella piazza?
  - Perché gli Opici erano considerati una civiltà preurbana?
  - Chi ha scoperto i resti archeologici della metropolitana di Napoli?
- source_sentence: 'Una cantata per voce di basso e basso continuo di Alessandro Scarlatti,
    conservata presso la biblioteca del Conservatorio di S.Pietro a Majella, si intitola
    Nel mar che bagna al bel Sebeto il piede. Dalla scrittura musicale risulta che
    l''accento della parola cadeva sulla seconda "e" ed era acuto: "Sebéto". Si tratta
    di una cantata d''argomento arcadico, cioè bucolico e pastorale, in cui sono ritratte
    gare di vele alla foce del fiume e, in parallelo, una "gara d''amore" che nasce
    tra due pastori dai mitologici nomi di Elpino e Nice. Lo stesso Alessandro Scarlatti
    scrive una cantata dal titolo Nel mar che bagna a Mergellina il piede, d''identico
    argomento e identica ambientazione. Nella serenata in un atto La concordia dei
    pianeti (1723) di Antonio Caldara, si menziona il Sebeto assieme a altri fiumi
    (“l''Istro, il Reno, la Mossa, il Po, il Sebeto”) che "mormorano" il nome dell''imperatrice
    Elisabetta Cristina, regnante assieme a Carlo VI. Anche nel melodramma di Tiberio
    Natalucci Il viaggio di Bellini, con testo di Cassiano Zaccagnini, è citato questo
    fiume: Bellini, all''apertura della 5ª scena del 1° atto infatti canta «Del bel
    Sebeto le incantate sponde / Son presso omai: ricalcherò quel suolo / Che de sudori
    miei primo bagnai...».'
  sentences:
  - Perché si trovano i 404 scalini della Pedamentina in quel luogo?
  - Qual è il nome del melodramma di Tiberio Natalucci che cita il Sebeto?
  - Come erano utilizzati i pronomi di cortesia nel Medioevo nel Regno delle Due Sicilie?
- source_sentence: 'Il parco nazionale del Vesuvio è nato il 5 giugno 1995 per il
    grande interesse geologico, biologico e storico che il suo territorio rappresenta.
    La sua sede è collocata nel comune di Ottaviano. È stato istituito principalmente
    per:  conservare i valori del territorio e dell''ambiente, e la loro integrazione
    con l''uomo; salvaguardare le specie animali e vegetali, nonché le singolarità
    geologiche; promuovere attività di educazione ambientale, di formazione e di ricerca
    scientifica. Il Parco nasce poi dall''esigenza di valorizzare e difendere il Vesuvio.
    Esso rappresenta il tipico esempio di vulcano a recinto, costituito da un cono
    esterno tronco, il Monte Somma, (spento e con una cinta craterica in buona parte
    demolita) entro il quale si trova un cono più piccolo (che rappresenta il Vesuvio,
    ancora attivo).Il territorio, ricco di bellezze storiche e naturalistiche, vanta
    una produzione agricola unica per varietà e originalità di sapori.Un''ulteriore
    singolarità di questo Parco è rappresentata dalla notevole presenza di specie
    floristiche e faunistiche se si rapporta alla sua ridotta estensione: sono presenti
    ben 612 specie appartenenti al mondo vegetale e 227 specie (tra quelle studiate)
    appartenenti a quello animale. A causa dell''emergenza rifiuti in Campania, due
    siti sul confine del Parco nazionale del Vesuvio avrebbero dovuto essere adibiti
    a discarica in seguito all''emanazione della legge nº 123 del 2008. Al 2010, è
    già attiva e quasi satura la discarica "Ex Sari". Durante il mese di settembre
    2010 la regione Campania aveva previsto l''apertura della seconda discarica, "Cava
    Vitiello", che avrebbe dovuto essere la più grande d''Europa. Tuttavia, dopo numerose
    proteste da parte soprattutto dei cittadini dei comuni di Boscoreale e Terzigno
    l''apertura della discarica è stata sospesa dal Governo.'
  sentences:
  - Perchè è stato istituito il Parco nazionale del Vesuvio?
  - Chi sono i personaggi tipici dell'iconografia napoletana descritti nel testo?
  - Chi ha condotto le campagne di scavo a Elea-Velia?
- source_sentence: Ade è l'antagonista principale nel musical Hadestown.
  sentences:
  - Dove si trova Piazza Trieste e Trento?
  - Chi è l'antagonista principale nel musical Hadestown?
  - Perchè la poesia resta l\'unico elemento eterno
pipeline_tag: sentence-similarity
library_name: sentence-transformers
---

# SentenceTransformer based on sentence-transformers/quora-distilbert-multilingual

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/quora-distilbert-multilingual](https://huggingface.co/sentence-transformers/quora-distilbert-multilingual). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [sentence-transformers/quora-distilbert-multilingual](https://huggingface.co/sentence-transformers/quora-distilbert-multilingual) <!-- at revision fbe06168e4a528166d926cf1866ce45b6dc1118a -->
- **Maximum Sequence Length:** 128 tokens
- **Output Dimensionality:** 768 dimensions
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("HipFil98/sbert-mariannaQA-ita")
# Run inference
sentences = [
    "Ade è l'antagonista principale nel musical Hadestown.",
    "Chi è l'antagonista principale nel musical Hadestown?",
    "Perchè la poesia resta l\\'unico elemento eterno",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Dataset

#### Unnamed Dataset


* Size: 253,483 training samples
* Columns: <code>sentence_0</code>, <code>sentence_1</code>, <code>sentence_2</code>, and <code>label</code>
* Approximate statistics based on the first 1000 samples:
  |         | sentence_0                                                                          | sentence_1                                                                       | sentence_2                                                                        | label                                                            |
  |:--------|:------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:-----------------------------------------------------------------|
  | type    | string                                                                              | string                                                                           | string                                                                            | float                                                            |
  | details | <ul><li>min: 6 tokens</li><li>mean: 108.27 tokens</li><li>max: 128 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 16.5 tokens</li><li>max: 38 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 17.77 tokens</li><li>max: 37 tokens</li></ul> | <ul><li>min: -0.18</li><li>mean: 0.33</li><li>max: 0.9</li></ul> |
* Samples:
  | sentence_0                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | sentence_1                                                                              | sentence_2                                                                                                                  | label                            |
  |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------|:---------------------------------|
  | <code>A lungo si è discusso a quale genere appartenesse un'opera tanto innovativa come quella ovidiana. Per gli studiosi è stato subito chiaro che l'intenzione di Ovidio fosse quella di scrivere un poema epico. D'altronde l'utilizzo dell'esametro, il tipico metro della tradizione epica usato da Omero e da Virgilio, presupponeva proprio questo, che ci trovassimo di fronte a un altro poema epico. Quello che però non ha convinto - e su cui i critici hanno dibattuto per tutto l'inizio del XX secolo - è stata la scelta tematica fatta da Ovidio: non l'epopea di un unico eroe, ma un'infinità di storie legate insieme da un unico elemento, le metamorfosi. D'altronde non dobbiamo scordare che Ovidio, prima di scrivere il poema, era considerato il più famoso poeta elegiaco della corte augustea insieme a Properzio. Anderson ha notato che proprio i primi due versi delle Metamorfosi sono in un certo senso esemplificative del passaggio da poeta elegiaco a epico:  Tenendo presente che un distico elegiaco è ...</code> | <code>Cosa hanno in comune i primi due versi delle Metamorfosi secondo Anderson?</code> | <code>Perché il Mormando utilizzò l'ordine corinzio completo di piedistallo nelle chiese napoletane del cinquecento?</code> | <code>0.4587586522102356</code>  |
  | <code>Negli anni successivi, Atene viene attaccata come tutta la Grecia dall'Impero persiano. Nel 490 a.C la flotta persiana sbarca in Eubea e tenta di assediare Atene. La città chiede aiuto a Sparta ma rimane sola. Gli ateniesi non si scoraggiano e a Maratona in una epica battaglia riescono a sconfiggere e a ricacciare in patria i persiani. Qualche anno dopo, il re Serse sbaraglia i greci alle Termopili e assedia Atene. Gli abitanti riescono a rifugiarsi a Salamina ma la città è distrutta dai persiani. Sotto la guida di Temistocle, gli ateniesi riescono comunque a sconfiggere i persiani e a ricostruire la loro città ed a costruire una cinta difensiva, che sarà ricordata come le mura di Temistocle, nella speranza di proteggersi da ulteriori invasioni.</code>                                                                                                                                                                                                                                                         | <code>Perchè le mura di Temistocle furono costruite?</code>                             | <code>Chi ha ammirato la Crypta Neapolitana?</code>                                                                         | <code>0.371756911277771</code>   |
  | <code>Quando a Napoli cadevano le bombe di Aldo De Gioia (2009) Morso di luna nuova di Erri De Luca pubblicato nel 2005 e portato in scena dal 2008 da varie Compagnie teatrali. Libertà: Omaggio alle Quattro Giornate di Napoli - spettacolo in prosa e musica di Giovanni D'Angelo (2003)</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | <code>Cosa è stato rappresentato nel testo?</code>                                      | <code>Chi insegnò il giordano Filodemo di Gadara e Sirone a Napoli?</code>                                                  | <code>0.08001580834388733</code> |
* Loss: [<code>MarginMSELoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#marginmseloss)

### Training Hyperparameters
#### Non-Default Hyperparameters

- `num_train_epochs`: 1
- `multi_dataset_batch_sampler`: round_robin

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: no
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 8
- `per_device_eval_batch_size`: 8
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1
- `num_train_epochs`: 1
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: round_robin

</details>

### Training Logs
| Epoch  | Step  | Training Loss |
|:------:|:-----:|:-------------:|
| 0.0158 | 500   | 11.4697       |
| 0.0316 | 1000  | 0.0719        |
| 0.0473 | 1500  | 0.0431        |
| 0.0631 | 2000  | 0.0372        |
| 0.0789 | 2500  | 0.0309        |
| 0.0947 | 3000  | 0.0272        |
| 0.1105 | 3500  | 0.0249        |
| 0.1262 | 4000  | 0.0209        |
| 0.1420 | 4500  | 0.0186        |
| 0.1578 | 5000  | 0.0164        |
| 0.1736 | 5500  | 0.0142        |
| 0.1894 | 6000  | 0.0131        |
| 0.2051 | 6500  | 0.0123        |
| 0.2209 | 7000  | 0.0134        |
| 0.2367 | 7500  | 0.0102        |
| 0.2525 | 8000  | 0.0101        |
| 0.2683 | 8500  | 0.0091        |
| 0.2840 | 9000  | 0.0083        |
| 0.2998 | 9500  | 0.008         |
| 0.3156 | 10000 | 0.0083        |
| 0.3314 | 10500 | 0.0072        |
| 0.3472 | 11000 | 0.0075        |
| 0.3629 | 11500 | 0.0069        |
| 0.3787 | 12000 | 0.0063        |
| 0.3945 | 12500 | 0.0062        |
| 0.4103 | 13000 | 0.0064        |
| 0.4261 | 13500 | 0.0057        |
| 0.4418 | 14000 | 0.0058        |
| 0.4576 | 14500 | 0.005         |
| 0.4734 | 15000 | 0.005         |
| 0.4892 | 15500 | 0.0048        |
| 0.5050 | 16000 | 0.0046        |
| 0.5207 | 16500 | 0.0046        |
| 0.5365 | 17000 | 0.0044        |
| 0.5523 | 17500 | 0.0042        |
| 0.5681 | 18000 | 0.0038        |
| 0.5839 | 18500 | 0.0037        |
| 0.5996 | 19000 | 0.0038        |
| 0.6154 | 19500 | 0.0036        |
| 0.6312 | 20000 | 0.0033        |
| 0.6470 | 20500 | 0.0033        |
| 0.6628 | 21000 | 0.0031        |
| 0.6785 | 21500 | 0.0029        |
| 0.6943 | 22000 | 0.0029        |
| 0.7101 | 22500 | 0.0028        |
| 0.7259 | 23000 | 0.0028        |
| 0.7417 | 23500 | 0.0028        |
| 0.7574 | 24000 | 0.0025        |
| 0.7732 | 24500 | 0.0024        |
| 0.7890 | 25000 | 0.0023        |
| 0.8048 | 25500 | 0.0023        |
| 0.8206 | 26000 | 0.0021        |
| 0.8363 | 26500 | 0.0022        |
| 0.8521 | 27000 | 0.002         |
| 0.8679 | 27500 | 0.0019        |
| 0.8837 | 28000 | 0.0019        |
| 0.8995 | 28500 | 0.0019        |
| 0.9152 | 29000 | 0.0018        |
| 0.9310 | 29500 | 0.0018        |
| 0.9468 | 30000 | 0.0018        |
| 0.9626 | 30500 | 0.0017        |
| 0.9784 | 31000 | 0.0017        |
| 0.9941 | 31500 | 0.0016        |


### Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.3.1
- Transformers: 4.47.1
- PyTorch: 2.5.1+cu121
- Accelerate: 1.2.1
- Datasets: 3.2.0
- Tokenizers: 0.21.0

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### MarginMSELoss
```bibtex
@misc{hofstätter2021improving,
    title={Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation},
    author={Sebastian Hofstätter and Sophia Althammer and Michael Schröder and Mete Sertkan and Allan Hanbury},
    year={2021},
    eprint={2010.02666},
    archivePrefix={arXiv},
    primaryClass={cs.IR}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->