README.md

---
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:253483
- loss:MarginMSELoss
base_model: sentence-transformers/quora-distilbert-multilingual
widget:
- source_sentence: L'autore è sconosciuto. Il poema andò perduto, ma nel XV secolo
    fu ritrovato e copiato in un manoscritto dallo studioso greco neoplatonico Costantino
    Lascaris. Si trova nei manoscritti sia da solo che insieme ad altri scritti, quali
    gli Inni orfici o gli Inni omerici. Un'altra opera correlata è il Lithica (che
    descrive le proprietà e il simbolismo di diverse pietre).
  sentences:
  - Perchè è stato copiato in un manoscritto?
  - Qual è il nome originale della piazza Garibaldi?
  - Chi fu il creatore dell'uomo secondo Ovidio?
- source_sentence: 'Il 31 ottobre 1973 un tram guasto trainato da un''altra vettura
    in direzione del deposito di Fuorigrotta si sganciò all''interno della Galleria
    Laziale. Dal momento che percorreva la galleria in salita, il tram, privo di conducente
    e senza freni, ripiombò nella piazza a fortissima velocità (circa 70 km/h), fiondandosi
    su alcune automobili ferme al semaforo e terminò la sua folle corsa nell''aiuola
    della fontana della piazza senza però danneggiarla, abbattendo però una palma
    che non è mai più stata rimpiazzata. L''incidente causò due morti: Luigi Esposito
    (passeggero del taxi di appena 24 anni) e del tassista Gianni Vozzo (29 anni)
    che in quel momento si trovavano all''interno del taxi colpito e tranciato in
    due parti dal tram.'
  sentences:
  - Perché il tram ripiombò nella piazza?
  - Perché gli Opici erano considerati una civiltà preurbana?
  - Chi ha scoperto i resti archeologici della metropolitana di Napoli?
- source_sentence: 'Una cantata per voce di basso e basso continuo di Alessandro Scarlatti,
    conservata presso la biblioteca del Conservatorio di S.Pietro a Majella, si intitola
    Nel mar che bagna al bel Sebeto il piede. Dalla scrittura musicale risulta che
    l''accento della parola cadeva sulla seconda "e" ed era acuto: "Sebéto". Si tratta
    di una cantata d''argomento arcadico, cioè bucolico e pastorale, in cui sono ritratte
    gare di vele alla foce del fiume e, in parallelo, una "gara d''amore" che nasce
    tra due pastori dai mitologici nomi di Elpino e Nice. Lo stesso Alessandro Scarlatti
    scrive una cantata dal titolo Nel mar che bagna a Mergellina il piede, d''identico
    argomento e identica ambientazione. Nella serenata in un atto La concordia dei
    pianeti (1723) di Antonio Caldara, si menziona il Sebeto assieme a altri fiumi
    (“l''Istro, il Reno, la Mossa, il Po, il Sebeto”) che "mormorano" il nome dell''imperatrice
    Elisabetta Cristina, regnante assieme a Carlo VI. Anche nel melodramma di Tiberio
    Natalucci Il viaggio di Bellini, con testo di Cassiano Zaccagnini, è citato questo
    fiume: Bellini, all''apertura della 5ª scena del 1° atto infatti canta «Del bel
    Sebeto le incantate sponde / Son presso omai: ricalcherò quel suolo / Che de sudori
    miei primo bagnai...».'
  sentences:
  - Perché si trovano i 404 scalini della Pedamentina in quel luogo?
  - Qual è il nome del melodramma di Tiberio Natalucci che cita il Sebeto?
  - Come erano utilizzati i pronomi di cortesia nel Medioevo nel Regno delle Due Sicilie?
- source_sentence: 'Il parco nazionale del Vesuvio è nato il 5 giugno 1995 per il
    grande interesse geologico, biologico e storico che il suo territorio rappresenta.
    La sua sede è collocata nel comune di Ottaviano. È stato istituito principalmente
    per:  conservare i valori del territorio e dell''ambiente, e la loro integrazione
    con l''uomo; salvaguardare le specie animali e vegetali, nonché le singolarità
    geologiche; promuovere attività di educazione ambientale, di formazione e di ricerca
    scientifica. Il Parco nasce poi dall''esigenza di valorizzare e difendere il Vesuvio.
    Esso rappresenta il tipico esempio di vulcano a recinto, costituito da un cono
    esterno tronco, il Monte Somma, (spento e con una cinta craterica in buona parte
    demolita) entro il quale si trova un cono più piccolo (che rappresenta il Vesuvio,
    ancora attivo).Il territorio, ricco di bellezze storiche e naturalistiche, vanta
    una produzione agricola unica per varietà e originalità di sapori.Un''ulteriore
    singolarità di questo Parco è rappresentata dalla notevole presenza di specie
    floristiche e faunistiche se si rapporta alla sua ridotta estensione: sono presenti
    ben 612 specie appartenenti al mondo vegetale e 227 specie (tra quelle studiate)
    appartenenti a quello animale. A causa dell''emergenza rifiuti in Campania, due
    siti sul confine del Parco nazionale del Vesuvio avrebbero dovuto essere adibiti
    a discarica in seguito all''emanazione della legge nº 123 del 2008. Al 2010, è
    già attiva e quasi satura la discarica "Ex Sari". Durante il mese di settembre
    2010 la regione Campania aveva previsto l''apertura della seconda discarica, "Cava
    Vitiello", che avrebbe dovuto essere la più grande d''Europa. Tuttavia, dopo numerose
    proteste da parte soprattutto dei cittadini dei comuni di Boscoreale e Terzigno
    l''apertura della discarica è stata sospesa dal Governo.'
  sentences:
  - Perchè è stato istituito il Parco nazionale del Vesuvio?
  - Chi sono i personaggi tipici dell'iconografia napoletana descritti nel testo?
  - Chi ha condotto le campagne di scavo a Elea-Velia?
- source_sentence: Ade è l'antagonista principale nel musical Hadestown.
  sentences:
  - Dove si trova Piazza Trieste e Trento?
  - Chi è l'antagonista principale nel musical Hadestown?
  - Perchè la poesia resta l\'unico elemento eterno
pipeline_tag: sentence-similarity
library_name: sentence-transformers
---

# SentenceTransformer based on sentence-transformers/quora-distilbert-multilingual

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/quora-distilbert-multilingual](https://huggingface.co/sentence-transformers/quora-distilbert-multilingual). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [sentence-transformers/quora-distilbert-multilingual](https://huggingface.co/sentence-transformers/quora-distilbert-multilingual) <!-- at revision fbe06168e4a528166d926cf1866ce45b6dc1118a -->
- **Maximum Sequence Length:** 128 tokens
- **Output Dimensionality:** 768 dimensions
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("HipFil98/sbert-mariannaQA-ita")
# Run inference
sentences = [
    "Ade è l'antagonista principale nel musical Hadestown.",
    "Chi è l'antagonista principale nel musical Hadestown?",
    "Perchè la poesia resta l\\'unico elemento eterno",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Dataset

#### Unnamed Dataset


* Size: 253,483 training samples
* Columns: <code>sentence_0</code>, <code>sentence_1</code>, <code>sentence_2</code>, and <code>label</code>
* Approximate statistics based on the first 1000 samples:
  |         | sentence_0                                                                          | sentence_1                                                                       | sentence_2                                                                        | label                                                            |
  |:--------|:------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:-----------------------------------------------------------------|
  | type    | string                                                                              | string                                                                           | string                                                                            | float                                                            |
  | details | <ul><li>min: 6 tokens</li><li>mean: 108.27 tokens</li><li>max: 128 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 16.5 tokens</li><li>max: 38 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 17.77 tokens</li><li>max: 37 tokens</li></ul> | <ul><li>min: -0.18</li><li>mean: 0.33</li><li>max: 0.9</li></ul> |
* Samples:
  | sentence_0                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | sentence_1                                                                              | sentence_2                                                                                                                  | label                            |
  |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------|:---------------------------------|
  | <code>A lungo si è discusso a quale genere appartenesse un'opera tanto innovativa come quella ovidiana. Per gli studiosi è stato subito chiaro che l'intenzione di Ovidio fosse quella di scrivere un poema epico. D'altronde l'utilizzo dell'esametro, il tipico metro della tradizione epica usato da Omero e da Virgilio, presupponeva proprio questo, che ci trovassimo di fronte a un altro poema epico. Quello che però non ha convinto - e su cui i critici hanno dibattuto per tutto l'inizio del XX secolo - è stata la scelta tematica fatta da Ovidio: non l'epopea di un unico eroe, ma un'infinità di storie legate insieme da un unico elemento, le metamorfosi. D'altronde non dobbiamo scordare che Ovidio, prima di scrivere il poema, era considerato il più famoso poeta elegiaco della corte augustea insieme a Properzio. Anderson ha notato che proprio i primi due versi delle Metamorfosi sono in un certo senso esemplificative del passaggio da poeta elegiaco a epico:  Tenendo presente che un distico elegiaco è ...</code> | <code>Cosa hanno in comune i primi due versi delle Metamorfosi secondo Anderson?</code> | <code>Perché il Mormando utilizzò l'ordine corinzio completo di piedistallo nelle chiese napoletane del cinquecento?</code> | <code>0.4587586522102356</code>  |
  | <code>Negli anni successivi, Atene viene attaccata come tutta la Grecia dall'Impero persiano. Nel 490 a.C la flotta persiana sbarca in Eubea e tenta di assediare Atene. La città chiede aiuto a Sparta ma rimane sola. Gli ateniesi non si scoraggiano e a Maratona in una epica battaglia riescono a sconfiggere e a ricacciare in patria i persiani. Qualche anno dopo, il re Serse sbaraglia i greci alle Termopili e assedia Atene. Gli abitanti riescono a rifugiarsi a Salamina ma la città è distrutta dai persiani. Sotto la guida di Temistocle, gli ateniesi riescono comunque a sconfiggere i persiani e a ricostruire la loro città ed a costruire una cinta difensiva, che sarà ricordata come le mura di Temistocle, nella speranza di proteggersi da ulteriori invasioni.</code>                                                                                                                                                                                                                                                         | <code>Perchè le mura di Temistocle furono costruite?</code>                             | <code>Chi ha ammirato la Crypta Neapolitana?</code>                                                                         | <code>0.371756911277771</code>   |
  | <code>Quando a Napoli cadevano le bombe di Aldo De Gioia (2009) Morso di luna nuova di Erri De Luca pubblicato nel 2005 e portato in scena dal 2008 da varie Compagnie teatrali. Libertà: Omaggio alle Quattro Giornate di Napoli - spettacolo in prosa e musica di Giovanni D'Angelo (2003)</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | <code>Cosa è stato rappresentato nel testo?</code>                                      | <code>Chi insegnò il giordano Filodemo di Gadara e Sirone a Napoli?</code>                                                  | <code>0.08001580834388733</code> |
* Loss: [<code>MarginMSELoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#marginmseloss)

### Training Hyperparameters
#### Non-Default Hyperparameters

- `num_train_epochs`: 1
- `multi_dataset_batch_sampler`: round_robin

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: no
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 8
- `per_device_eval_batch_size`: 8
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1
- `num_train_epochs`: 1
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: round_robin

</details>

### Training Logs
| Epoch  | Step  | Training Loss |
|:------:|:-----:|:-------------:|
| 0.0158 | 500   | 11.4697       |
| 0.0316 | 1000  | 0.0719        |
| 0.0473 | 1500  | 0.0431        |
| 0.0631 | 2000  | 0.0372        |
| 0.0789 | 2500  | 0.0309        |
| 0.0947 | 3000  | 0.0272        |
| 0.1105 | 3500  | 0.0249        |
| 0.1262 | 4000  | 0.0209        |
| 0.1420 | 4500  | 0.0186        |
| 0.1578 | 5000  | 0.0164        |
| 0.1736 | 5500  | 0.0142        |
| 0.1894 | 6000  | 0.0131        |
| 0.2051 | 6500  | 0.0123        |
| 0.2209 | 7000  | 0.0134        |
| 0.2367 | 7500  | 0.0102        |
| 0.2525 | 8000  | 0.0101        |
| 0.2683 | 8500  | 0.0091        |
| 0.2840 | 9000  | 0.0083        |
| 0.2998 | 9500  | 0.008         |
| 0.3156 | 10000 | 0.0083        |
| 0.3314 | 10500 | 0.0072        |
| 0.3472 | 11000 | 0.0075        |
| 0.3629 | 11500 | 0.0069        |
| 0.3787 | 12000 | 0.0063        |
| 0.3945 | 12500 | 0.0062        |
| 0.4103 | 13000 | 0.0064        |
| 0.4261 | 13500 | 0.0057        |
| 0.4418 | 14000 | 0.0058        |
| 0.4576 | 14500 | 0.005         |
| 0.4734 | 15000 | 0.005         |
| 0.4892 | 15500 | 0.0048        |
| 0.5050 | 16000 | 0.0046        |
| 0.5207 | 16500 | 0.0046        |
| 0.5365 | 17000 | 0.0044        |
| 0.5523 | 17500 | 0.0042        |
| 0.5681 | 18000 | 0.0038        |
| 0.5839 | 18500 | 0.0037        |
| 0.5996 | 19000 | 0.0038        |
| 0.6154 | 19500 | 0.0036        |
| 0.6312 | 20000 | 0.0033        |
| 0.6470 | 20500 | 0.0033        |
| 0.6628 | 21000 | 0.0031        |
| 0.6785 | 21500 | 0.0029        |
| 0.6943 | 22000 | 0.0029        |
| 0.7101 | 22500 | 0.0028        |
| 0.7259 | 23000 | 0.0028        |
| 0.7417 | 23500 | 0.0028        |
| 0.7574 | 24000 | 0.0025        |
| 0.7732 | 24500 | 0.0024        |
| 0.7890 | 25000 | 0.0023        |
| 0.8048 | 25500 | 0.0023        |
| 0.8206 | 26000 | 0.0021        |
| 0.8363 | 26500 | 0.0022        |
| 0.8521 | 27000 | 0.002         |
| 0.8679 | 27500 | 0.0019        |
| 0.8837 | 28000 | 0.0019        |
| 0.8995 | 28500 | 0.0019        |
| 0.9152 | 29000 | 0.0018        |
| 0.9310 | 29500 | 0.0018        |
| 0.9468 | 30000 | 0.0018        |
| 0.9626 | 30500 | 0.0017        |
| 0.9784 | 31000 | 0.0017        |
| 0.9941 | 31500 | 0.0016        |


### Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.3.1
- Transformers: 4.47.1
- PyTorch: 2.5.1+cu121
- Accelerate: 1.2.1
- Datasets: 3.2.0
- Tokenizers: 0.21.0

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### MarginMSELoss
```bibtex
@misc{hofstätter2021improving,
    title={Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation},
    author={Sebastian Hofstätter and Sophia Althammer and Michael Schröder and Mete Sertkan and Allan Hanbury},
    year={2021},
    eprint={2010.02666},
    archivePrefix={arXiv},
    primaryClass={cs.IR}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->