README.md

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:253483
  - loss:MarginMSELoss
base_model: sentence-transformers/quora-distilbert-multilingual
widget:
  - source_sentence: >-
      L'autore è sconosciuto. Il poema andò perduto, ma nel XV secolo fu
      ritrovato e copiato in un manoscritto dallo studioso greco neoplatonico
      Costantino Lascaris. Si trova nei manoscritti sia da solo che insieme ad
      altri scritti, quali gli Inni orfici o gli Inni omerici. Un'altra opera
      correlata è il Lithica (che descrive le proprietà e il simbolismo di
      diverse pietre).
    sentences:
      - Perchè è stato copiato in un manoscritto?
      - Qual è il nome originale della piazza Garibaldi?
      - Chi fu il creatore dell'uomo secondo Ovidio?
  - source_sentence: >-
      Il 31 ottobre 1973 un tram guasto trainato da un'altra vettura in
      direzione del deposito di Fuorigrotta si sganciò all'interno della
      Galleria Laziale. Dal momento che percorreva la galleria in salita, il
      tram, privo di conducente e senza freni, ripiombò nella piazza a
      fortissima velocità (circa 70 km/h), fiondandosi su alcune automobili
      ferme al semaforo e terminò la sua folle corsa nell'aiuola della fontana
      della piazza senza però danneggiarla, abbattendo però una palma che non è
      mai più stata rimpiazzata. L'incidente causò due morti: Luigi Esposito
      (passeggero del taxi di appena 24 anni) e del tassista Gianni Vozzo (29
      anni) che in quel momento si trovavano all'interno del taxi colpito e
      tranciato in due parti dal tram.
    sentences:
      - Perché il tram ripiombò nella piazza?
      - Perché gli Opici erano considerati una civiltà preurbana?
      - Chi ha scoperto i resti archeologici della metropolitana di Napoli?
  - source_sentence: >-
      Una cantata per voce di basso e basso continuo di Alessandro Scarlatti,
      conservata presso la biblioteca del Conservatorio di S.Pietro a Majella,
      si intitola Nel mar che bagna al bel Sebeto il piede. Dalla scrittura
      musicale risulta che l'accento della parola cadeva sulla seconda "e" ed
      era acuto: "Sebéto". Si tratta di una cantata d'argomento arcadico, cioè
      bucolico e pastorale, in cui sono ritratte gare di vele alla foce del
      fiume e, in parallelo, una "gara d'amore" che nasce tra due pastori dai
      mitologici nomi di Elpino e Nice. Lo stesso Alessandro Scarlatti scrive
      una cantata dal titolo Nel mar che bagna a Mergellina il piede, d'identico
      argomento e identica ambientazione. Nella serenata in un atto La concordia
      dei pianeti (1723) di Antonio Caldara, si menziona il Sebeto assieme a
      altri fiumi (“l'Istro, il Reno, la Mossa, il Po, il Sebeto”) che
      "mormorano" il nome dell'imperatrice Elisabetta Cristina, regnante assieme
      a Carlo VI. Anche nel melodramma di Tiberio Natalucci Il viaggio di
      Bellini, con testo di Cassiano Zaccagnini, è citato questo fiume: Bellini,
      all'apertura della 5ª scena del 1° atto infatti canta «Del bel Sebeto le
      incantate sponde / Son presso omai: ricalcherò quel suolo / Che de sudori
      miei primo bagnai...».
    sentences:
      - Perché si trovano i 404 scalini della Pedamentina in quel luogo?
      - Qual è il nome del melodramma di Tiberio Natalucci che cita il Sebeto?
      - >-
        Come erano utilizzati i pronomi di cortesia nel Medioevo nel Regno delle
        Due Sicilie?
  - source_sentence: >-
      Il parco nazionale del Vesuvio è nato il 5 giugno 1995 per il grande
      interesse geologico, biologico e storico che il suo territorio
      rappresenta. La sua sede è collocata nel comune di Ottaviano. È stato
      istituito principalmente per:  conservare i valori del territorio e
      dell'ambiente, e la loro integrazione con l'uomo; salvaguardare le specie
      animali e vegetali, nonché le singolarità geologiche; promuovere attività
      di educazione ambientale, di formazione e di ricerca scientifica. Il Parco
      nasce poi dall'esigenza di valorizzare e difendere il Vesuvio. Esso
      rappresenta il tipico esempio di vulcano a recinto, costituito da un cono
      esterno tronco, il Monte Somma, (spento e con una cinta craterica in buona
      parte demolita) entro il quale si trova un cono più piccolo (che
      rappresenta il Vesuvio, ancora attivo).Il territorio, ricco di bellezze
      storiche e naturalistiche, vanta una produzione agricola unica per varietà
      e originalità di sapori.Un'ulteriore singolarità di questo Parco è
      rappresentata dalla notevole presenza di specie floristiche e faunistiche
      se si rapporta alla sua ridotta estensione: sono presenti ben 612 specie
      appartenenti al mondo vegetale e 227 specie (tra quelle studiate)
      appartenenti a quello animale. A causa dell'emergenza rifiuti in Campania,
      due siti sul confine del Parco nazionale del Vesuvio avrebbero dovuto
      essere adibiti a discarica in seguito all'emanazione della legge nº 123
      del 2008. Al 2010, è già attiva e quasi satura la discarica "Ex Sari".
      Durante il mese di settembre 2010 la regione Campania aveva previsto
      l'apertura della seconda discarica, "Cava Vitiello", che avrebbe dovuto
      essere la più grande d'Europa. Tuttavia, dopo numerose proteste da parte
      soprattutto dei cittadini dei comuni di Boscoreale e Terzigno l'apertura
      della discarica è stata sospesa dal Governo.
    sentences:
      - Perchè è stato istituito il Parco nazionale del Vesuvio?
      - >-
        Chi sono i personaggi tipici dell'iconografia napoletana descritti nel
        testo?
      - Chi ha condotto le campagne di scavo a Elea-Velia?
  - source_sentence: Ade è l'antagonista principale nel musical Hadestown.
    sentences:
      - Dove si trova Piazza Trieste e Trento?
      - Chi è l'antagonista principale nel musical Hadestown?
      - Perchè la poesia resta l\'unico elemento eterno
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on sentence-transformers/quora-distilbert-multilingual

This is a sentence-transformers model finetuned from sentence-transformers/quora-distilbert-multilingual. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/quora-distilbert-multilingual
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("HipFil98/sbert-mariannaQA-ita")
# Run inference
sentences = [
    "Ade è l'antagonista principale nel musical Hadestown.",
    "Chi è l'antagonista principale nel musical Hadestown?",
    "Perchè la poesia resta l\\'unico elemento eterno",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 253,483 training samples
• Columns: sentence_0, sentence_1, sentence_2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2	label
  type	string	string	string	float
  details	min: 6 tokens mean: 108.27 tokens max: 128 tokens	min: 8 tokens mean: 16.5 tokens max: 38 tokens	min: 7 tokens mean: 17.77 tokens max: 37 tokens	min: -0.18 mean: 0.33 max: 0.9

• Samples:

  sentence_0	sentence_1	sentence_2	label
  A lungo si è discusso a quale genere appartenesse un'opera tanto innovativa come quella ovidiana. Per gli studiosi è stato subito chiaro che l'intenzione di Ovidio fosse quella di scrivere un poema epico. D'altronde l'utilizzo dell'esametro, il tipico metro della tradizione epica usato da Omero e da Virgilio, presupponeva proprio questo, che ci trovassimo di fronte a un altro poema epico. Quello che però non ha convinto - e su cui i critici hanno dibattuto per tutto l'inizio del XX secolo - è stata la scelta tematica fatta da Ovidio: non l'epopea di un unico eroe, ma un'infinità di storie legate insieme da un unico elemento, le metamorfosi. D'altronde non dobbiamo scordare che Ovidio, prima di scrivere il poema, era considerato il più famoso poeta elegiaco della corte augustea insieme a Properzio. Anderson ha notato che proprio i primi due versi delle Metamorfosi sono in un certo senso esemplificative del passaggio da poeta elegiaco a epico: Tenendo presente che un distico elegiaco è ...	Cosa hanno in comune i primi due versi delle Metamorfosi secondo Anderson?	Perché il Mormando utilizzò l'ordine corinzio completo di piedistallo nelle chiese napoletane del cinquecento?	0.4587586522102356
  Negli anni successivi, Atene viene attaccata come tutta la Grecia dall'Impero persiano. Nel 490 a.C la flotta persiana sbarca in Eubea e tenta di assediare Atene. La città chiede aiuto a Sparta ma rimane sola. Gli ateniesi non si scoraggiano e a Maratona in una epica battaglia riescono a sconfiggere e a ricacciare in patria i persiani. Qualche anno dopo, il re Serse sbaraglia i greci alle Termopili e assedia Atene. Gli abitanti riescono a rifugiarsi a Salamina ma la città è distrutta dai persiani. Sotto la guida di Temistocle, gli ateniesi riescono comunque a sconfiggere i persiani e a ricostruire la loro città ed a costruire una cinta difensiva, che sarà ricordata come le mura di Temistocle, nella speranza di proteggersi da ulteriori invasioni.	Perchè le mura di Temistocle furono costruite?	Chi ha ammirato la Crypta Neapolitana?	0.371756911277771
  Quando a Napoli cadevano le bombe di Aldo De Gioia (2009) Morso di luna nuova di Erri De Luca pubblicato nel 2005 e portato in scena dal 2008 da varie Compagnie teatrali. Libertà: Omaggio alle Quattro Giornate di Napoli - spettacolo in prosa e musica di Giovanni D'Angelo (2003)	Cosa è stato rappresentato nel testo?	Chi insegnò il giordano Filodemo di Gadara e Sirone a Napoli?	0.08001580834388733

• Loss: MarginMSELoss

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.0158	500	11.4697
0.0316	1000	0.0719
0.0473	1500	0.0431
0.0631	2000	0.0372
0.0789	2500	0.0309
0.0947	3000	0.0272
0.1105	3500	0.0249
0.1262	4000	0.0209
0.1420	4500	0.0186
0.1578	5000	0.0164
0.1736	5500	0.0142
0.1894	6000	0.0131
0.2051	6500	0.0123
0.2209	7000	0.0134
0.2367	7500	0.0102
0.2525	8000	0.0101
0.2683	8500	0.0091
0.2840	9000	0.0083
0.2998	9500	0.008
0.3156	10000	0.0083
0.3314	10500	0.0072
0.3472	11000	0.0075
0.3629	11500	0.0069
0.3787	12000	0.0063
0.3945	12500	0.0062
0.4103	13000	0.0064
0.4261	13500	0.0057
0.4418	14000	0.0058
0.4576	14500	0.005
0.4734	15000	0.005
0.4892	15500	0.0048
0.5050	16000	0.0046
0.5207	16500	0.0046
0.5365	17000	0.0044
0.5523	17500	0.0042
0.5681	18000	0.0038
0.5839	18500	0.0037
0.5996	19000	0.0038
0.6154	19500	0.0036
0.6312	20000	0.0033
0.6470	20500	0.0033
0.6628	21000	0.0031
0.6785	21500	0.0029
0.6943	22000	0.0029
0.7101	22500	0.0028
0.7259	23000	0.0028
0.7417	23500	0.0028
0.7574	24000	0.0025
0.7732	24500	0.0024
0.7890	25000	0.0023
0.8048	25500	0.0023
0.8206	26000	0.0021
0.8363	26500	0.0022
0.8521	27000	0.002
0.8679	27500	0.0019
0.8837	28000	0.0019
0.8995	28500	0.0019
0.9152	29000	0.0018
0.9310	29500	0.0018
0.9468	30000	0.0018
0.9626	30500	0.0017
0.9784	31000	0.0017
0.9941	31500	0.0016

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MarginMSELoss

@misc{hofstätter2021improving,
    title={Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation},
    author={Sebastian Hofstätter and Sophia Althammer and Michael Schröder and Mete Sertkan and Allan Hanbury},
    year={2021},
    eprint={2010.02666},
    archivePrefix={arXiv},
    primaryClass={cs.IR}
}