yoriis/NAMAA-retriever-tydi-tafseer-quqa-cos

SentenceTransformer based on NAMAA-Space/AraModernBert-Base-STS

This is a sentence-transformers model finetuned from NAMAA-Space/AraModernBert-Base-STS. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: NAMAA-Space/AraModernBert-Base-STS
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yoriis/NAMAA-retriever-tydi-tafseer-quqa-cos")
# Run inference
sentences = [
    'متى بدأت حروب الهند الصينية؟',
    'على الرغم من التعاون التكتيكي بين الفرنسيين وفيت مين، إلا أن سياساتهم كانت متناقضة: فيهدّف الفرنسيين إلى إعادة تأسيس قاعدة استعمارية، بينما أرادت هانوي استقلالا كليّا. كشفت النوايا الفرنسية في قرار جورج تييري داجينلي، المندوب الأعلى للهند الصينية، بإعلان كوتشينصين كجمهورية مستقلة ذاتيا في يونيو/حزيران عام 1946. المفاوضات الأخرى لم تحل الخلافات الأساسية بين الفرنسيين وفيت مين. في أواخر نوفمبر/تشرين الثّاني عام 1946، قصفت سفينة بحرية فرنسية هيفونج، أصيب فيها عدّة آلاف من المدنيين؛ ردت فيت مين بمحاولة غمر القوّات الفرنسية في هانوي في ديسمبر/كانون الأول لتبدأ الحرب الهندوصينية الأولى.',
    'تصغير|يسار|لوحة فسيفساء أثرية في مدينة زليتن مدينة زليتن تقع على الساحل الغربي لليبيا، على مسافة 150 كم تقريبًا شرق العاصمة طرابلس، تحدها من الغرب مدينة الخمس، مصراتة شرقاَ، بني وليد جنوبًا، والبحر المتوسط شمالاً. بلغ عدد سكانها حسب إحصاء 2006 حوالي "184 ألف" نسمة، ووفقا لأخر إحصاء(2012م)طبقا للسجل المدني فإن عدد سكان زليتن هو "231 ألف" نسمة واشتهرت المدينة بكونها المركز الأبرز في البلاد لتعليم الفقه المالكي وتحفيظ القرآن في واحدة من أهم المؤسسات التعليمية في البلاد على مر 500 عام، وهي زاوية سيدي عبد السلام.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 13,476 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 5 tokens mean: 23.8 tokens max: 512 tokens	min: 10 tokens mean: 36.94 tokens max: 303 tokens	min: 0.0 mean: 0.26 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  من رفض تنفيذ المشروع ( أول مرة ) فهو غير مؤهل لتكملة مشروعك، أذكر الآية التي دلت على هذا المعنى؟.	فإن رجعك الله إلى طائفة منهم فاستأذنوك للخروج فقل لن تخرجوا معي أبدا ولن تقاتلوا معي عدوا إنكم رضيتم بالقعود أول مرة فاقعدوا مع الخالفين{83} التوبة	1.0
  ما الآية التي تدل على أن ما أصابك -أيها الإنسان- مِن خير ونعمة فهو من الله تعالى وحده, فضلا وإحسانًا, وما أصابك من جهد وشدة فبسبب عملك السيئ ؟	قال فإنا قد فتنا قومك من بعدك وأضلهم السامري{85} طه	0.0
  ما هو الشرك الأكبر؟	وإذ قلنا ادخلوا هـذه القرية فكلوا منها حيث شئتم رغدا وادخلوا الباب سجدا وقولوا حطة نغفر لكم خطاياكم وسنزيد المحسنين{58} فبدل الذين ظلموا قولا غير الذي قيل لهم فأنزلنا على الذين ظلموا رجزا من السماء بما كانوا يفسقون{59}البقرة..	0.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Click to expand

Epoch	Step	Training Loss
0.05	500	0.0417
0.1	1000	0.0346
0.15	1500	0.0366
0.2	2000	0.0326
0.25	2500	0.0297
0.3	3000	0.0309
0.35	3500	0.0313
0.4	4000	0.0314
0.45	4500	0.028
0.5	5000	0.0261
0.55	5500	0.0272
0.6	6000	0.0293
0.65	6500	0.0294
0.7	7000	0.0272
0.75	7500	0.0287
0.8	8000	0.0283
0.85	8500	0.0278
0.9	9000	0.0249
0.95	9500	0.025
1.0	10000	0.0259
1.05	10500	0.0101
1.1	11000	0.0085
1.15	11500	0.0079
1.2	12000	0.0095
1.25	12500	0.0087
1.3	13000	0.0088
1.35	13500	0.0104
1.4	14000	0.0102
1.45	14500	0.0099
1.5	15000	0.0084
1.55	15500	0.0108
1.6	16000	0.0114
1.65	16500	0.01
1.7	17000	0.0103
1.75	17500	0.0099
1.8	18000	0.01
1.85	18500	0.0097
1.9	19000	0.0112
1.95	19500	0.0097
2.0	20000	0.0111
2.05	20500	0.0039
2.1	21000	0.0032
2.15	21500	0.0035
2.2	22000	0.0029
2.25	22500	0.0034
2.3	23000	0.0035
2.35	23500	0.0034
2.4	24000	0.0034
2.45	24500	0.0031
2.5	25000	0.0027
2.55	25500	0.0032
2.6	26000	0.0035
2.65	26500	0.0029
2.7	27000	0.0029
2.75	27500	0.0032
2.8	28000	0.0033
2.85	28500	0.0034
2.9	29000	0.004
2.95	29500	0.0037
3.0	30000	0.0038
0.1975	500	0.0013
0.3949	1000	0.0004
0.5924	1500	0.0003
0.7899	2000	0.0002
0.9874	2500	0.0002
1.1848	3000	0.0001
1.3823	3500	0.0
1.5798	4000	0.0001
1.7773	4500	0.0001
1.9747	5000	0.0
2.1722	5500	0.0
2.3697	6000	0.0
2.5671	6500	0.0
2.7646	7000	0.0
2.9621	7500	0.0
0.1975	500	0.0115
0.3949	1000	0.0085
0.5924	1500	0.0076
0.7899	2000	0.0065
0.9874	2500	0.0063
1.1848	3000	0.0029
1.3823	3500	0.0024
1.5798	4000	0.0025
1.7773	4500	0.0022
1.9747	5000	0.0021
2.1722	5500	0.0011
2.3697	6000	0.0009
2.5671	6500	0.0007
2.7646	7000	0.0008
2.9621	7500	0.0007
0.1484	500	0.1063
0.2968	1000	0.1079
0.4452	1500	0.0959
0.5936	2000	0.089
0.7421	2500	0.0911
0.8905	3000	0.0853
1.0389	3500	0.0783
1.1873	4000	0.0455
1.3357	4500	0.0452
1.4841	5000	0.0505
1.6325	5500	0.0452
1.7809	6000	0.046
1.9294	6500	0.0479
2.0778	7000	0.0331
2.2262	7500	0.0232
2.3746	8000	0.0211
2.5230	8500	0.0254
2.6714	9000	0.0242
2.8198	9500	0.0257
2.9682	10000	0.0237

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.53.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.0.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}