README.md

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:40000
  - loss:CosineSimilarityLoss
  - dataset_size:10128
  - loss:ContrastiveLoss
  - dataset_size:13476
base_model: NAMAA-Space/AraModernBert-Base-STS
widget:
  - source_sentence: أين يقع مقر الاتحاد الدولي للاسكواش؟
    sentences:
      - >-
        و يقع مقره قي سانت ليوناردز-أون-سي قي إنجلترا. اعتبارا من عام 2009 فقد
        ضم الاتحاد الدولي 147 عضوا من الاتحادات الوطنية. وقد قام الاتحاد الدولي
        للاسكواش بتقديم طلب لأضافة لعبة الاسكواش إلى الألعاب الأولمبية قي
        الألعاب الأولمبية الصيفية المقرر أقامتها قي ريو دي جانيرو عام 2016.
        ورئيس الاتحاد الدولي للإسكواش هو السعودي زياد التركي
      - >-
        الأم الجافية  تتكون من طبقتين: طبقة خارجية ليفية تلتصق بالعظام fibrous
        layer، وطبقة داخلية ناعمة serous layer.[1][2][3] والطبقة الناعمة تمشي
        معا مع الطبقة الليفية لكنها تنفصل عنها في الأماكن التي يجب أن تكون فيها
        الأوردة والحواجز. يأتي تجهيز الدم لهذه الطبقة من شرايين كثيرة صغيرة ومن
        شريان كبير واحد هو الشريان الغلافي الوسطي middle meningeal artery، وهو
        فرع من شريان الفك العلوي maxillary artery ويدخل الجمجمة من الثقب الشائك
        foramen spinosum. عندها يكون قد أصبح في الحفرة القحفية الوسطية يجري إلى
        الأمام والخارج ثم يصعد وينقسم إلى قسم أمامي وقسم خلفي.
      - >-
        إنَّ دراسة السنوات الأولى من عُمر الدولة العُثمانيَّة والرجوع إلى أصلها
        الأوَّل هو من الأمور الجدليَّة التي يخوض فيها الباحثون والمؤرخون، وذلك
        بسبب اختلاط الأحداث الواقعيَّة بالأساطير والروايات المنقولة عبر الأجيال؛
        لكن عمومًا، يتَّفق أغلب الباحثين أنَّ الدولة العُثمانيَّة ظهرت ككيان
        سياسي فعليّ قُرابة عام 1299م، وأنَّها كانت في بداية عهدها إمارة تابعة
        للسلطنة السلجوقيَّة الروميَّة ثُمَّ استقلَّت عنها بعد انهيار تلك الأخيرة
        وتفتتها، وأنَّ أوَّل زُعمائها كان عُثمان بن أرطغرل من قبيلة قايي
        التُركيَّة الغُزيَّة.[2] وبهذا فهو يُعتبر مؤسس هذه السُلالة الملكيَّة،
        وهي تُنسب إليه.
  - source_sentence: متى حصلت المرأة على حق التصويت في امريكا ؟
    sentences:
      - >-
        إلا أن الغالبية العظمى من السكان تفضل استخدام اللغة العربية؛ لارتباطها
        بالدين والتراث الإسلامي؛ حيث أن أغلب سكان إرتريا مسلمون، كما أنها لا
        تزال اللغة الرسمية في دواوين الدولة والإذاعة والتلفزيون والصحيفة الرسمية
        الناطقة باسم الدولة، وهي صحيفة إرتريا الحديثة.
      - >-
        تورينو (Torino Football Club SpA) هو نادي كرة قدم معروف من تورينو،
        إيطاليا. يلقب الفريق "غراناتا" (الكستنائيون، إشارة إلى لون زي الفريق)
        و"تورو" (الثور، إشارة لشعار مدينة تورينو). كان الفريق منذ تأسيسه حتى عام
        1970 يعرف باسم "A.C. Torino"، وبعد ذلك "Torino Calcio" حتى عام 2005،
        حينما أخذ مسماه الحالي. صعد الفريق للدوري الإيطالي الدرجة الأولى (سيري
        آ) بعدما احتل المركز الثالث الموسم الماضي في الدرجة الثانية. في عام 1992
        وصل إلى المباراة النهائية من كأس الاتحاد الأوروبي التي خسرها أمام نادي
        أياكس أمستردام الهولندي.
      - >-
        في يناير من عام 1996، كانت بداية شركة جوجل في صورة مشروع بحثي بدأه لاري
        بيج وسرعان ما شارك فيه سيرجي برن، وذلك حينما كانا طالبين يقومان بتحضير
        رسالة الدكتوراه في جامعة ستانفورد بولاية كاليفورنيا.[8] وقد افترضا أن
        محرك البحث الذي يقوم بتحليل العلاقات بين مواقع الشبكة من شأنه أن يوفر
        ترتيبًا لنتائج البحث أفضل من ذلك الذي توفره أي أساليب متبعة بالفعل والتي
        تقوم بترتيب النتائج حسب عدد مرات ظهور المصطلح الذي يتم البحث عنه داخل
        الصفحة.[9] وكان قد أطلق على محرك البحث الذي قاما بإنشائه اسم باك رب  لأن
        النظام الخاص به كان يفحص روابط العودة الموجودة بالموقع من أجل تقييم درجة
        أهمية الموقع[10][11]، وكان هناك محرك بحث صغير اسمه "Rankdex" يحاول
        بالفعل البحث عن تقنية مماثلة.[12] ومن منطلق اقتناع "بيدج" و"برن" بأن
        الصفحات التي تتضمن روابط تشير لصفحات أخرى ذات صلة هي الصفحات الأكثر
        ارتباطًا بعملية البحث. قام كلاهما باختبار فرضيتهما كجزء من الدراسة التي
        يقومان بها، ومن ثم وضعا أساس محرك البحث الخاص بهما. ولقد استخدم محرك
        البحث آنذاك موقع الويب الخاص في جامعة "ستانفورد" مستخدمين النطاق
        google.stanford.edu.[13] وفي 15 سبتمبر 1997 تم تسجيل ملكية جوجل دوت كوم،
        وفي 4 سبتمبر عام 1998 تم تسجيل الشركة بإسم جوجل. وكان مقرها مرآب سيارات
        بمنزل أحد أصدقاء "برن" و"بيدج" في مدينة "مينلو بارك بولاية كاليفورنيا.
        وقد بلغ إجمالي المبالغ المبدئية التي تم جمعها لتأسيس الشركة الجديدة 1.1
        مليون دولار أمريكي تقريبًا، ويشمل هذا المبلغ الإجمالي شيكًا مصرفيًا
        قيمته 100,000 دولار أمريكي حرره آندي بيكتولشيم أحد مؤسسي شركة صن
        ميكروسيستمز.[14].  وفي مارس عام 1999، نقلت الشركة مقرها إلى مدينة بالو
        ألتو وهي المدينة التي شهدت بداية العديد من التقنيات الأخرى البارزة التي
        ظهرت في منطقة وادي السيليكون.[15].[15] وبعد أن اتسعت الشركة بسرعة بحيث
        لم يكفها امتلاكها لمقرين، قامت في عام 2003 بتأجير مجموعة من المباني من
        شركة سيليكون غرافيكس في مدينة ماونتن فيو.[16].[16] ومنذ ذلك الوقت تسكن
        الشركة في هذا المكان وعُرف المقر باسم جوجل بليكس المستمد من المصطلح
        الرياضي "جوجل بلكس" وهو الرقم واحد متبوع بعدد غوغول من الأصفار. وفي عام
        2006، اشترت شركة جوجل مجموعة المباني من شركة سيليكون غرافيكس مقابل 319
        مليون دولار أمريكي.[17].  وقد لاقى محرك البحث جوجل إقبالًا هائلًا من
        مستخدمي شبكة الإنترنت الذين أعجبهم تصميمه البسيط ونتائجه
        المفيدة.[18].[18] وفي عام 2000، بدأت شركة جوجل تبيع الإعلانات ومعها
        الكلمات المفتاحية للبحث[8] وكانت الإعلانات تعتمد على النصوص لكي لا تكون
        الصفحات مكدسة ويتم تحميلها بأقصى سرعة.[8] وكانت الكلمات المفتاحية يتم
        بيعها اعتمادًا على كل من عروض الأسعار وتقدير مدى فاعلية الإعلانات، وبدأت
        عروض الأسعار بسعر 0.05 دولار أمريكي لكل مرة نقر يقوم بها المستخدم على
        الإعلان.[8] ولقد كانت شركة ياهو! للتسويق المستحوذة على الشركة المعروفة
        سابقا باسم "جو تو" الشركة الرائدة في هذا الأمر وقد أعيد تسميتها مؤخرًا
        باسم شركة "أوفرتشر للخدمات" قبل أن تستحوذ عليها شركة ياهو! وتعيد تسميتها
        باسم "بحث ياهو! للتسويق".[19].[20].[21][22] أما شركة جو تو عبارة هي عن
        شركة إعلانات تابعة أنشأها "بيل جروس" وكانت أولى الشركات التي نجحت في
        تقديم خدمة البحث المعتمدة على سداد مبلغ مالي مقابل تحديد ما يتم البحث
        عنه. وكانت شركة "أوفرتشر للخدمات" قد قامت في وقت لاحق بمقاضاة شركة جوجل
        بسبب قيامها من خلال خدمة جوجل أدووردز بانتهاك براءة اختراعها لخاصيتي
        المزايدة وسداد مبلغ مالي معين مقابل كل مرة نقر على الإعلانات. وقد تم
        تسوية القضية خارج ساحة القضاء، حيث اتفقت شركة جوجل على أن تخصص لشركة
        ياهو أسهم عادية بها مقابل الحصول على ترخيص استخدام دائم للخصائص
        السابقة[23]. وبالتالي ازدهرت شركة جوجل في استقرار محققة الأرباح
        والإيرادات في الوقت الذي فشل فيه منافسوها في سوق الإنترنت الجديد[8].
  - source_sentence: متى عاش مروان حديد؟
    sentences:
      - >-
        هاري ترومان ؛ (8 مايو 1884 - 26 ديسمبر 1972)، هو الرئيس الثالث والثلاثون
        للولايات المتحدة الأمريكية، تولى المنصب من 12 أبريل 1945 حتى 20 يناير
        1953، كان ترومان يشغل منصب نائب الرئيس الأمريكي لمدة 82 يومًا ثم تولى
        الرئاسة خلفاً للرئيس فرانكلين روزفلت الذي توفي في المنصب، وكان عضواً في
        مجلس الشيوخ الأمريكي عن ولاية ميسوري (1935-1945)، أشرف ترومان على إنهاء
        الحرب العالمية الثانية واستسلام كلٍ من ألمانيا النازية واليابان، كما أمر
        بإطلاق قنبلتي هيروشيما وناجازاكي في أغسطس 1945، وعمل على إنشاء منظمة حلف
        شمال الأطلسي في عام 1949، كذلك بدأت في عهده الحرب الباردة بين الولايات
        المتحدة والاتحاد السوفيتي، كما ساهم في التدخل العسكري في الحرب الكورية
        عام 1950.
      - >-
        اللغات الكنعانية، هي عبارة عن مجموعة من اللغات السامية التي تنتمي إلى
        اللغات السامية الشمالية الغربية - الفرع الكنعاني. وقد انتشرت اللغات
        الكنعانية في أرض كنعان التي تشمل أساساً فلسطين والساحل الغربي للبنان
        والجنوب الغربي من سوريا على لسان الكنعانيين بعد هجرتهم إليها، وكانت هذه
        اللغات عبارة عن مجموعة من اللهجات المتقاربة من بعضها البعض في الصفات
        اللغوية.
      - >-
        تقع أردبيل على بعد حوالي 70 كم من بحر قزوين، 210 كم عن مدينة تبريز. وعلى
        متوسط إرتفاع 1263 متر وتصل مساحتها إلى 18.011 كم².
  - source_sentence: ما هي نسبة السكر في الدم عند الإنسان السليم؟
    sentences:
      - >-
        الذبحة الصدرية (خُناق الصدر)  هي الإحساس بالألم  أو الضغط في الصدر،
        الناتج عن إقفار (نقص في الإمداد الدموي وبالتالي في الأكسجين الوارد) في
        عضل القلب، عادة نتيجة انسداد أو تشنج في الشرايين التاجية (الأوعية
        المغذية لعضلة القلب).[1] في حين أن الذبحة الصدرية قد تنبع من فقر الدم،
        اضطراب النظم القلبي أو قصور القلب إلا أن السبب الرئيسي للذبحة هو الداء
        القلبي الإكليلي وينتج عن تصلب عصيدي في الشرايين القلبية.
      - >-
        البروستاغلاندين هي عبارة عن مستقلبات حمض الأراكيدونيك، تنتج من فعل
        الفوسفوليباز (توجد عدة أنواع من هذا الأنزيم) على الدهن الفسفوري الغشائي،
        وتلعب دورا هاما في الكائنات الحية.
      - >-
        زامبيا أو رسميا جمهورية زامبيا هي بلد غير ساحلي في جنوب القارة
        الأفريقية،[1] المجاورة جمهورية الكونغو الديمقراطية في الشمال، وتنزانيا
        من الشمال الشرقي، ملاوي من الشرق وموزمبيق وزيمبابوي وبوتسوانا وناميبيا
        إلى الجنوب، وأنغولا إلى الغرب . العاصمة هي لوساكا، في الجزء الجنوبي
        الأوسط من زامبيا. ويتركز السكان أساسا حول لوساكا في الجنوب ومقاطعة حزام
        النحاس في الشمال الغربي، والمحاور الاقتصادية الأساسية للبلد.
  - source_sentence: متى بدأت حروب الهند الصينية؟
    sentences:
      - >-
        لم يكن لينين يهتم كثيرا بالشؤون الدينية ونادرا ماكان يتحدث عن الأديان
        لكنه أعطى حرية العبادة للمتدينين وقد تبين ذلك في نص ورسالة وجهها إلى
        المسلمين في 24 نوفمبر 1917 جاء فيها: يا أيها المسلمون بروسيا وسيبيريا
        وتركستان والقوقاز … يا أيها الذين هدم القياصرة مساجدهم وعبث الطغاة
        بمعتقداتهم وعاداتهم أن معتقداتكم وعاداتكم ومؤسساتكم القومية والثقافية
        أصبحت اليوم حرة مقدسة، نظموا حياتكم القومية بكامل الحرية وبدون قيد فهي
        حق لكم. وأعلموا أن الثورة العظيمة وسوفياتات النواب والعمال والجنود
        والفلاحيين تحمي حقوقكم وحقوق جميع شعوب روسيا. وقد تم وضع برنامج ضخم لما
        يمكن أن يطلق عليه اليوم “التمييز المضـــاد”، سُمي بالكورنيزاتسيا، أي
        إحلال السكان المحليين محل المستوطنين الروس. وقد بدأ بطرد المستعمرين
        الروس والقوزاق والمتحدثين باسمهم من الكنيسة الأرثوذكسية الروسية في تلك
        المناطق. وتوقفت اللغة الروسية عن الهيمنة، وعادت اللغات المحلية إلى
        المدارس وإلى الحكومة وإلى المطبوعات. وقد تمت ترقية السكان المحليين
        ليشغلوا مناصب في الدولة وفي الأحزاب الشيوعية المحلية وأعطوا أولوية حتى
        عن الروس في التعيينات. وقد أُنشئت جامعات لتدريب جيل جديد من القادة غير
        الروس.
      - >-
        تصغير|يسار|لوحة فسيفساء أثرية في مدينة زليتن مدينة زليتن تقع على الساحل
        الغربي لليبيا، على مسافة 150 كم تقريبًا شرق العاصمة طرابلس، تحدها من
        الغرب مدينة الخمس، مصراتة شرقاَ، بني وليد جنوبًا، والبحر المتوسط شمالاً.
        بلغ عدد سكانها حسب إحصاء 2006 حوالي "184 ألف" نسمة، ووفقا لأخر
        إحصاء(2012م)طبقا للسجل المدني فإن عدد سكان زليتن هو "231 ألف" نسمة
        واشتهرت المدينة بكونها المركز الأبرز في البلاد لتعليم الفقه المالكي
        وتحفيظ القرآن في واحدة من أهم المؤسسات التعليمية في البلاد على مر 500
        عام، وهي زاوية سيدي عبد السلام.
      - >-
        على الرغم من التعاون التكتيكي بين الفرنسيين وفيت مين، إلا أن سياساتهم
        كانت متناقضة: فيهدّف الفرنسيين إلى إعادة تأسيس قاعدة استعمارية، بينما
        أرادت هانوي استقلالا كليّا. كشفت النوايا الفرنسية في قرار جورج تييري
        داجينلي، المندوب الأعلى للهند الصينية، بإعلان كوتشينصين كجمهورية مستقلة
        ذاتيا في يونيو/حزيران عام 1946. المفاوضات الأخرى لم تحل الخلافات
        الأساسية بين الفرنسيين وفيت مين. في أواخر نوفمبر/تشرين الثّاني عام 1946،
        قصفت سفينة بحرية فرنسية هيفونج، أصيب فيها عدّة آلاف من المدنيين؛ ردت فيت
        مين بمحاولة غمر القوّات الفرنسية في هانوي في ديسمبر/كانون الأول لتبدأ
        الحرب الهندوصينية الأولى.
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on NAMAA-Space/AraModernBert-Base-STS

This is a sentence-transformers model finetuned from NAMAA-Space/AraModernBert-Base-STS. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: NAMAA-Space/AraModernBert-Base-STS
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yoriis/NAMAA-retriever-tydi-tafseer-quqa-cos")
# Run inference
sentences = [
    'متى بدأت حروب الهند الصينية؟',
    'على الرغم من التعاون التكتيكي بين الفرنسيين وفيت مين، إلا أن سياساتهم كانت متناقضة: فيهدّف الفرنسيين إلى إعادة تأسيس قاعدة استعمارية، بينما أرادت هانوي استقلالا كليّا. كشفت النوايا الفرنسية في قرار جورج تييري داجينلي، المندوب الأعلى للهند الصينية، بإعلان كوتشينصين كجمهورية مستقلة ذاتيا في يونيو/حزيران عام 1946. المفاوضات الأخرى لم تحل الخلافات الأساسية بين الفرنسيين وفيت مين. في أواخر نوفمبر/تشرين الثّاني عام 1946، قصفت سفينة بحرية فرنسية هيفونج، أصيب فيها عدّة آلاف من المدنيين؛ ردت فيت مين بمحاولة غمر القوّات الفرنسية في هانوي في ديسمبر/كانون الأول لتبدأ الحرب الهندوصينية الأولى.',
    'تصغير|يسار|لوحة فسيفساء أثرية في مدينة زليتن مدينة زليتن تقع على الساحل الغربي لليبيا، على مسافة 150 كم تقريبًا شرق العاصمة طرابلس، تحدها من الغرب مدينة الخمس، مصراتة شرقاَ، بني وليد جنوبًا، والبحر المتوسط شمالاً. بلغ عدد سكانها حسب إحصاء 2006 حوالي "184 ألف" نسمة، ووفقا لأخر إحصاء(2012م)طبقا للسجل المدني فإن عدد سكان زليتن هو "231 ألف" نسمة واشتهرت المدينة بكونها المركز الأبرز في البلاد لتعليم الفقه المالكي وتحفيظ القرآن في واحدة من أهم المؤسسات التعليمية في البلاد على مر 500 عام، وهي زاوية سيدي عبد السلام.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 13,476 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 5 tokens mean: 23.8 tokens max: 512 tokens	min: 10 tokens mean: 36.94 tokens max: 303 tokens	min: 0.0 mean: 0.26 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  من رفض تنفيذ المشروع ( أول مرة ) فهو غير مؤهل لتكملة مشروعك، أذكر الآية التي دلت على هذا المعنى؟.	فإن رجعك الله إلى طائفة منهم فاستأذنوك للخروج فقل لن تخرجوا معي أبدا ولن تقاتلوا معي عدوا إنكم رضيتم بالقعود أول مرة فاقعدوا مع الخالفين{83} التوبة	1.0
  ما الآية التي تدل على أن ما أصابك -أيها الإنسان- مِن خير ونعمة فهو من الله تعالى وحده, فضلا وإحسانًا, وما أصابك من جهد وشدة فبسبب عملك السيئ ؟	قال فإنا قد فتنا قومك من بعدك وأضلهم السامري{85} طه	0.0
  ما هو الشرك الأكبر؟	وإذ قلنا ادخلوا هـذه القرية فكلوا منها حيث شئتم رغدا وادخلوا الباب سجدا وقولوا حطة نغفر لكم خطاياكم وسنزيد المحسنين{58} فبدل الذين ظلموا قولا غير الذي قيل لهم فأنزلنا على الذين ظلموا رجزا من السماء بما كانوا يفسقون{59}البقرة..	0.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Click to expand

Epoch	Step	Training Loss
0.05	500	0.0417
0.1	1000	0.0346
0.15	1500	0.0366
0.2	2000	0.0326
0.25	2500	0.0297
0.3	3000	0.0309
0.35	3500	0.0313
0.4	4000	0.0314
0.45	4500	0.028
0.5	5000	0.0261
0.55	5500	0.0272
0.6	6000	0.0293
0.65	6500	0.0294
0.7	7000	0.0272
0.75	7500	0.0287
0.8	8000	0.0283
0.85	8500	0.0278
0.9	9000	0.0249
0.95	9500	0.025
1.0	10000	0.0259
1.05	10500	0.0101
1.1	11000	0.0085
1.15	11500	0.0079
1.2	12000	0.0095
1.25	12500	0.0087
1.3	13000	0.0088
1.35	13500	0.0104
1.4	14000	0.0102
1.45	14500	0.0099
1.5	15000	0.0084
1.55	15500	0.0108
1.6	16000	0.0114
1.65	16500	0.01
1.7	17000	0.0103
1.75	17500	0.0099
1.8	18000	0.01
1.85	18500	0.0097
1.9	19000	0.0112
1.95	19500	0.0097
2.0	20000	0.0111
2.05	20500	0.0039
2.1	21000	0.0032
2.15	21500	0.0035
2.2	22000	0.0029
2.25	22500	0.0034
2.3	23000	0.0035
2.35	23500	0.0034
2.4	24000	0.0034
2.45	24500	0.0031
2.5	25000	0.0027
2.55	25500	0.0032
2.6	26000	0.0035
2.65	26500	0.0029
2.7	27000	0.0029
2.75	27500	0.0032
2.8	28000	0.0033
2.85	28500	0.0034
2.9	29000	0.004
2.95	29500	0.0037
3.0	30000	0.0038
0.1975	500	0.0013
0.3949	1000	0.0004
0.5924	1500	0.0003
0.7899	2000	0.0002
0.9874	2500	0.0002
1.1848	3000	0.0001
1.3823	3500	0.0
1.5798	4000	0.0001
1.7773	4500	0.0001
1.9747	5000	0.0
2.1722	5500	0.0
2.3697	6000	0.0
2.5671	6500	0.0
2.7646	7000	0.0
2.9621	7500	0.0
0.1975	500	0.0115
0.3949	1000	0.0085
0.5924	1500	0.0076
0.7899	2000	0.0065
0.9874	2500	0.0063
1.1848	3000	0.0029
1.3823	3500	0.0024
1.5798	4000	0.0025
1.7773	4500	0.0022
1.9747	5000	0.0021
2.1722	5500	0.0011
2.3697	6000	0.0009
2.5671	6500	0.0007
2.7646	7000	0.0008
2.9621	7500	0.0007
0.1484	500	0.1063
0.2968	1000	0.1079
0.4452	1500	0.0959
0.5936	2000	0.089
0.7421	2500	0.0911
0.8905	3000	0.0853
1.0389	3500	0.0783
1.1873	4000	0.0455
1.3357	4500	0.0452
1.4841	5000	0.0505
1.6325	5500	0.0452
1.7809	6000	0.046
1.9294	6500	0.0479
2.0778	7000	0.0331
2.2262	7500	0.0232
2.3746	8000	0.0211
2.5230	8500	0.0254
2.6714	9000	0.0242
2.8198	9500	0.0257
2.9682	10000	0.0237

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.53.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.0.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}