Add new SentenceTransformer model

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,572 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:40000
+- loss:CosineSimilarityLoss
+- dataset_size:10128
+- loss:ContrastiveLoss
+- dataset_size:13476
+base_model: NAMAA-Space/AraModernBert-Base-STS
+widget:
+- source_sentence: أين يقع مقر الاتحاد الدولي للاسكواش؟
+  sentences:
+  - و يقع مقره قي سانت ليوناردز-أون-سي قي إنجلترا. اعتبارا من عام 2009 فقد ضم الاتحاد
+    الدولي 147 عضوا من الاتحادات الوطنية. وقد قام الاتحاد الدولي للاسكواش بتقديم طلب
+    لأضافة لعبة الاسكواش إلى الألعاب الأولمبية قي الألعاب الأولمبية الصيفية المقرر
+    أقامتها قي ريو دي جانيرو عام 2016. ورئيس الاتحاد الدولي للإسكواش هو السعودي زياد
+    التركي
+  - 'الأم الجافية  تتكون من طبقتين: طبقة خارجية ليفية تلتصق بالعظام fibrous layer،
+    وطبقة داخلية ناعمة serous layer.[1][2][3] والطبقة الناعمة تمشي معا مع الطبقة الليفية
+    لكنها تنفصل عنها في الأماكن التي يجب أن تكون فيها الأوردة والحواجز. يأتي تجهيز
+    الدم لهذه الطبقة من شرايين كثيرة صغيرة ومن شريان كبير واحد هو الشريان الغلافي
+    الوسطي middle meningeal artery، وهو فرع من شريان الفك العلوي maxillary artery
+    ويدخل الجمجمة من الثقب الشائك foramen spinosum. عندها يكون قد أصبح في الحفرة القحفية
+    الوسطية يجري إلى الأمام والخارج ثم يصعد وينقسم إلى قسم أمامي وقسم خلفي.'
+  - إنَّ دراسة السنوات الأولى من عُمر الدولة العُثمانيَّة والرجوع إلى أصلها الأوَّل
+    هو من الأمور الجدليَّة التي يخوض فيها الباحثون والمؤرخون، وذلك بسبب اختلاط الأحداث
+    الواقعيَّة بالأساطير والروايات المنقولة عبر الأجيال؛ لكن عمومًا، يتَّفق أغلب الباحثين
+    أنَّ الدولة العُثمانيَّة ظهرت ككيان سياسي فعليّ قُرابة عام 1299م، وأنَّها كانت
+    في بداية عهدها إمارة تابعة للسلطنة السلجوقيَّة الروميَّة ثُمَّ استقلَّت عنها بعد
+    انهيار تلك الأخيرة وتفتتها، وأنَّ أوَّل زُعمائها كان عُثمان بن أرطغرل من قبيلة
+    قايي التُركيَّة الغُزيَّة.[2] وبهذا فهو يُعتبر مؤسس هذه السُلالة الملكيَّة، وهي
+    تُنسب إليه.
+- source_sentence: متى حصلت المرأة على حق التصويت في امريكا ؟
+  sentences:
+  - إلا أن الغالبية العظمى من السكان تفضل استخدام اللغة العربية؛ لارتباطها بالدين
+    والتراث الإسلامي؛ حيث أن أغلب سكان إرتريا مسلمون، كما أنها لا تزال اللغة الرسمية
+    في دواوين الدولة والإذاعة والتلفزيون والصحيفة الرسمية الناطقة باسم الدولة، وهي
+    صحيفة إرتريا الحديثة.
+  - تورينو (Torino Football Club SpA) هو نادي كرة قدم معروف من تورينو، إيطاليا. يلقب
+    الفريق "غراناتا" (الكستنائيون، إشارة إلى لون زي الفريق) و"تورو" (الثور، إشارة
+    لشعار مدينة تورينو). كان الفريق منذ تأسيسه حتى عام 1970 يعرف باسم "A.C. Torino"،
+    وبعد ذلك "Torino Calcio" حتى عام 2005، حينما أخذ مسماه الحالي. صعد الفريق للدوري
+    الإيطالي الدرجة الأولى (سيري آ) بعدما احتل المركز الثالث الموسم الماضي في الدرجة
+    الثانية. في عام 1992 وصل إلى المباراة النهائية من كأس الاتحاد الأوروبي التي خسرها
+    أمام نادي أياكس أمستردام الهولندي.
+  - في يناير من عام 1996، كانت بداية شركة جوجل في صورة مشروع بحثي بدأه لاري بيج وسرعان
+    ما شارك فيه سيرجي برن، وذلك حينما كانا طالبين يقومان بتحضير رسالة الدكتوراه في
+    جامعة ستانفورد بولاية كاليفورنيا.[8] وقد افترضا أن محرك البحث الذي يقوم بتحليل
+    العلاقات بين مواقع الشبكة من ش��نه أن يوفر ترتيبًا لنتائج البحث أفضل من ذلك الذي
+    توفره أي أساليب متبعة بالفعل والتي تقوم بترتيب النتائج حسب عدد مرات ظهور المصطلح
+    الذي يتم البحث عنه داخل الصفحة.[9] وكان قد أطلق على محرك البحث الذي قاما بإنشائه
+    اسم باك رب  لأن النظام الخاص به كان يفحص روابط العودة الموجودة بالموقع من أجل
+    تقييم درجة أهمية الموقع[10][11]، وكان هناك محرك بحث صغير اسمه "Rankdex" يحاول
+    بالفعل البحث عن تقنية مماثلة.[12] ومن منطلق اقتناع "بيدج" و"برن" بأن الصفحات التي
+    تتضمن روابط تشير لصفحات أخرى ذات صلة هي الصفحات الأكثر ارتباطًا بعملية البحث.
+    قام كلاهما باختبار فرضيتهما كجزء من الدراسة التي يقومان بها، ومن ثم وضعا أساس
+    محرك البحث الخاص بهما. ولقد استخدم محرك البحث آنذاك موقع الويب الخاص في جامعة
+    "ستانفورد" مستخدمين النطاق google.stanford.edu.[13] وفي 15 سبتمبر 1997 تم تسجيل
+    ملكية جوجل دوت كوم، وفي 4 سبتمبر عام 1998 تم تسجيل الشركة بإسم جوجل. وكان مقرها
+    مرآب سيارات بمنزل أحد أصدقاء "برن" و"بيدج" في مدينة "مينلو بارك بولاية كاليفورنيا.
+    وقد بلغ إجمالي المبالغ المبدئية التي تم جمعها لتأسيس الشركة الجديدة 1.1 مليون
+    دولار أمريكي تقريبًا، ويشمل هذا المبلغ الإجمالي شيكًا مصرفيًا قيمته 100,000 دولار
+    أمريكي حرره آندي بيكتولشيم أحد مؤسسي شركة صن ميكروسيستمز.[14].  وفي مارس عام 1999،
+    نقلت الشركة مقرها إلى مدينة بالو ألتو وهي المدينة التي شهدت بداية العديد من التقنيات
+    الأخرى البارزة التي ظهرت في منطقة وادي السيليكون.[15].[15] وبعد أن اتسعت الشركة
+    بسرعة بحيث لم يكفها امتلاكها لمقرين، قامت في عام 2003 بتأجير مجموعة من المباني
+    من شركة سيليكون غرافيكس في مدينة ماونتن فيو.[16].[16] ومنذ ذلك الوقت تسكن الشركة
+    في هذا المكان وعُرف المقر باسم جوجل بليكس المستمد من المصطلح الرياضي "جوجل بلكس"
+    وهو الرقم واحد متبوع بعدد غوغول من الأصفار. وفي عام 2006، اشترت شركة جوجل مجموعة
+    المباني من شركة سيليكون غرافيكس مقابل 319 مليون دولار أمريكي.[17].  وقد لاقى محرك
+    البحث جوجل إقبالًا هائلًا من مستخدمي شبكة الإنترنت الذين أعجبهم تصميمه البسيط
+    ونتائجه المفيدة.[18].[18] وفي عام 2000، بدأت شركة جوجل تبيع الإعلانات ومعها الكلمات
+    المفتاحية للبحث[8] وكانت الإعلانات تعتمد على النصوص لكي لا تكون الصفحات مكدسة
+    ويتم تحميلها بأقصى سرعة.[8] وكانت الكلمات المفتاحية يتم بيعها اعتمادًا على كل
+    من عروض الأسعار وتقدير مدى فاعلية الإعلانات، وبدأت عروض الأسعار بسعر 0.05 دولار
+    أمريكي لكل مرة نقر يقوم بها المستخدم على الإعلان.[8] ولقد كانت شركة ياهو! للتسويق
+    المستحوذة على الشركة المعروفة سابقا باسم "جو تو" الشركة الرائدة في هذا الأمر وقد
+    أعيد تسميتها مؤخرًا باسم شركة "أوفرتشر للخدمات" قبل أن تستحوذ عليها شركة ياهو!
+    وتعيد تسميتها باسم "بحث ياهو! للتسويق".[19].[20].[21][22] أما شركة جو تو عبارة
+    هي عن شركة إعلانات تابعة أنشأها "بيل جروس" وكانت أولى الشركات التي نجحت في تقديم
+    خدمة البحث المعتمدة على سداد مبلغ مالي مقابل تحديد ما يتم البحث عنه. وكانت شركة
+    "أوفرتشر للخدمات" قد قامت في وقت لاحق بمقاضاة شركة جوجل بسبب قيامها من خلال خدمة
+    جوجل أدووردز بانتهاك براءة اختراعها لخاصيتي المزايدة وسداد مبلغ مالي معين مقابل
+    كل مرة نقر على الإعلانات. وقد تم تسوية القضية خارج ساحة القضاء، حيث اتفقت شركة
+    جوجل على أن تخصص لشركة ياهو أسهم عادية بها مقابل الحصول على ترخيص استخدام دائم
+    للخصائص السابقة[23]. وبالتالي ازدهرت شركة جوجل في استقرار محققة الأرباح والإيرادات
+    في الوقت الذي فشل فيه منافسوها في سوق الإنترنت الجديد[8].
+- source_sentence: متى عاش مروان حديد؟
+  sentences:
+  - هاري ترومان ؛ (8 مايو 1884 - 26 ديسمبر 1972)، هو الرئيس الثالث والثلاثون للولايات
+    المتحدة الأمريكية، تولى المنصب من 12 أبريل 1945 حتى 20 يناير 1953، كان ترومان
+    يشغل منصب نائب الرئيس الأمريكي لمدة 82 يومًا ثم تولى الرئاسة خلفاً للرئيس فرانكلين
+    روزفلت الذي توفي في المنصب، وكان عضواً في مجلس الشيوخ الأمريكي عن ولاية ميسوري
+    (1935-1945)، أشرف ترومان على إنهاء الحرب العالمية الثانية واستسلام كلٍ من ألمانيا
+    النازية واليابان، كما أمر بإطلاق قنبلتي هيروشيما وناجازاكي في أغسطس 1945، وعمل
+    على إنشاء منظمة حلف شمال الأطلسي في عام 1949، كذلك بدأت في عهده الحرب الباردة
+    بين الولايات المتحدة والاتحاد السوفيتي، كما ساهم في التدخل العسكري في الحرب الكورية
+    عام 1950.
+  - اللغات الكنعانية، هي عبارة عن مجموعة من اللغات السامية التي تنتمي إلى اللغات السامية
+    الشمالية الغربية - الفرع الكنعاني. وقد انتشرت اللغات الكنعانية في أرض كنعان التي
+    تشمل أساساً فلسطين والساحل الغربي للبنان والجنوب الغربي من سوريا على لسان الكنعانيين
+    بعد هجرتهم إليها، وكانت هذه اللغات عبارة عن مجموعة من اللهجات المتقاربة من بعضها
+    البعض في الصفات اللغوية.
+  - تقع أردبيل على بعد حوالي 70 كم من بحر قزوين، 210 كم عن مدينة تبريز. وعلى متوسط
+    إرتفاع 1263 متر وتصل مساحتها إلى 18.011 كم².
+- source_sentence: ما هي نسبة السكر في الدم عند الإنسان السليم؟
+  sentences:
+  - الذبحة الصدرية (خُناق الصدر)  هي الإحساس بالألم  أو الضغط في الصدر، الناتج عن
+    إقفار (نقص في الإمداد الدموي وبالتالي في الأكسجين الوارد) في عضل القلب، عادة نتيجة
+    انسداد أو تشنج في الشرايين التاجية (الأوعية المغذية لعضلة القلب).[1] في حين أن
+    الذبحة الصدرية قد تنبع من فقر الدم، اضطراب النظم القلبي أو قصور القلب إلا أن السبب
+    الرئيسي للذبحة هو الداء القلبي الإكليلي وينتج عن تصلب عصيدي في الشرايين القلبية.
+  - البروستاغلاندين هي عبارة عن مستقلبات حمض الأراكيدونيك، تنتج من فعل الفوسفوليباز
+    (توجد عدة أنواع من هذا الأنزيم) على الدهن الفسفوري الغشائي، وتلعب دورا هاما في
+    الكائنات الحية.
+  - زامبيا أو رسميا جمهورية زامبيا هي بلد غير ساحلي في جنوب القارة الأفريقية،[1] المجاورة
+    جمهورية الكونغو الديمقراطية في الشمال، وتنزانيا من الشمال الشرقي، ملاوي من الشرق
+    وموزمبيق وزيمبابوي وبوتسوانا وناميبيا إلى الجنوب، وأنغولا إلى الغرب . العاصمة
+    هي لوساكا، في الجزء الجنوبي الأوسط من زامبيا. ويتركز السكان أساسا حول لوساكا في
+    الجنوب ومقاطعة حزام النحاس في الشمال الغربي، والمحاور الاقتصادية الأساسية للبلد.
+- source_sentence: متى بدأت حروب الهند الصينية؟
+  sentences:
+  - 'لم يكن لينين يهتم كثيرا بالشؤون الدينية ونادرا ماكان يتحدث عن الأديان لكنه أعطى
+    حرية العبادة للمتدينين وقد تبين ذلك في نص ورسالة وجهها إلى المسلمين في 24 نوفمبر
+    1917 جاء فيها: يا أيها المسلمون بروسيا وسيبيريا وتركستا�� والقوقاز … يا أيها الذين
+    هدم القياصرة مساجدهم وعبث الطغاة بمعتقداتهم وعاداتهم أن معتقداتكم وعاداتكم ومؤسساتكم
+    القومية والثقافية أصبحت اليوم حرة مقدسة، نظموا حياتكم القومية بكامل الحرية وبدون
+    قيد فهي حق لكم. وأعلموا أن الثورة العظيمة وسوفياتات النواب والعمال والجنود والفلاحيين
+    تحمي حقوقكم وحقوق جميع شعوب روسيا. وقد تم وضع برنامج ضخم لما يمكن أن يطلق عليه
+    اليوم “التمييز المضـــاد”، سُمي بالكورنيزاتسيا، أي إحلال السكان المحليين محل المستوطنين
+    الروس. وقد بدأ بطرد المستعمرين الروس والقوزاق والمتحدثين باسمهم من الكنيسة الأرثوذكسية
+    الروسية في تلك المناطق. وتوقفت اللغة الروسية عن الهيمنة، وعادت اللغات المحلية
+    إلى المدارس وإلى الحكومة وإلى المطبوعات. وقد تمت ترقية السكان المحليين ليشغلوا
+    مناصب في الدولة وفي الأحزاب الشيوعية المحلية وأعطوا أولوية حتى عن الروس في التعيينات.
+    وقد أُنشئت جامعات لتدريب جيل جديد من القادة غير الروس.'
+  - تصغير|يسار|لوحة فسيفساء أثرية في مدينة زليتن مدينة زليتن تقع على الساحل الغربي
+    لليبيا، على مسافة 150 كم تقريبًا شرق العاصمة طرابلس، تحدها من الغرب مدينة الخمس،
+    مصراتة شرقاَ، بني وليد جنوبًا، والبحر المتوسط شمالاً. بلغ عدد سكانها حسب إحصاء
+    2006 حوالي "184 ألف" نسمة، ووفقا لأخر إحصاء(2012م)طبقا للسجل المدني فإن عدد سكان
+    زليتن هو "231 ألف" نسمة واشتهرت المدينة بكونها المركز الأبرز في البلاد لتعليم
+    الفقه المالكي وتحفيظ القرآن في واحدة من أهم المؤسسات التعليمية في البلاد على مر
+    500 عام، وهي زاوية سيدي عبد السلام.
+  - 'على الرغم من التعاون التكتيكي بين الفرنسيين وفيت مين، إلا أن سياساتهم كانت متناقضة:
+    فيهدّف الفرنسيين إلى إعادة تأسيس قاعدة استعمارية، بينما أرادت هانوي استقلالا كليّا.
+    كشفت النوايا الفرنسية في قرار جورج تييري داجينلي، المندوب الأعلى للهند الصينية،
+    بإعلان كوتشينصين كجمهورية مستقلة ذاتيا في يونيو/حزيران عام 1946. المفاوضات الأخرى
+    لم تحل الخلافات الأساسية بين الفرنسيين وفيت مين. في أواخر نوفمبر/تشرين الثّاني
+    عام 1946، قصفت سفينة بحرية فرنسية هيفونج، أصيب فيها عدّة آلاف من المدنيين؛ ردت
+    فيت مين بمحاولة غمر القوّات الفرنسية في هانوي في ديسمبر/كانون الأول لتبدأ الحرب
+    الهندوصينية الأولى.'
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on NAMAA-Space/AraModernBert-Base-STS
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [NAMAA-Space/AraModernBert-Base-STS](https://huggingface.co/NAMAA-Space/AraModernBert-Base-STS). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [NAMAA-Space/AraModernBert-Base-STS](https://huggingface.co/NAMAA-Space/AraModernBert-Base-STS) <!-- at revision cc3cb850a251f28b99b69bfe4c5332d21dc82c08 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: ModernBertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("yoriis/NAMAA-retriever-tydi-tafseer-quqa-cos")
+# Run inference
+sentences = [
+    'متى بدأت حروب الهند الصينية؟',
+    'على الرغم من التعاون التكتيكي بين الفرنسيين وفيت مين، إلا أن سياساتهم كانت متناقضة: فيهدّف الفرنسيين إلى إعادة تأسيس قاعدة استعمارية، بينما أرادت هانوي استقلالا كليّا. كشفت النوايا الفرنسية في قرار جورج تييري داجينلي، المندوب الأعلى للهند الصينية، بإعلان كوتشينصين كجمهورية مستقلة ذاتيا في يونيو/حزيران عام 1946. المفاوضات الأخرى لم تحل الخلافات الأساسية بين الفرنسيين وفيت مين. في أواخر نوفمبر/تشرين الثّاني عام 1946، قصفت سفينة بحرية فرنسية هيفونج، أصيب فيها عدّة آلاف من المدنيين؛ ردت فيت مين بمحاولة غمر القوّات الفرنسية في هانوي في ديسمبر/كانون الأول لتبدأ الحرب الهندوصينية الأولى.',
+    'تصغير|يسار|لوحة فسيفساء أثرية في مدينة زليتن مدينة زليتن تقع على الساحل الغربي لليبيا، على مسافة 150 كم تقريبًا شرق العاصمة طرابلس، تحدها من الغرب مدينة الخمس، مصراتة شرقاَ، بني وليد جنوبًا، والبحر المتوسط شمالاً. بلغ عدد سكانها حسب إحصاء 2006 حوالي "184 ألف" نسمة، ووفقا لأخر إحصاء(2012م)طبقا للسجل المدني فإن عدد سكان زليتن هو "231 ألف" نسمة واشتهرت المدينة بكونها المركز الأبرز في البلاد لتعليم الفقه المالكي وتحفيظ القرآن في واحدة من أهم المؤسسات التعليمية في البلاد على مر 500 عام، وهي زاوية سيدي عبد السلام.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 13,476 training samples
+* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | sentence_0                                                                        | sentence_1                                                                          | label                                                          |
+  |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:---------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                              | float                                                          |
+  | details | <ul><li>min: 5 tokens</li><li>mean: 23.8 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 10 tokens</li><li>mean: 36.94 tokens</li><li>max: 303 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.26</li><li>max: 1.0</li></ul> |
+* Samples:
+  | sentence_0                                                                                                                                                  | sentence_1                                                                                                                                                                                                                                      | label            |
+  |:------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
+  | <code>من رفض تنفيذ المشروع ( أول مرة ) فهو غير مؤهل لتكملة مشروعك، أذكر الآية التي دلت على هذا المعنى؟.</code>                                              | <code>فإن رجعك الله إلى طائفة منهم فاستأذنوك للخروج فقل لن تخرجوا معي أبدا ولن تقاتلوا معي عدوا إنكم رضيتم بالقعود أول مرة فاقعدوا مع الخالفين{83} التوبة</code>                                                                                | <code>1.0</code> |
+  | <code>ما الآية التي تدل على أن ما أصابك -أيها الإنسان- مِن خير ونعمة فهو من الله تعالى وحده, فضلا وإحسانًا, وما أصابك من جهد وشدة فبسبب عملك السيئ ؟</code> | <code>قال فإنا قد فتنا قومك من بعدك وأضلهم السامري{85} طه</code>                                                                                                                                                                                | <code>0.0</code> |
+  | <code>ما هو الشرك الأكبر؟</code>                                                                                                                            | <code>وإذ قلنا ادخلوا هـذه القرية فكلوا منها حيث شئتم رغدا وادخلوا الباب سجدا وقولوا حطة نغفر لكم خطاياكم وسنزيد المحسنين{58} فبدل الذين ظلموا قولا غير الذي قيل لهم فأنزلنا على الذين ظلموا رجزا من السماء بما كانوا يفسقون{59}البقرة..</code> | <code>0.0</code> |
+* Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
+  ```json
+  {
+      "loss_fct": "torch.nn.modules.loss.MSELoss"
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `per_device_train_batch_size`: 4
+- `per_device_eval_batch_size`: 4
+- `fp16`: True
+- `multi_dataset_batch_sampler`: round_robin
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: no
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 4
+- `per_device_eval_batch_size`: 4
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 5e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1
+- `num_train_epochs`: 3
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `hub_revision`: None
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `liger_kernel_config`: None
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: batch_sampler
+- `multi_dataset_batch_sampler`: round_robin
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step  | Training Loss |
+|:------:|:-----:|:-------------:|
+| 0.05   | 500   | 0.0417        |
+| 0.1    | 1000  | 0.0346        |
+| 0.15   | 1500  | 0.0366        |
+| 0.2    | 2000  | 0.0326        |
+| 0.25   | 2500  | 0.0297        |
+| 0.3    | 3000  | 0.0309        |
+| 0.35   | 3500  | 0.0313        |
+| 0.4    | 4000  | 0.0314        |
+| 0.45   | 4500  | 0.028         |
+| 0.5    | 5000  | 0.0261        |
+| 0.55   | 5500  | 0.0272        |
+| 0.6    | 6000  | 0.0293        |
+| 0.65   | 6500  | 0.0294        |
+| 0.7    | 7000  | 0.0272        |
+| 0.75   | 7500  | 0.0287        |
+| 0.8    | 8000  | 0.0283        |
+| 0.85   | 8500  | 0.0278        |
+| 0.9    | 9000  | 0.0249        |
+| 0.95   | 9500  | 0.025         |
+| 1.0    | 10000 | 0.0259        |
+| 1.05   | 10500 | 0.0101        |
+| 1.1    | 11000 | 0.0085        |
+| 1.15   | 11500 | 0.0079        |
+| 1.2    | 12000 | 0.0095        |
+| 1.25   | 12500 | 0.0087        |
+| 1.3    | 13000 | 0.0088        |
+| 1.35   | 13500 | 0.0104        |
+| 1.4    | 14000 | 0.0102        |
+| 1.45   | 14500 | 0.0099        |
+| 1.5    | 15000 | 0.0084        |
+| 1.55   | 15500 | 0.0108        |
+| 1.6    | 16000 | 0.0114        |
+| 1.65   | 16500 | 0.01          |
+| 1.7    | 17000 | 0.0103        |
+| 1.75   | 17500 | 0.0099        |
+| 1.8    | 18000 | 0.01          |
+| 1.85   | 18500 | 0.0097        |
+| 1.9    | 19000 | 0.0112        |
+| 1.95   | 19500 | 0.0097        |
+| 2.0    | 20000 | 0.0111        |
+| 2.05   | 20500 | 0.0039        |
+| 2.1    | 21000 | 0.0032        |
+| 2.15   | 21500 | 0.0035        |
+| 2.2    | 22000 | 0.0029        |
+| 2.25   | 22500 | 0.0034        |
+| 2.3    | 23000 | 0.0035        |
+| 2.35   | 23500 | 0.0034        |
+| 2.4    | 24000 | 0.0034        |
+| 2.45   | 24500 | 0.0031        |
+| 2.5    | 25000 | 0.0027        |
+| 2.55   | 25500 | 0.0032        |
+| 2.6    | 26000 | 0.0035        |
+| 2.65   | 26500 | 0.0029        |
+| 2.7    | 27000 | 0.0029        |
+| 2.75   | 27500 | 0.0032        |
+| 2.8    | 28000 | 0.0033        |
+| 2.85   | 28500 | 0.0034        |
+| 2.9    | 29000 | 0.004         |
+| 2.95   | 29500 | 0.0037        |
+| 3.0    | 30000 | 0.0038        |
+| 0.1975 | 500   | 0.0013        |
+| 0.3949 | 1000  | 0.0004        |
+| 0.5924 | 1500  | 0.0003        |
+| 0.7899 | 2000  | 0.0002        |
+| 0.9874 | 2500  | 0.0002        |
+| 1.1848 | 3000  | 0.0001        |
+| 1.3823 | 3500  | 0.0           |
+| 1.5798 | 4000  | 0.0001        |
+| 1.7773 | 4500  | 0.0001        |
+| 1.9747 | 5000  | 0.0           |
+| 2.1722 | 5500  | 0.0           |
+| 2.3697 | 6000  | 0.0           |
+| 2.5671 | 6500  | 0.0           |
+| 2.7646 | 7000  | 0.0           |
+| 2.9621 | 7500  | 0.0           |
+| 0.1975 | 500   | 0.0115        |
+| 0.3949 | 1000  | 0.0085        |
+| 0.5924 | 1500  | 0.0076        |
+| 0.7899 | 2000  | 0.0065        |
+| 0.9874 | 2500  | 0.0063        |
+| 1.1848 | 3000  | 0.0029        |
+| 1.3823 | 3500  | 0.0024        |
+| 1.5798 | 4000  | 0.0025        |
+| 1.7773 | 4500  | 0.0022        |
+| 1.9747 | 5000  | 0.0021        |
+| 2.1722 | 5500  | 0.0011        |
+| 2.3697 | 6000  | 0.0009        |
+| 2.5671 | 6500  | 0.0007        |
+| 2.7646 | 7000  | 0.0008        |
+| 2.9621 | 7500  | 0.0007        |
+| 0.1484 | 500   | 0.1063        |
+| 0.2968 | 1000  | 0.1079        |
+| 0.4452 | 1500  | 0.0959        |
+| 0.5936 | 2000  | 0.089         |
+| 0.7421 | 2500  | 0.0911        |
+| 0.8905 | 3000  | 0.0853        |
+| 1.0389 | 3500  | 0.0783        |
+| 1.1873 | 4000  | 0.0455        |
+| 1.3357 | 4500  | 0.0452        |
+| 1.4841 | 5000  | 0.0505        |
+| 1.6325 | 5500  | 0.0452        |
+| 1.7809 | 6000  | 0.046         |
+| 1.9294 | 6500  | 0.0479        |
+| 2.0778 | 7000  | 0.0331        |
+| 2.2262 | 7500  | 0.0232        |
+| 2.3746 | 8000  | 0.0211        |
+| 2.5230 | 8500  | 0.0254        |
+| 2.6714 | 9000  | 0.0242        |
+| 2.8198 | 9500  | 0.0257        |
+| 2.9682 | 10000 | 0.0237        |
+
+</details>
+
+### Framework Versions
+- Python: 3.11.13
+- Sentence Transformers: 4.1.0
+- Transformers: 4.53.3
+- PyTorch: 2.6.0+cu124
+- Accelerate: 1.9.0
+- Datasets: 4.0.0
+- Tokenizers: 0.21.2
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,49 @@
+{
+  "additional_special_tokens_ids": [],
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": null,
+  "classifier_activation": "gelu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 3,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "embedding_dropout": 0.0,
+  "eos_token_id": null,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "layer_norm_eps": 1e-05,
+  "local_attention": 128,
+  "local_rope_theta": 10000.0,
+  "mask_token_id": 6,
+  "max_position_embeddings": 8192,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 5,
+  "position_embedding_type": "absolute",
+  "repad_logits_with_grad": false,
+  "sep_token_id": 4,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "torch_dtype": "float32",
+  "transformers_version": "4.53.3",
+  "unk_token_id": 2,
+  "vocab_size": 50280
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "4.1.0",
+    "transformers": "4.53.3",
+    "pytorch": "2.6.0+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2e74d659f94a977ec0803e7be3d707b9493e81e388310cd58a02e5052cc6f913
+size 595799800

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,80 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<|padding|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "5": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "6": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "max_length": 512,
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 512,
+  "pad_to_multiple_of": null,
+  "pad_token": "[PAD]",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "[SEP]",
+  "stride": 0,
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "[UNK]"
+}