Update README.md

README.md

@@ -19,6 +19,157 @@ language:
 - ar
 ---
 
+# kallamni-1.2b-v1
+
+<img src="banner.png" width="800" />
+
+**كالّمني 1.2B v1** هو **نموذج محادثة باللغة العربية** بعدد **1.2 مليار معامل**، مُدرّب خصيصاً على **اللهجة الإماراتية المحكية**.
+النموذج مصمَّم ليُنتج ردوداً **طبيعية، سلسة، ومرتبطة ثقافياً** بالحياة اليومية، بعيداً عن العربية الفصحى الرسمية.
+
+---
+
+## ملخص النموذج
+
+* **نوع النموذج:** لغة سببية (Causal LM) مُهيأ للتعليمات (Instruction-tuned).
+* **اللغات:** اللهجة الإماراتية المحكية.
+* **التدريب:** 3 دورات (Epochs) باستخدام محولات LoRA.
+* **الأُطر:** [Unsloth](https://github.com/unslothai/unsloth) + [TRL](https://github.com/huggingface/trl).
+* **البيانات:** 12,324 زوج سؤال-جواب باللهجة الإماراتية، مولّدة باستخدام **GPT-5** و **GPT-4o**.
+
+---
+
+## البيانات
+
+* **الحجم:** 12,324 مثال.
+* **المصدر:** أزواج سؤال-جواب اصطناعية مولدة عبر GPT-5 + GPT-4o.
+* **المجالات المغطاة:**
+
+  * المحادثات اليومية (تسوق، طقس، تحايا، عائلة، مواصلات).
+  * الفعاليات الاجتماعية والثقافية (الأعياد، الأعراس، المجالس).
+  * الروتين اليومي والأنشطة المنزلية.
+* **الصيغة:** أمثلة على شكل محادثة مع وسوم `<|im_start|>user` / `<|im_start|>assistant`، مثل:
+
+```text
+<|startoftext|><|im_start|>user
+شو تسوي إذا انقطع الإنترنت في البيت؟<|im_end|>
+<|im_start|>assistant
+أول شي أتصل بالشركة، وإذا ما ردوا أستخدم داتا التلفون لين يرجع النت.<|im_end|>
+```
+
+---
+
+## ⚙️ التدريب
+
+* **الأُطر المستخدمة:**
+
+  * **Unsloth** → تحسين كفاءة التدريب والذاكرة، أسرع بحوالي 2×.
+  * **TRL (SFTTrainer)** → تدريب مُراقَب مع مواءمة التعليمات.
+* **النموذج الأساسي:** نموذج خفيف (1.2B) سببي.
+* **عدد الدورات:** 3 مرور كامل على البيانات.
+* **استراتيجية التدريب:**
+
+  * LoRA على طبقات الانتباه + الـ MLP.
+  * استخدام قالب محادثة ثابت عبر TRL.
+
+---
+
+## الاستخدام
+
+يمكنك تحميل وتشغيل النموذج باستخدام مكتبة `transformers`:
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
+import torch
+
+# === 1. تحميل النموذج والمفردات ===
+model_id = "yasserrmd/kallamni-1.2b-v1"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,  # أو torch.float16 إذا مدعوم
+)
+
+# === 2. التعليمات الأساسية (بالعربية) ===
+system_instruction = {
+    "role": "system",
+    "content": "انت مساعد إماراتي. لازم تجاوب باللهجة الإماراتية المحكية فقط، وما تستخدم العربية الفصحى أبداً."
+}
+
+# === 3. أمثلة Few-shot ===
+few_shots = [
+    {"role": "user", "content": "شحالَك اليوم؟"},
+    {"role": "assistant", "content": "الحمدلله زين، وانت كيفك؟"},
+    {"role": "user", "content": "وين ناوي تسير عقب الدوام؟"},
+    {"role": "assistant", "content": "يمكن أمر على المول وأتعشى ويا الربع."},
+]
+
+# === 4. إدخال المستخدم ===
+user_input = {"role": "user", "content": "وين أحلى مكان تاخذ منه قهوة الصبح؟"}
+
+# === 5. دمج جميع الرسائل ===
+messages = [system_instruction] + few_shots + [user_input]
+
+# === 6. تحويل إلى مدخلات النموذج ===
+inputs = tokenizer.apply_chat_template(
+    messages,
+    add_generation_prompt=True,
+    return_tensors="pt"
+).to(model.device)
+
+# === 7. بث الاستجابة ===
+streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+
+_ = model.generate(
+    inputs,
+    max_new_tokens=100,
+    temperature=0.7,
+    top_p=0.9,
+    repetition_penalty=1.05,
+    streamer=streamer,
+)
+```
+
+---
+
+## الأداء
+
+* **دقة اللهجة:** حوالي 85٪ اتساق إماراتي.
+* **ملاءمة الإجابة:** \~90٪ جيدة أو شبه جيدة.
+* **نقاط الضعف:** أحياناً جمل شبه رسمية أو حشو عام.
+* **نقاط القوة:**
+
+  * استخدام تعابير إماراتية أصيلة.
+  * إجابات طبيعية بطول مناسب (8–15 كلمة).
+  * تغطية متوازنة لمواضيع العائلة، العمل، السفر، والمجتمع.
+
+---
+
+## الاستخدامات المقصودة
+
+* **شات بوتات ومساعدات صوتية** للهجة الإماراتية.
+* **أدوات تعليمية** لتعلم المحادثة باللهجة.
+* **لبنة بيانات** لأبحاث نماذج اللغة الخليجية.
+
+---
+
+## القيود
+
+* قد يخلط أحياناً مع الفصحى أو العربية العامة.
+* غير مناسب للإجابات العلمية أو القانونية أو الطبية.
+* غير مهيأ للسياقات المهنية أو المتخصصة.
+
+---
+
+## الشكر والتقدير
+
+* فريق **Unsloth** على أدوات التدريب الفعّالة.
+* **TRL** من Hugging Face لدعم التدريب الموجه بالتعليمات.
+* توليد البيانات الاصطناعية عبر **GPT-5** و **GPT-4o**.
+* إلهام من إصدارات **Liquid AI** مفتوحة الأوزان.
+
+---
 
 
 # kallamni-1.2b-v1
@@ -79,43 +230,57 @@ It is designed to generate **natural, fluent, and culturally relevant** response
 You can load and run the model with `transformers`:
 
 ```python
-from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
+import torch
 
-# Load model and tokenizer
+# === 1. Load model + tokenizer ===
 model_id = "yasserrmd/kallamni-1.2b-v1"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
     device_map="auto",
-    torch_dtype="bfloat16",
-#    attn_implementation="flash_attention_2"  # Uncomment if GPU supports it
+    torch_dtype=torch.bfloat16,  # or torch.float16 if GPU supports
 )
-tokenizer = AutoTokenizer.from_pretrained(model_id)
 
-# Generate answer
-prompt = "شو تسوي إذا انقطع الإنترنت في البيت؟"
-input_ids = tokenizer.apply_chat_template(
-    [{"role": "user", "content": prompt}],
+# === 2. Define system instruction (Arabic) ===
+system_instruction = {
+    "role": "system",
+    "content": "انت مساعد إماراتي. لازم تجاوب باللهجة الإماراتية المحكية فقط، وما تستخدم العربية الفصحى أبداً."
+}
+
+# === 3. Few-shot examples ===
+few_shots = [
+    {"role": "user", "content": "شحالَك اليوم؟"},
+    {"role": "assistant", "content": "الحمدلله زين، وانت كيفك؟"},
+    {"role": "user", "content": "وين ناوي تسير عقب الدوام؟"},
+    {"role": "assistant", "content": "يمكن أمر على المول وأتعشى ويا الربع."},
+]
+
+# === 4. User input ===
+user_input = {"role": "user", "content": "وين أحلى مكان تاخذ منه قهوة الصبح؟"}
+
+# === 5. Combine all messages ===
+messages = [system_instruction] + few_shots + [user_input]
+
+# === 6. Tokenize with chat template ===
+inputs = tokenizer.apply_chat_template(
+    messages,
     add_generation_prompt=True,
-    return_tensors="pt",
-    tokenize=True,
+    return_tensors="pt"
 ).to(model.device)
 
-output = model.generate(
-    input_ids,
-    do_sample=True,
-    temperature=0.3,
-    min_p=0.15,
+# === 7. Stream output ===
+streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+
+_ = model.generate(
+    inputs,
+    max_new_tokens=100,
+    temperature=0.7,
+    top_p=0.9,
     repetition_penalty=1.05,
-    max_new_tokens=256,
+    streamer=streamer,
 )
-
-print(tokenizer.decode(output[0], skip_special_tokens=False))
-
-# Example output:
-# <|startoftext|><|im_start|>user
-# شو تسوي إذا انقطع الإنترنت في البيت؟<|im_end|>
-# <|im_start|>assistant
-# أول شي أتصل بالشركة، وإذا ما ردوا أستخدم داتا التلفون لين يرجع النت.<|im_end|>
 ```
 
 ---