README.md

---
base_model:
- unsloth/LFM2-1.2B
- LiquidAI/LFM2-1.2B
tags:
- text-generation-inference
- transformers
- unsloth
- lfm2
- arabic
- dialect
- emirati
- conversational
- causal-lm
- instruction-tuned
- trl
license: cc-by-nc-4.0
language:
- ar
---

# kallamni-1.2b-v1

<img src="banner.png" width="800" />

**كالّمني 1.2B v1** هو **نموذج محادثة باللغة العربية** بعدد **1.2 مليار معامل**، مُدرّب خصيصاً على **اللهجة الإماراتية المحكية**.
النموذج مصمَّم ليُنتج ردوداً **طبيعية، سلسة، ومرتبطة ثقافياً** بالحياة اليومية، بعيداً عن العربية الفصحى الرسمية.

---

## ملخص النموذج

* **نوع النموذج:** لغة سببية (Causal LM) مُهيأ للتعليمات (Instruction-tuned).
* **اللغات:** اللهجة الإماراتية المحكية.
* **التدريب:** 3 دورات (Epochs) باستخدام محولات LoRA.
* **الأُطر:** [Unsloth](https://github.com/unslothai/unsloth) + [TRL](https://github.com/huggingface/trl).
* **البيانات:** 12,324 زوج سؤال-جواب باللهجة الإماراتية، مولّدة باستخدام **GPT-5** و **GPT-4o**.

---

## البيانات

* **الحجم:** 12,324 مثال.
* **المصدر:** أزواج سؤال-جواب اصطناعية مولدة عبر GPT-5 + GPT-4o.
* **المجالات المغطاة:**

  * المحادثات اليومية (تسوق، طقس، تحايا، عائلة، مواصلات).
  * الفعاليات الاجتماعية والثقافية (الأعياد، الأعراس، المجالس).
  * الروتين اليومي والأنشطة المنزلية.
* **الصيغة:** أمثلة على شكل محادثة مع وسوم `<|im_start|>user` / `<|im_start|>assistant`، مثل:

```text
<|startoftext|><|im_start|>user
شو تسوي إذا انقطع الإنترنت في البيت؟<|im_end|>
<|im_start|>assistant
أول شي أتصل بالشركة، وإذا ما ردوا أستخدم داتا التلفون لين يرجع النت.<|im_end|>
```

---

## ⚙️ التدريب

* **الأُطر المستخدمة:**

  * **Unsloth** → تحسين كفاءة التدريب والذاكرة، أسرع بحوالي 2×.
  * **TRL (SFTTrainer)** → تدريب مُراقَب مع مواءمة التعليمات.
* **النموذج الأساسي:** نموذج خفيف (1.2B) سببي.
* **عدد الدورات:** 3 مرور كامل على البيانات.
* **استراتيجية التدريب:**

  * LoRA على طبقات الانتباه + الـ MLP.
  * استخدام قالب محادثة ثابت عبر TRL.

---

## الاستخدام

يمكنك تحميل وتشغيل النموذج باستخدام مكتبة `transformers`:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
import torch

# === 1. تحميل النموذج والمفردات ===
model_id = "yasserrmd/kallamni-1.2b-v1"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.bfloat16,  # أو torch.float16 إذا مدعوم
)

# === 2. التعليمات الأساسية (بالعربية) ===
system_instruction = {
    "role": "system",
    "content": "انت مساعد إماراتي. لازم تجاوب باللهجة الإماراتية المحكية فقط، وما تستخدم العربية الفصحى أبداً."
}

# === 3. أمثلة Few-shot ===
few_shots = [
    {"role": "user", "content": "شحالَك اليوم؟"},
    {"role": "assistant", "content": "الحمدلله زين، وانت كيفك؟"},
    {"role": "user", "content": "وين ناوي تسير عقب الدوام؟"},
    {"role": "assistant", "content": "يمكن أمر على المول وأتعشى ويا الربع."},
]

# === 4. إدخال المستخدم ===
user_input = {"role": "user", "content": "وين أحلى مكان تاخذ منه قهوة الصبح؟"}

# === 5. دمج جميع الرسائل ===
messages = [system_instruction] + few_shots + [user_input]

# === 6. تحويل إلى مدخلات النموذج ===
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

# === 7. بث الاستجابة ===
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

_ = model.generate(
    inputs,
    max_new_tokens=100,
    temperature=0.7,
    top_p=0.9,
    repetition_penalty=1.05,
    streamer=streamer,
)
```

---

## الأداء

* **دقة اللهجة:** حوالي 85٪ اتساق إماراتي.
* **ملاءمة الإجابة:** \~90٪ جيدة أو شبه جيدة.
* **نقاط الضعف:** أحياناً جمل شبه رسمية أو حشو عام.
* **نقاط القوة:**

  * استخدام تعابير إماراتية أصيلة.
  * إجابات طبيعية بطول مناسب (8–15 كلمة).
  * تغطية متوازنة لمواضيع العائلة، العمل، السفر، والمجتمع.

---

## الاستخدامات المقصودة

* **شات بوتات ومساعدات صوتية** للهجة الإماراتية.
* **أدوات تعليمية** لتعلم المحادثة باللهجة.
* **لبنة بيانات** لأبحاث نماذج اللغة الخليجية.

---

## القيود

* قد يخلط أحياناً مع الفصحى أو العربية العامة.
* غير مناسب للإجابات العلمية أو القانونية أو الطبية.
* غير مهيأ للسياقات المهنية أو المتخصصة.

---

## الشكر والتقدير

* فريق **Unsloth** على أدوات التدريب الفعّالة.
* **TRL** من Hugging Face لدعم التدريب الموجه بالتعليمات.
* توليد البيانات الاصطناعية عبر **GPT-5** و **GPT-4o**.
* إلهام من إصدارات **Liquid AI** مفتوحة الأوزان.

---


# kallamni-1.2b-v1
<img src="banner.png" width="800" />

**Kallamni 1.2B v1** is a **1.2B parameter Arabic conversational model** fine-tuned specifically for **spoken Emirati Arabic (اللهجة الإماراتية المحكية)**.
It is designed to generate **natural, fluent, and culturally relevant** responses for daily-life conversations, rather than formal Modern Standard Arabic (MSA).

---

## Model Summary

* **Model type:** Causal LM, instruction-tuned for chat.
* **Languages:** Emirati Arabic dialect (spoken style).
* **Fine-tuning:** 3 epochs with LoRA adapters.
* **Frameworks:** [Unsloth](https://github.com/unslothai/unsloth) + [TRL](https://github.com/huggingface/trl).
* **Dataset:** 12,324 synthetic Emirati Arabic Q\&A pairs generated using **GPT-5** and **GPT-4o**.

---

## Dataset

* **Size:** 12,324 examples.
* **Source:** Synthetic Q\&A pairs created via GPT-5 + GPT-4o, Emirati dialect.
* **Domains covered:**

  * Daily life conversations (shopping, weather, greetings, family, transport).
  * Social and cultural events (Eid, weddings, gatherings).
  * Household and personal routines.
* **Format:** Chat-style examples with `<|im_start|>user` / `<|im_start|>assistant` tokens, e.g.:

```text
<|startoftext|><|im_start|>user
شو تسوي إذا انقطع الإنترنت في البيت؟<|im_end|>
<|im_start|>assistant
أول شي أتصل بالشركة، وإذا ما ردوا أستخدم داتا التلفون لين يرجع النت.<|im_end|>
```

---

## ⚙️ Training

* **Frameworks:**

  * **Unsloth** → optimized finetuning, memory efficiency, \~2× faster training.
  * **TRL (SFTTrainer)** → supervised fine-tuning with instruction alignment.
* **Base model:** Lightweight 1.2B causal LM.
* **Epochs:** 3 full passes over the dataset.
* **Fine-tuning strategy:**

  * LoRA adapters on attention + MLP layers.
  * Chat template applied consistently with TRL.

---

## Usage

You can load and run the model with `transformers`:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
import torch

# === 1. Load model + tokenizer ===
model_id = "yasserrmd/kallamni-1.2b-v1"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.bfloat16,  # or torch.float16 if GPU supports
)

# === 2. Define system instruction (Arabic) ===
system_instruction = {
    "role": "system",
    "content": "انت مساعد إماراتي. لازم تجاوب باللهجة الإماراتية المحكية فقط، وما تستخدم العربية الفصحى أبداً."
}

# === 3. Few-shot examples ===
few_shots = [
    {"role": "user", "content": "شحالَك اليوم؟"},
    {"role": "assistant", "content": "الحمدلله زين، وانت كيفك؟"},
    {"role": "user", "content": "وين ناوي تسير عقب الدوام؟"},
    {"role": "assistant", "content": "يمكن أمر على المول وأتعشى ويا الربع."},
]

# === 4. User input ===
user_input = {"role": "user", "content": "وين أحلى مكان تاخذ منه قهوة الصبح؟"}

# === 5. Combine all messages ===
messages = [system_instruction] + few_shots + [user_input]

# === 6. Tokenize with chat template ===
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

# === 7. Stream output ===
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

_ = model.generate(
    inputs,
    max_new_tokens=100,
    temperature=0.7,
    top_p=0.9,
    repetition_penalty=1.05,
    streamer=streamer,
)
```

---

## Performance

* **Dialect accuracy:** \~85% Emirati consistency.
* **Answer relevance:** \~90% good/semi-good.
* **Weak cases:** occasional semi-formal phrasing or generic filler.
* **Strengths:**

  * Culturally aligned Emirati expressions.
  * Natural conversational length (8–15 words minimum).
  * Balanced coverage of family, work, travel, and social contexts.

---

## Intended Use

* **Chatbots & voice assistants** for Emirati Arabic.
* **Language learning tools** for practicing dialect.
* **Dataset building block** for Gulf Arabic LLM research.

---

## Limitations

* May mix in some MSA or generic Arabic in rare cases.
* Not suitable for factual QA outside daily conversations.
* Not designed for professional/legal/medical contexts.

---

## Acknowledgements

* **Unsloth** team for efficient fine-tuning tooling.
* **TRL** from Hugging Face for alignment training.
* Synthetic dataset generation powered by **GPT-5** and **GPT-4o**.
* **Liquid AI** for innovative open-weight model releases that inspired experimentation.