README.md

---
license: mit
datasets:
- Mattimax/TinyChat-ITA
language:
- it
library_name: transformers.js
tags:
- DAC
- M.INC.
- conversational
---

# 🇮🇹 MINC01/ITA-Mini-60M

**MINC01/ITA-Mini-60M** è un modello linguistico causale da circa **60 milioni di parametri**, ottimizzato per la **conversazione in lingua italiana**.  
Il modello è stato addestrato su un dataset proprietario di dialoghi istruzione-risposta, con l’obiettivo di offrire buone capacità conversazionali in un formato leggero e facilmente distribuibile.

---

## 📌 Panoramica

- Modello: Decoder-only (stile LLaMA)
- Parametri: ~60M  
- Lingua principale: Italiano  
- Task principale: Chat / Istruzioni / Generazione testo  
- Contesto massimo: 512 token  
- Addestramento: Supervised Fine-Tuning (SFT)

---

## 🎯 Use Cases Previsti

- Chatbot in lingua italiana  
- Assistenti locali / embedded  
- Prototipi di agenti conversazionali  
- Dataset labeling / data augmentation  
- Esperimenti di ricerca su modelli piccoli  

Non è progettato per:

- Ragionamento complesso multi-step  
- Applicazioni mission-critical  
- Produzione di contenuti ad alta affidabilità  

---

## 🧠 Architettura

- Transformer decoder-only  
- Causal Language Model  
- Embedding e blocchi compatibili con ecosistema LLaMA  
- Addestramento con masking delle parti prompt (solo risposta contribuisce alla loss)

---

## 📚 Dataset

- Proprietario  
- ~30.000 esempi  
- Struttura: coppie **input → response**  
- Dominio: conversazionale generale  
- Lingua: italiano  

### Pulizia applicata

- Rimozione esempi vuoti  
- Parsing JSON validato  
- Scarto sequenze sopra la lunghezza massima  

---

## 🏗️ Template Conversazionale

```

<|user|>
{testo_utente}
<|assistant|>
{risposta_modello}</s>

````

Il modello è sensibile a questo formato.

---

## ⚙️ Procedura di Training (Sintesi)

- Fine-tuning supervisionato
- Mixed Precision (AMP)
- Gradient Accumulation
- Gradient Checkpointing
- AdamW optimizer
- Cosine learning rate schedule con warmup

### Parametri principali

| Parametro | Valore |
|----------|-------|
| Batch size | 8 |
| Gradient accumulation | 4 |
| Learning rate | 2e-5 |
| Epochs | 2 |
| Weight decay | 0.05 |
| Warmup ratio | 0.1 |
| Max grad norm | 1.0 |
| Validation split | 5% |

---

## 📈 Valutazione

- Metica: Cross-Entropy Loss su validation set  
- Non sono stati eseguiti benchmark standard (es. MMLU, HELM, etc.)

Il modello è stato validato esclusivamente tramite loss e test qualitativi manuali.

---

## 🧪 Limitazioni Note

- Possibili allucinazioni  
- Conoscenza limitata  
- Sensibile al prompt  
- Ragionamento debole  
- Possibili bias presenti nel dataset proprietario  

---

## ⚠️ Considerazioni Etiche

Il modello:

- Può generare informazioni errate  
- Non deve essere usato come fonte autorevole  
- Non ha filtri di sicurezza avanzati  

Responsabilità d’uso interamente a carico dell’utente.

---

## 🚀 Come Usare

```python
from transformers import AutoTokenizer, AutoModelForCausalLM

tok = AutoTokenizer.from_pretrained("MINC01/ITA-Mini-60M")
model = AutoModelForCausalLM.from_pretrained("MINC01/ITA-Mini-60M")

prompt = "<|user|>\nScrivi una poesia sul mare.\n<|assistant|>\n"
inputs = tok(prompt, return_tensors="pt")

out = model.generate(**inputs, max_new_tokens=200)
print(tok.decode(out[0], skip_special_tokens=True))
````

---

## 🔁 Prompting Tips

* Usare sempre il template
* Istruzioni brevi e chiare
* Una richiesta per volta
* Evitare contesti troppo lunghi

---

## 👤 Autore

MINC01

---

## 📌 Citazione

```
@misc{minc01_ita_mini_60m,
  title = {MINC01/ITA-Mini-60M},
  author = {MINC01},
  year = {2026},
  publisher = {HuggingFace}
}
```