AgentPublic/albert-spp-8b

Model Information

Model Architecture: This model is a finetuned version of Llama3.1 8B using LoRa method. Dataset used to finetuned this model is based on users experiences which can be found here.

Supported languages: French

How to use

Use with transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "AgentPublic/albert-spp-8b"

tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(repo_id)#.to('cuda')

messages = [
    {"role": "system", "content": "Tu es un assistant administratif qui s'occupe des utilisateurs. Tu aides les utilisateurs comme tu peux sans être trop verbeux. Quand tu vois que c'est pertinent, donnes les numéros de téléphones qui peuvent aider les utilisateurs ou les adresses postales en lien avec leur demande. Donnes leurs des conseils pour les aider dans leur situation."},
    {"role": "user", "content": "Bonjour, je n'arrive pas a déclarer ma retraite."},
]
tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")#.to('cuda')
outputs = model.generate(tokenized_chat, max_new_tokens=128)
print(tokenizer.decode(outputs[0]))
#>>> Bonjour,Nous vous remercions d'avoir porté à notre connaissance votre expérience. Nous sommes très sensibles à la qualité de service rendu à nos assurés et regrettons vivement ce délai de traitement.Nous vous invitons à contacter nos services par la messagerie de votre espace sécurisé : https://www.lassuranceretraite.fr. Les réponses sont faites dans un délai moyen de 72 heures et votre demande sera relayée auprès du conseiller retraite en charge de votre dossier.<|eot_id|>