MurDanya/llm-course-hw3-dora

DoRA (Weight-Decomposed Low-Rank Adaptation¶) for sentiment analysis task

Описание задания

В этой домашке была дообучена языковая модель Lite-Oute-1-300M-Instruct с помощью DoRA на датасете cardiffnlp/tweet_eval для задачи анализа тональности текстов

Пример генерации

Вопрос

Ben Smith / Smith (concussion) remains out of the lineup Thursday, Curtis #NHL #SJ

Ответ модели

neutral

Качество на тестовой выборке

F1 macro: 0.51

Пример запуска

from transformers import AutoModelForCausalLM, AutoTokenizer

REPO_NAME = "MurDanya/llm-course-hw3-dora"

model = AutoModelForCausalLM.from_pretrained(REPO_NAME, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(REPO_NAME)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = "left"