Как заставить модель отвечать на вопросы, а не дополнять текст?
Всем привет. При использовании этого примера:
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_NAME = "yandex/YandexGPT-5-Lite-8B-pretrain"
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, legacy=False)
model = AutoModelForCausalLM.from_pretrained(
MODEL_NAME,
device_map="cuda",
torch_dtype="auto",
)
input_text = "Кто сказал тебе, что нет на свете настоящей,"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**input_ids, max_new_tokens=18)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Происходит только смысловое дополнение текста, которое указано в input_text. Как сделать так, чтобы модель могла отвечать на вопросы вроде "Расскажи о себе, столица Австралии и т.д."
Привет! pretrain модель умеет только дополнять текст. Для диалогового общения тебе нужна instruct модель, вот она:
https://huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct