Update README.md

README.md

@@ -95,23 +95,27 @@ chat_input = tokenizer.apply_chat_template(
 inputs = tokenizer(chat_input, return_tensors="pt").to(model.device)
 
 # 텍스트 생성
-outputs = model.generate(
+outputs = self.model.generate(
     **inputs,
     max_new_tokens=256,
-    temperature=0.7,
-    top_p=0.8,
+    temperature=0.7, 
+    top_p=0.8, 
     top_k=20,
-    repetition_penalty=1.15
+    min_p=0,
+    repetition_penalty=1.15,
+    do_sample=True,
+    pad_token_id=tokenizer.eos_token_id
 )
 
 # 결과 디코딩 및 출력
-response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+response_ids = outputs[0][len(inputs.input_ids[0]):]
+answer = tokenizer.decode(response_ids, skip_special_tokens=True)
 
-# 생성된 답변만 추출 (모델에 따라 후처리 방식이 다를 수 있음)
-answer = response.split("assistant\n")[-1].strip()
+# 생성된 답변만 추출
 print(f"질문: {question}")
 print(f"답변: {answer}")
 
+
 # 예상 출력:
 # 질문: 저는 사진 찍는 걸 좋아해요.
 # 답변: 사진작가님 어서오고 ㅋㅋㅋ 삼각대 꼭 쓰세요!