Update app.py

app.py

@@ -22,7 +22,7 @@ def generate_response(user_input):
     global chat_history
     # 将用户输入添加到对话历史记录
     chat_history.append({"role": "user", "content": user_input})
-    
+
     # 应用聊天模板
     prompt = tokenizer.apply_chat_template(chat_history, tokenize=False)
     full_prompt = f"<s>{SYS_PROMPT} [INST] {prompt} [/INST]"
@@ -36,26 +36,40 @@ def generate_response(user_input):
         top_k=50,
         repetition_penalty=1.1,
         temperature=0.7,
+        do_sample=True,  # 启用 sample-based 生成模式
+        attention_mask=inputs["attention_mask"],  # 设置 attention mask
     )
 
     # 解码输出
     generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    
+
     # 将生成的文本添加到对话历史记录
     chat_history.append({"role": "assistant", "content": generated_text})
-    
+
+    # 只保留最新的五个问答对话
+    if len(chat_history) > 10:
+        chat_history = chat_history[-10:]
+
     return generated_text
 
 # 创建Gradio界面
-iface = gr.Interface(
-    fn=generate_response,
-    inputs=gr.Textbox(lines=5, placeholder="請輸入你的問題..."),
-    outputs=gr.Textbox(lines=10),
-    title="醫療問答助手",
-    description="這是一個基於 MediaTek-Research/Breeze-7B-Instruct-v1_0 模型的醫療問答助手。",
-    theme="default",  # 可以选择不同的主题，例如 "huggingface"
-    live=True,
-)
+def chat_interface(user_input, history):
+    global chat_history
+    response = generate_response(user_input)
+    history.append((user_input, response))
+    return "", history
+
+iface = gr.Blocks()
+
+with iface:
+    gr.Markdown("# 醫療問答助手\n這是一個基於 MediaTek-Research/Breeze-7B-Instruct-v1_0 模型的醫療問答助手。")
+    chatbot = gr.Chatbot()
+    with gr.Row():
+        txt = gr.Textbox(
+            show_label=False,
+            placeholder="請輸入你的問題...",
+        ).style(container=False)
+    txt.submit(chat_interface, [txt, chatbot], [txt, chatbot])
 
 # 启动Gradio界面并共享链接
 iface.launch(share=True)