Update app.py

app.py

@@ -13,13 +13,19 @@ HF_TOKEN = os.getenv("HF_TOKEN")
 
 def load_model(model_path):
     tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True, token=HF_TOKEN)
+    
+    # 先載入 config，手動刪除量化設定，防止 FP8 問題
+    config = AutoConfig.from_pretrained(model_path, trust_remote_code=True, token=HF_TOKEN)
+    if hasattr(config, "quantization_config"):
+        del config.quantization_config  # 刪除量化配置，避免使用 FP8
+
     model = AutoModelForCausalLM.from_pretrained(
         model_path,
+        config=config,  # 使用已移除量化的 config
         trust_remote_code=True,
         token=HF_TOKEN,
-        torch_dtype=torch.float16,  # 強制 FP16，避免 FP8 問題
-        device_map="auto",  # 讓 transformers 自動決定使用 CPU/GPU
-        revision="main"
+        torch_dtype=torch.float16,  # 強制 FP16，避免 FP8
+        device_map="auto",
     )
     return model, tokenizer