Update app.py

app.py

@@ -1,4 +1,11 @@
-
+from transformers import LlamaConfig
+
+class CustomLlamaConfig(LlamaConfig):
+    def _rope_scaling_validation(self):
+        # 完全禁用RoPE参数验证
+        if self.rope_scaling is None:
+            return
+        return  # 不执行任何验证
 from transformers import AutoTokenizer, AutoModelForSequenceClassification
 import gradio as gr
 import torch
@@ -7,41 +14,34 @@ import re
 # 加载医学诊断模型
 # 修改后（正确）
 # from transformers import LlamaForSequenceClassification, LlamaTokenizer
-from transformers import AutoModelForSequenceClassification, AutoTokenizer, AutoConfig
+from transformers import AutoModelForSequenceClassification, AutoTokenizer
 import torch
 
-# ==== 动态修正配置 ====
-# 1. 加载原始配置
-config = AutoConfig.from_pretrained("unsloth/DeepSeek-R1-Distill-Llama-8B")
+# 1. 加载原始配置并修正
+config = CustomLlamaConfig.from_pretrained("unsloth/DeepSeek-R1-Distill-Llama-8B")
 
-# 2. 强制覆盖RoPE参数（关键步骤）
+# 2. 保留必要参数，删除冲突字段
 config.rope_scaling = {
     "type": "linear",  # 必须字段
-    "factor": 8.0      # 保留原缩放因子
+    "factor": 8.0      # 从原配置继承
 }
+config_dict = config.to_dict()
+config_dict.pop("rope_scaling", None)  # 完全移除原RoPE参数
 
-# 3. 删除冲突字段（重要！）
-del config.rope_scaling["high_freq_factor"]
-del config.rope_scaling["low_freq_factor"]
-del config.rope_scaling["original_max_position_embeddings"]
-del config.rope_scaling["rope_type"]
-
-# ==== 加载模型 ====
+# 3. 加载模型（绕过验证）
 model = AutoModelForSequenceClassification.from_pretrained(
     "unsloth/DeepSeek-R1-Distill-Llama-8B",
-    config=config,  # 注入动态修正的配置
-    trust_remote_code=True
+    config=CustomLlamaConfig(**config_dict),
+    trust_remote_code=True,
+    ignore_mismatched_sizes=True  # 关键参数
 )
 
-# ==== 加载适配器 ===-
+# 4. 加载适配器
 model.load_adapter("yxccai/ds-ai-app")
 
-# ==== 加载分词器 ===-
+# 5. 加载分词器
 tokenizer = AutoTokenizer.from_pretrained("yxccai/ds-ai-app")
 
-# ==== 验证配置 ===-
-print("修正后的RoPE配置:", model.config.rope_scaling)  # 应输出: {'type': 'linear', 'factor': 8.0}
-
 # 2. 加载你的适配器
 # model.load_adapter("yxccai/ds-ai-app")  # 替换为你的仓库名