Update app.py

app.py

@@ -1,47 +1,38 @@
-from transformers import LlamaConfig
 
-class CustomLlamaConfig(LlamaConfig):
-    def _rope_scaling_validation(self):
-        # 完全禁用RoPE参数验证
-        if self.rope_scaling is None:
-            return
-        return  # 不执行任何验证
 from transformers import AutoTokenizer, AutoModelForSequenceClassification
 import gradio as gr
 import torch
 import re
 
-# 加载医学诊断模型
-# 修改后（正确）
-# from transformers import LlamaForSequenceClassification, LlamaTokenizer
-from transformers import AutoModelForSequenceClassification, AutoTokenizer
-import torch
 
-# 1. 加载原始配置并修正
-config = CustomLlamaConfig.from_pretrained("unsloth/DeepSeek-R1-Distill-Llama-8B")
+from transformers import AutoConfig, LlamaConfig, AutoModelForSequenceClassification
+
+# 1. 创建自定义配置类（继承LlamaConfig并禁用验证）
+class CustomLlamaConfig(LlamaConfig):
+    def _rope_scaling_validation(self):
+        pass  # 完全跳过RoPE参数验证
 
-# 2. 保留必要参数，删除冲突字段
-config.rope_scaling = {
-    "type": "linear",  # 必须字段
-    "factor": 8.0      # 从原配置继承
-}
-config_dict = config.to_dict()
-config_dict.pop("rope_scaling", None)  # 完全移除原RoPE参数
+# 2. 注册自定义配置到AutoConfig系统
+AutoConfig.register("custom_llama", CustomLlamaConfig)
+# 3. 加载修正后的配置
+config = CustomLlamaConfig.from_pretrained("unsloth/DeepSeek-R1-Distill-Llama-8B")
 
-# 3. 加载模型（绕过验证）
+# 4. 强制指定模型类型（关键步骤！）
 model = AutoModelForSequenceClassification.from_pretrained(
     "unsloth/DeepSeek-R1-Distill-Llama-8B",
-    config=CustomLlamaConfig(**config_dict),
+    config=config,
     trust_remote_code=True,
-    ignore_mismatched_sizes=True  # 关键参数
+    _from_auto=True  # 绕过类型检查
 )
 
-# 4. 加载适配器
+# 5. 加载适配器
 model.load_adapter("yxccai/ds-ai-app")
 
-# 5. 加载分词器
+# 6. 加载分词器
 tokenizer = AutoTokenizer.from_pretrained("yxccai/ds-ai-app")
 
+
+
 # 2. 加载你的适配器
 # model.load_adapter("yxccai/ds-ai-app")  # 替换为你的仓库名