models.py

# models.py (VERSIÓN A PRUEBA DE ENTORNO ROTO)

import torch
import os
from huggingface_hub import snapshot_download # Importación clave
from transformers import AutoTokenizer, AutoModelForCausalLM
from sentence_transformers import SentenceTransformer
from config import EMBEDDING_MODEL_NAME

# Cargar el modelo de embeddings
def load_embedding_model():
    print("--- Iniciando carga manual del modelo de embedding ---")
    
    # 1. Descargar los archivos del modelo a una caché local y obtener la ruta
    model_folder = snapshot_download(repo_id=EMBEDDING_MODEL_NAME)
    print(f"Modelo descargado en: {model_folder}")

    # 2. Construir la ruta al archivo problemático
    problematic_file_path = os.path.join(model_folder, "pytorch_model.bin")

    # 3. Eliminar el archivo .bin si existe, para forzar el uso de .safetensors
    if os.path.exists(problematic_file_path):
        print(f"Eliminando archivo problemático: {problematic_file_path}")
        os.remove(problematic_file_path)
    else:
        print("El archivo pytorch_model.bin no existe, se procederá con safetensors.")
        
    # 4. Cargar el modelo desde la carpeta local ya "limpia"
    # Se quita el argumento 'use_safetensors' porque ya no es necesario.
    device_str = 'cuda' if torch.cuda.is_available() else 'cpu'
    device = torch.device(device_str)
    
    embedding_model = SentenceTransformer(
        model_folder,  # Cargar desde la ruta local
        device=device
    )
    
    print(f"Modelo de embedding cargado exitosamente desde la ruta local en el dispositivo: {embedding_model.device}")
    return embedding_model

# Cargar el modelo Yi-Coder (se simplifica para consistencia)
def load_yi_coder_model():
    device_str = 'cuda' if torch.cuda.is_available() else 'cpu'
    device = torch.device(device_str)
    
    model_path = "01-ai/Yi-Coder-9B-Chat"
    
    tokenizer = AutoTokenizer.from_pretrained(model_path)
    
    # Se quita 'use_safetensors' para evitar cualquier posible conflicto.
    yi_coder_model = AutoModelForCausalLM.from_pretrained(
        model_path,
        torch_dtype=torch.float16,
        low_cpu_mem_usage=True
    ).to(device).eval()
    
    print(f"Modelo Yi-Coder cargado en el dispositivo: {yi_coder_model.device}")
    return tokenizer, yi_coder_model, device