crazymaker1122/Llama-3.3-8B-Instruct-awq-direct

Llama-3.3-8B-Instruct-AWQ

这是 Meta Llama 3.3 8B Instruct 模型的 AWQ 量化版本。

模型描述

• 基础模型: meta-llama/Llama-3.3-70B-Instruct
• 量化方法: AWQ (Activation-aware Weight Quantization)
• 精度: 4-bit
• 用途: 文本生成、对话、指令跟随

使用方法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和分词器
model_name = "crazymaker1122/Llama-3.3-8B-Instruct-awq-direct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

# 生成文本
prompt = "你好，请介绍一下你自己。"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=200)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

量化信息

此模型使用 AWQ 方法进行量化，具有以下特点：

• 大幅减少内存占用
• 保持良好的生成质量
• 支持快速推理

注意事项

• 需要支持 AWQ 的推理框架
• 建议使用 GPU 进行推理
• 量化可能会略微影响模型性能

许可证

请遵循原始 Llama 3.3 模型的许可证条款。