README.md

# MiniCPM4-0.5B RKLLM Models Test Repository

这是一个测试仓库，用于存储和管理MiniCPM4-0.5B的RKLLM模型文件。

## 📋 模型列表

### 🎯 推荐模型：GPTQ版本
- **文件名**: `MiniCPM4-0.5B-QAT-Int4-GPTQ-format_w4a16_g32_RK3576.rkllm`
- **大小**: 471MB
- **特点**: 完美支持embedding输入
- **测试结果**: 余弦相似度 1.0，Top-50重叠率 100%

### ⚠️ 限制模型：Per-Channel版本
- **文件名**: `Minicpm4-0.5B-QAT-Int4-perChannel_w4a16_RK3576.rkllm`
- **大小**: 414MB
- **特点**: 仅推荐token输入
- **问题**: embedding输入会产生EOS tokens

### 📊 测试发现

我们发现了一个反直觉的现象：**量化模型比原始模型更一致**！

| 模型类型 | 余弦相似度 | Top-50重叠 | 状态 |
|----------|------------|------------|------|
| GPTQ量化 | 1.0000     | 100%       | ✅ 完美 |
| Per-Channel | N/A    | N/A        | ❌ 产生EOS |
| 原始FP16 | 0.5946     | 7.85%      | ⚠️ 不一致 |

## 🚀 使用方法

```bash
# 下载模型
huggingface-cli download okletsgg/minicpm-rkllm-test
```

## 🔧 硬件要求

- **硬件**: RK3576
- **内存**: 建议4GB+
- **存储**: 根据模型大小预留空间

## 📝 更新日志

- **2024-01**: 完成量化效应对embedding输入影响的测试
- **2024-01**: 发现GPTQ量化模型的完美对齐特性