| # MiniCPM4-0.5B RKLLM Models Test Repository | |
| 这是一个测试仓库，用于存储和管理MiniCPM4-0.5B的RKLLM模型文件。 | |
| ## 📋 模型列表 | |
| ### 🎯 推荐模型：GPTQ版本 | |
| - **文件名**: `MiniCPM4-0.5B-QAT-Int4-GPTQ-format_w4a16_g32_RK3576.rkllm` | |
| - **大小**: 471MB | |
| - **特点**: 完美支持embedding输入 | |
| - **测试结果**: 余弦相似度 1.0，Top-50重叠率 100% | |
| ### ⚠️ 限制模型：Per-Channel版本 | |
| - **文件名**: `Minicpm4-0.5B-QAT-Int4-perChannel_w4a16_RK3576.rkllm` | |
| - **大小**: 414MB | |
| - **特点**: 仅推荐token输入 | |
| - **问题**: embedding输入会产生EOS tokens | |
| ### 📊 测试发现 | |
| 我们发现了一个反直觉的现象：**量化模型比原始模型更一致**！ | |
| | 模型类型 | 余弦相似度 | Top-50重叠 | 状态 | | |
| |----------|------------|------------|------| | |
| | GPTQ量化 | 1.0000 | 100% | ✅ 完美 | | |
| | Per-Channel | N/A | N/A | ❌ 产生EOS | | |
| | 原始FP16 | 0.5946 | 7.85% | ⚠️ 不一致 | | |
| ## 🚀 使用方法 | |
| ```bash | |
| # 下载模型 | |
| huggingface-cli download okletsgg/minicpm-rkllm-test | |
| ``` | |
| ## 🔧 硬件要求 | |
| - **硬件**: RK3576 | |
| - **内存**: 建议4GB+ | |
| - **存储**: 根据模型大小预留空间 | |
| ## 📝 更新日志 | |
| - **2024-01**: 完成量化效应对embedding输入影响的测试 | |
| - **2024-01**: 发现GPTQ量化模型的完美对齐特性 |