SmolVLA DexHand Tactile Checkpoints
本仓库存放 SmolVLA DexHand Tactile 项目的可复现实验权重。目标系统为 MuJoCo 中的 RM65 六轴机械臂与 Gaia 五指灵巧手。
发布模型
apple_S2_tactile_regularized_residual_full_vision_300_best_step3000：当前主模型S2V， 普通 300 条数据、共享指尖 MLP、state-token 残差触觉、完整 SigLIP 视觉编码器参与训练。
为了避免团队误用，本仓库只发布当前闭环成功率最高的代表权重；冻结视觉、局部解冻、 prefix-token、纠错数据、无触觉和 800 条数据消融 checkpoint 仍保留在项目归档中，不上传 Hub。
模型结构不能只依据 checkpoint 内的 config.json 判断；触觉融合、视觉训练范围、数据来源、
SHA256 和闭环结果以代码仓库的 configs/artifacts.json 为准。
使用
git clone git@github.com:SCUT-Turing/SmolVLA_Dexhand_tactile.git
cd SmolVLA_Dexhand_tactile
uv sync --locked --python 3.10
./.venv/bin/python scripts/download_hf_artifacts.py \
--model-id apple_S2_tactile_regularized_residual_full_vision_300_best_step3000
HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 ./run infer S2V --scene-index 9 --viewer
仓库已公开，无需 Hugging Face 登录。下载脚本使用 manifest 固定的 Hugging Face commit，避免
main 后续变化破坏复现。
评测边界
当前最好记录为 S2V 在同一份 30 场景开发集上的 17/30；这些场景已经参与 checkpoint
筛选，不能视为无偏最终测试。项目尚未验证真机下发，权重仅用于研究与 MuJoCo 验证。
上游
本项目基于 LeRobot SmolVLA 和 HuggingFaceTB/SmolVLM2-500M-Video-Instruct。使用时还需遵守
上游模型、代码与资产各自的许可条件。