Spaces:

---

Qwen

/

README

like 3

Running

Hi everyone! Recently I’ve been delving into the Qwen3 model — it’s really impressive. I want to deploy it on my Mac(Mac14,12, 16GB ) for inference, because I like the benefits: more privacy, lower latency, no cloud dependence.

I’ve looked through MLX community, Lama community, etc., and while there are some materials, I couldn’t find anything that walks through deployment from zero in a way suitable for total beginners.

So I’m wondering if anyone has good resources or tutorials to share (English is totally fine), ideally covering:

Support for Apple Silicon Macs (M1, M2, M3)

Which model to pick (4B, 8B, or quantized versions)

Hardware requirements (RAM, disk space, GPU vs CPU)

Environment setup (Python, PyTorch, Transformers, tools like Ollama, vLLM, etc.)

How to deploy + run inference + example via CLI or API
大家好！
我最近在研究 Qwen3 模型，觉得它真的很不错。我想在 我的 Mac mini (Mac14,12, 16GB 内存) 上部署它用于本地推理（inference），因为这样隐私好、延迟低、不依赖云服务。

我查了很多 MLX community、Llama.cpp 的社区，发现倒是有一些资料，但几乎没有一个是针对「从零开始、完全不熟悉部署流程」的新手写的。

所以想请问大家有没有好的资源／教程推荐（英文也可以），最好能包括：
• Mac 上对 Apple Silicon 的支持情况（M1/M2/M3）
• 模型的选择（比如 4B／8B／量化版本）
• 所需硬件／RAM／磁盘空间要求 —— 我目前是 16GB 内存的 Mac mini
• 环境搭建步骤（Python／PyTorch／Transformers／Ollama／vLLM 等工具）
• 部署＋运行推理 + API 或命令行示例
• 性能调优／量化／常见问题解决