部分内容由ollama,Qwen3.5:9b本地生成

周五晚上9点，我终于拖着疲惫的身体回到家。作为资深极客，我的周末从这一刻才正式开始。我打算搭建一个本地大模型环境，顺便再部署一些本地AI工具。享受离线状态下使用AI的乐趣。

然而，当时钟指向凌晨2点半时，我终于关掉了Terminal，瘫坐在椅子上，陷入了深深的沉思。

一场“优雅”的灾难：从Gemma到Qwen

我的初衷是想部署一些本地大模型，我尝试了Gemma和Qwen两款模型，过程起初还算顺利，直到我开始真正使用它们。

Ollama 的部署脚本看似简单，实则暗藏玄机。最让我抓狂的不是安装过程，而是模型的“抽风”行为。

我随便问了一些问题，他们都陷入了漫长的思考，并且思考过程都是英文。千问更是一直在思考同一个问题，思考链长达50多条还没停止，我只能手动中断。

可能是因为参数量和设备的问题，开思考根本没法用，我只能关闭思考模式。

如果只是生成文章这种简单的任务速度就还好，Qwen3.5:9b的速度能达到20tokens/s，但是如果推理密集一点或者使用Openclaw调用的话速度就会奇慢，甚至有时候3分钟才能回答一个问题。

云端 vs 本地：时代的迷思

当今时代，免费好用的云端大模型已经进化到了令人发指的程度。无论是OpenAI、Google、豆包、千问，各个厂商都推出了自己的大模型，并且大部分可以免费使用，速度快，结果也好。

那么，本地部署大模型还有意义吗？并且本地的参数量也很低，上下文也不行，速度还慢。

如果我们将目光仅仅停留在“替代 API 调用”或“替代APP”上，答案恐怕是否定的。本地部署在响应速度、推理精度、上下文等指标，依然无法与成熟的云端服务相比。那个跑3分钟的简单问答，是对本地部署性价比最无情的嘲讽。

然而，如果我们换一个维度思考，本地部署的意义或许不在于“更好”，而在于“所有”。

1.真正的离线自由：在飞机上、在海边、在断网的地方，云端断连，本地即是终点。这种不依赖网络的确定性，是云端无法提供的安全感。

2.数据的绝对主权：对于医疗、法律等敏感行业，数据不出域是底线。本地部署不仅仅是技术选择，更是伦理和法律的选择。

3.探索与调优的乐趣：虽然部署调试很累，但看着模型从不好用到得心应手，亲手微调以适应特定领域，这种“量体裁衣”的成就感，是使用黑盒API/APP永远无法体验的。

结论

对于绝大多数普通开发者或企业用户，调用API或者日常使用APP就已经足够了，但如果是极客想要从中获得乐趣，本地部署模型完全可以尝试。

周五的夜，终究是属于代码的，但代码写完了，人还是得去睡。晚安。