一行命令在本地跑开源大模型,Ollama 从安装到跑通第一个模型的完整入门。
Ollama 是一个开源工具,专门用来在自己的电脑上跑开源大模型。它最大的卖点是把原本很折腾的本地部署,简化成了基本一行命令的事——你不用自己配一堆环境、下一堆依赖,Ollama 帮你把这些都打包好了。想在本地跑 Llama、Mistral、DeepSeek 这类主流开源模型,它是目前最省心的入口之一。
它跨平台,Windows、Mac、Linux 都能装,还提供本地 REST API,方便你把本地模型接进自己的程序里。对想要数据不出本地、又不想被复杂部署劝退的人,Ollama 是很好的起点。
Ollama 有三块核心。一是模型库,主流开源模型它基本都收录了,你想跑哪个,按名字拉取即可,不用自己满世界找权重。二是本地 REST API,Ollama 跑起来后会在本地起一个服务,你的程序可以像调用普通 API 一样调用本地模型,这让它很容易嵌进开发流程。三是跨平台,三大系统都支持,换设备也不用换工具。
用法上,它是命令行驱动的:装好 Ollama,用命令拉一个模型,再用命令跑起来对话,整个过程简洁直接。
建议这样起步。先去装好 Ollama,三大系统都有对应版本,装完它就在后台准备好了。接着选一个适合你硬件的模型——机器一般的话先挑个小尺寸模型,拉取下来。然后用一行命令把模型跑起来,直接在命令行里和它对话,感受本地模型的速度和效果。
跑通基础对话后,如果你会写程序,可以试着调用它的本地 REST API,把模型接进自己的小工具里。这一步打通,你就拥有了一个完全在本地、数据不出门的 AI 能力。
Ollama 最适合几类人。一是想在本地玩开源模型、又不想折腾部署的开发者和爱好者。二是注重数据隐私、要求推理完全在本地完成的场景。三是想把本地模型接进自己程序、做点小工具或原型的人,REST API 让这件事很顺。
如果你完全不碰命令行、又只想随手聊两句,那 Ollama 的 CLI 门槛对你来说没必要,现成的对话产品更轻松。
Ollama 本身开源免费,工具不收钱,跑的开源模型也免费。它的真实成本在硬件——本地推理吃的是你自己的 CPU 和显卡,模型越大对配置要求越高。所以这是「软件免费、算力自付」的模式。对想要数据本地化、长期使用的人,这笔账很划算;对只想偶尔用一下的人,先用小模型在现有机器上试,不必为它专门升级硬件。