本地AI入门:装Ollama、跑大模型,不花一分钱
手把手教你安装Ollama,下载并运行开源大模型,在本地搭建AI助理,无需API密钥和云服务。
想玩AI但又不想把数据上传到云端?本地运行大模型其实不难,一个叫Ollama的工具(可以理解成“大模型管家”,负责下载、运行和调用模型)就能搞定。下面从零开始,一步步带你装好并用起来。
1. 准备环境
- 硬件要求:至少8GB内存,如果电脑有独立显卡(NVIDIA)效果更好。没有显卡也能跑,只是慢一些。
- 操作系统:Windows、macOS、Linux都支持。
2. 安装Ollama
- 打开浏览器,访问 Ollama官网(ollama.com),点击“Download”。
- 根据你的系统下载对应安装包(Windows选.exe,macOS选.dmg,Linux按终端命令)。
- 双击安装,一路默认下一步即可。装好后在终端(命令提示符或PowerShell)输入
ollama --version,看到版本号就说明成功了。
3. 下载并运行第一个模型
- 在终端输入:
ollama pull qwen3:8b,这是阿里推出的一个8B参数的开源模型,适合入门。下载需要几分钟到十几分钟,取决于网速。 - 下载完成后,输入
ollama run qwen3:8b,模型就会加载并进入对话模式。你可以直接打字跟它聊天了!输入/exit退出。
常见坑:如果下载失败,检查网络是否稳定,或者换个模型(比如 llama3.2:3b 更小更快)。
4. 验证是否成功
- 运行模型后,问它“1+1等于几”,看看回答是否正确。如果正常返回,说明一切OK。
- 另外,Ollama默认在本地开启一个API服务(地址:
http://localhost:11434),你可以用浏览器访问这个地址,看到“Ollama is running”就证明服务在运行。
5. 下一步可以做什么
- 试试其他模型:在Ollama官网的模型库(ollama.com/library)里有很多选择,用
ollama pull 模型名下载即可。 - 结合LangChain(一个AI开发框架)搭建本地知识库:把你的文档喂给模型,让它能回答你私有的内容。
- 在VS Code里安装Continue插件,连接本地Ollama,实现代码补全和问答。
本地AI没有云费用,数据不出门,适合学习、实验和隐私敏感场景。现在就去试试吧!
内容来源
DEV Ollama
发布时间
2026-06-18 01:32