极客前沿

本地AI入门:装Ollama、跑大模型,不花一分钱

2026-06-18 01:32
DEV Ollama
查看原文

手把手教你安装Ollama,下载并运行开源大模型,在本地搭建AI助理,无需API密钥和云服务。

想玩AI但又不想把数据上传到云端?本地运行大模型其实不难,一个叫Ollama的工具(可以理解成“大模型管家”,负责下载、运行和调用模型)就能搞定。下面从零开始,一步步带你装好并用起来。

Tutorial Image

1. 准备环境

  • 硬件要求:至少8GB内存,如果电脑有独立显卡(NVIDIA)效果更好。没有显卡也能跑,只是慢一些。
  • 操作系统:Windows、macOS、Linux都支持。

2. 安装Ollama

  1. 打开浏览器,访问 Ollama官网(ollama.com),点击“Download”。
  2. 根据你的系统下载对应安装包(Windows选.exe,macOS选.dmg,Linux按终端命令)。
  3. 双击安装,一路默认下一步即可。装好后在终端(命令提示符或PowerShell)输入 ollama --version,看到版本号就说明成功了。

3. 下载并运行第一个模型

  1. 在终端输入:ollama pull qwen3:8b,这是阿里推出的一个8B参数的开源模型,适合入门。下载需要几分钟到十几分钟,取决于网速。
  2. 下载完成后,输入 ollama run qwen3:8b,模型就会加载并进入对话模式。你可以直接打字跟它聊天了!输入 /exit 退出。

常见坑:如果下载失败,检查网络是否稳定,或者换个模型(比如 llama3.2:3b 更小更快)。

4. 验证是否成功

  • 运行模型后,问它“1+1等于几”,看看回答是否正确。如果正常返回,说明一切OK。
  • 另外,Ollama默认在本地开启一个API服务(地址:http://localhost:11434),你可以用浏览器访问这个地址,看到“Ollama is running”就证明服务在运行。

5. 下一步可以做什么

  • 试试其他模型:在Ollama官网的模型库(ollama.com/library)里有很多选择,用 ollama pull 模型名 下载即可。
  • 结合LangChain(一个AI开发框架)搭建本地知识库:把你的文档喂给模型,让它能回答你私有的内容。
  • 在VS Code里安装Continue插件,连接本地Ollama,实现代码补全和问答。

本地AI没有云费用,数据不出门,适合学习、实验和隐私敏感场景。现在就去试试吧!

内容来源

DEV Ollama

发布时间

2026-06-18 01:32

返回 AI技术