AI 入门:本地跑大模型,一步步装好 Ollama 并跑通
从零开始安装 Ollama,下载模型,第一次在本地运行大语言模型,适合完全没接触过 AI 的新手。
准备环境:你需要什么
首先,你需要一台电脑(Windows、macOS 或 Linux 都可以)。大模型对 显存(显卡上专门存数据的内存)要求比较高,但别担心——我们先用小模型入门,8GB 显存就够了。如果你用的是苹果 M 系列芯片的 Mac,统一内存 8GB 以上也可以。
安装步骤:下载 Ollama
- 打开浏览器,访问 Ollama(一个让你在本地运行大模型的工具)的官网:https://ollama.com。
- 点击“Download”,选择你电脑对应的系统(Windows/macOS/Linux),下载安装包。
- 双击安装包,一路点“下一步”完成安装。Windows 用户可能会遇到安全提示,点击“仍要运行”即可。
- 安装完成后,打开终端(Windows 用“命令提示符”或“PowerShell”,Mac 用“终端”),输入
ollama --version,如果显示版本号,说明安装成功。
第一次跑模型:下载并运行
- 在终端里输入以下命令,下载一个最小的模型(Qwen2.5:0.5b,只有 0.5B 参数,显存需求极低):
ollama pull qwen2.5:0.5b - 下载完成后,输入
ollama run qwen2.5:0.5b启动模型。稍等几秒,你会看到>>>提示符,表示模型已经准备好。 - 输入一句话,比如“你好,请介绍一下自己”,模型就会回复你。恭喜!你已经成功在本地运行了大模型。
常见坑提醒:如果下载很慢,可以尝试挂代理;如果提示内存不足,可以换更小的模型,比如 qwen2.5:0.5b 或 llama3.2:1b。
下一步可以做什么
- 试试其他模型:在 Ollama 模型库 里搜索,用
ollama pull 模型名下载,然后ollama run 模型名运行。 - 了解 量化(一种压缩模型、减少显存占用的技术):在模型名后加
:q4_k_m可以下载量化版本,比如ollama pull llama3.2:3b-q4_k_m。 - 用图形界面 Open WebUI:安装后可以在网页上像 ChatGPT 一样聊天,无需命令行。
内容来源
DEV Ollama
发布时间
2026-06-20 01:32