极客前沿

AI 入门:本地跑大模型,一步步装好 Ollama 并跑通

2026-06-20 01:32
DEV Ollama
查看原文

从零开始安装 Ollama,下载模型,第一次在本地运行大语言模型,适合完全没接触过 AI 的新手。

准备环境:你需要什么

首先,你需要一台电脑(Windows、macOS 或 Linux 都可以)。大模型对 显存(显卡上专门存数据的内存)要求比较高,但别担心——我们先用小模型入门,8GB 显存就够了。如果你用的是苹果 M 系列芯片的 Mac,统一内存 8GB 以上也可以。

Tutorial Image

安装步骤:下载 Ollama

  1. 打开浏览器,访问 Ollama(一个让你在本地运行大模型的工具)的官网:https://ollama.com
  2. 点击“Download”,选择你电脑对应的系统(Windows/macOS/Linux),下载安装包。
  3. 双击安装包,一路点“下一步”完成安装。Windows 用户可能会遇到安全提示,点击“仍要运行”即可。
  4. 安装完成后,打开终端(Windows 用“命令提示符”或“PowerShell”,Mac 用“终端”),输入 ollama --version,如果显示版本号,说明安装成功。

第一次跑模型:下载并运行

  1. 在终端里输入以下命令,下载一个最小的模型(Qwen2.5:0.5b,只有 0.5B 参数,显存需求极低):
    ollama pull qwen2.5:0.5b
  2. 下载完成后,输入 ollama run qwen2.5:0.5b 启动模型。稍等几秒,你会看到 >>> 提示符,表示模型已经准备好。
  3. 输入一句话,比如“你好,请介绍一下自己”,模型就会回复你。恭喜!你已经成功在本地运行了大模型。

常见坑提醒:如果下载很慢,可以尝试挂代理;如果提示内存不足,可以换更小的模型,比如 qwen2.5:0.5bllama3.2:1b

下一步可以做什么

  • 试试其他模型:在 Ollama 模型库 里搜索,用 ollama pull 模型名 下载,然后 ollama run 模型名 运行。
  • 了解 量化(一种压缩模型、减少显存占用的技术):在模型名后加 :q4_k_m 可以下载量化版本,比如 ollama pull llama3.2:3b-q4_k_m
  • 用图形界面 Open WebUI:安装后可以在网页上像 ChatGPT 一样聊天,无需命令行。

内容来源

DEV Ollama

发布时间

2026-06-20 01:32

返回 AI技术