极客前沿

新手必看:本地AI入门,选显卡+装Ollama一步步

2026-07-28 01:32
DEV Ollama
查看原文

零基础学会选预算显卡、安装Ollama、跑通第一个本地大模型,体验AI聊天。

想在自己电脑上跑AI大模型(比如ChatGPT那样的对话机器人),其实比想象中简单。你只需要一块合适的显卡,再装个叫Ollama的免费工具(一个让你在本地运行大模型的软件),就能跟AI聊天了。下面一步步来。

第一步:选对显卡(预算版)

跑AI模型最关键的硬件是显卡的显存(显卡自带的内存,用来存放模型数据)。显存越大,能跑的模型越强。

  • RTX 3060 12GB(二手约200美元):入门首选,能跑7B(70亿参数)模型,例如Llama 2 7B,聊起天来流畅。注意:跑13B模型会有点吃力,上下文不能太长。
  • RTX 4060 Ti 16GB(约400美元):预算充足时的最佳选择,13B模型也能舒服跑,上下文空间更足。
  • RTX 3090 24GB(二手约900美元):一步到位,能跑70B大模型,但功耗高(350W),需要大电源和好散热。

简单说:新手先看显存,12GB起步,16GB更稳。NVIDIA显卡用Ollama最省心,装好就能用。

第二步:安装Ollama(只需3步)

  1. Ollama官网(ollama.com)下载对应你操作系统的安装包(Windows、macOS、Linux都有)。
  2. 双击安装,一路点“下一步”就行。装好后,命令行里输入 ollama --version 看到版本号就成功了。
  3. (可选)如果想用图形界面,可以装Open WebUI(一个美观的网页聊天界面),但新手先跑通命令行就行。

第三步:跑通第一个模型(5分钟搞定)

  1. 打开终端(Windows叫命令提示符或PowerShell,Mac叫终端)。
  2. 输入 ollama run llama3.2:1b 并回车。这会自动下载一个1B参数的轻量模型(约1GB),下载完成后直接进入聊天模式。
  3. 输入你的第一句话,比如“你好,介绍一下自己”,AI就会回复你。按 Ctrl+D 退出。

常见坑提醒:如果下载很慢,可以设置国内镜像(搜索“Ollama 国内镜像”有教程)。如果报错“CUDA error”,说明显卡驱动太旧,去NVIDIA官网更新驱动。

下一步能做什么

  • 换更大模型:比如 ollama run llama3.2:3bollama run qwen2.5:7b(中文模型)。
  • 用Open WebUI:装Docker后一键部署,获得类似ChatGPT的网页界面。
  • 自己微调模型:等玩熟了再学,新手先享受聊天吧。

你现在已经成功跑通了本地AI!从选显卡到装Ollama,再到第一次对话,整个过程不超过半小时。接下来可以多试试不同模型,感受它们的区别。

内容来源

DEV Ollama

发布时间

2026-07-28 01:32

返回 AI技术