新手必看:本地AI入门,选显卡+装Ollama一步步
零基础学会选预算显卡、安装Ollama、跑通第一个本地大模型,体验AI聊天。
想在自己电脑上跑AI大模型(比如ChatGPT那样的对话机器人),其实比想象中简单。你只需要一块合适的显卡,再装个叫Ollama的免费工具(一个让你在本地运行大模型的软件),就能跟AI聊天了。下面一步步来。
第一步:选对显卡(预算版)
跑AI模型最关键的硬件是显卡的显存(显卡自带的内存,用来存放模型数据)。显存越大,能跑的模型越强。
- RTX 3060 12GB(二手约200美元):入门首选,能跑7B(70亿参数)模型,例如Llama 2 7B,聊起天来流畅。注意:跑13B模型会有点吃力,上下文不能太长。
- RTX 4060 Ti 16GB(约400美元):预算充足时的最佳选择,13B模型也能舒服跑,上下文空间更足。
- RTX 3090 24GB(二手约900美元):一步到位,能跑70B大模型,但功耗高(350W),需要大电源和好散热。
简单说:新手先看显存,12GB起步,16GB更稳。NVIDIA显卡用Ollama最省心,装好就能用。
第二步:安装Ollama(只需3步)
- 去Ollama官网(ollama.com)下载对应你操作系统的安装包(Windows、macOS、Linux都有)。
- 双击安装,一路点“下一步”就行。装好后,命令行里输入
ollama --version看到版本号就成功了。 - (可选)如果想用图形界面,可以装Open WebUI(一个美观的网页聊天界面),但新手先跑通命令行就行。
第三步:跑通第一个模型(5分钟搞定)
- 打开终端(Windows叫命令提示符或PowerShell,Mac叫终端)。
- 输入
ollama run llama3.2:1b并回车。这会自动下载一个1B参数的轻量模型(约1GB),下载完成后直接进入聊天模式。 - 输入你的第一句话,比如“你好,介绍一下自己”,AI就会回复你。按
Ctrl+D退出。
常见坑提醒:如果下载很慢,可以设置国内镜像(搜索“Ollama 国内镜像”有教程)。如果报错“CUDA error”,说明显卡驱动太旧,去NVIDIA官网更新驱动。
下一步能做什么
- 换更大模型:比如
ollama run llama3.2:3b或ollama run qwen2.5:7b(中文模型)。 - 用Open WebUI:装Docker后一键部署,获得类似ChatGPT的网页界面。
- 自己微调模型:等玩熟了再学,新手先享受聊天吧。
你现在已经成功跑通了本地AI!从选显卡到装Ollama,再到第一次对话,整个过程不超过半小时。接下来可以多试试不同模型,感受它们的区别。
内容来源
DEV Ollama
发布时间
2026-07-28 01:32