如果你刚接触AI，可能会听说过GPT-3、ChatGPT这些词。但你有没有想过，为什么早期的GPT-3有时会答非所问，而现在的ChatGPT却更听话？这背后有一个关键概念叫对齐（让AI模型按照人类意图行事）。本文会带你了解对齐的由来，并手把手教你安装环境、运行第一个对齐模型。

1. 认识对齐：为什么模型需要训练才能“听话”

GPT-3虽然强大，但它的目标是预测下一个词，而不是理解你的需求。所以它可能写出流畅但跑题的答案。后来，OpenAI的InstructGPT通过RLHF（基于人类反馈的强化学习）技术，教会模型优先遵循指令。简单说，就是让模型知道“用户说A，我就做A”。

2. 准备你的AI实验环境

你不需要高级硬件，一台普通电脑就行。我们将用Python和Hugging Face的Transformers库来体验一个类似InstructGPT的模型。

• 安装Python（一种编程语言，AI开发最常用）。去官网python.org下载最新版，安装时勾选“Add Python to PATH”。
• 打开终端（Windows按Win+R输入cmd，Mac打开“终端”），输入python --version确认安装成功。
• 安装Transformers库（Hugging Face提供的工具包，让你几行代码就能用AI模型）。在终端输入pip install transformers。
• 安装PyTorch（深度学习框架，驱动模型运行）。去pytorch.org选择你的系统，复制给出的命令并运行。

常见坑：如果pip命令报错，试试pip3或python -m pip install。

3. 运行你的第一个指令跟随模型

我们用Hugging Face上的一个微调模型（类似InstructGPT）来测试。

1. 在终端输入python进入Python交互环境。
2. 逐行输入以下代码（复制粘贴即可）：

from transformers import pipeline
generator = pipeline('text-generation', model='microsoft/DialoGPT-medium')
response = generator("请用一句话介绍AI。", max_length=50)
print(response[0]['generated_text'])

3. 如果看到输出了一段文字，说明成功了！这个模型虽然不如GPT-4，但能展示指令跟随的基本思想。

常见坑：第一次运行会下载模型（约几百MB），请保持网络畅通。如果内存不足，可以换小模型如distilgpt2。

4. 下一步可以做什么

你已经跑通了第一个AI模型！接下来可以：

• 尝试不同的提示词，比如“写一首关于猫的诗”。
• 学习微调（在自己数据上训练模型），参考Hugging Face官方教程。
• 了解RLHF的完整流程：收集人类反馈→训练奖励模型→用强化学习优化。

记住，从GPT-3到InstructGPT的转变告诉我们：AI不仅要聪明，更要可靠。你现在已经站在了这个领域的起点上。