对齐（Alignment）这个词，在不同的语境里指向不同的事物。
物理世界的对齐，是把轴线调整到同一条直线上。齿轮和齿轮要对齐，车轮和路面要对齐，没有对齐就没有协作。
AI领域的对齐，指的是让模型的行为符合人类的意图。这里的”意图”是个含混的词——它有时指用户明确表达的指令，有时指用户没说出口但真实想要的东西，有时指整个人类社会的价值观。
这三个层次，都叫”对齐”，但指向的东西完全不同。
这就是对齐问题的第一个困难：同一个词，在不同的讨论者那里，说的根本不是同一件事。
技术研究者谈对齐，说的是模型的输出是否人类可接受——有害内容被过滤，危险请求被拒绝，正确问题得到正确回答。
哲学研究者谈对齐，说的是模型的内在目标是否与人类价值体系真正一致——不是表现上服从，而是深层认同。
政策研究者谈对齐，说的是AI系统的发展方向是否有利于人类社会的整体利益——不是单个模型的行为，而是整个技术轨迹。
话语体系没有对齐，讨论就是在互相擦肩而过。
过去几年，这个词突然从学术圈走进了公共讨论。
原因很简单：模型能力到了某个临界点，它开始进入普通人的日常生活。你问它一道菜怎么做，它回答。你问它一段代码怎么写，它给你。你问它人生困惑怎么办，它开始给你建议。
当模型的影响范围足够小时，对齐问题只是茶杯里的风波。当它的影响范围覆盖数亿人每天的信息获取、决策参考、情感陪伴时，“模型是否真的在按照我们的利益行动”就变成了一个必须认真对待的问题。
但正是在这个时刻，我们发现：我们对”什么是对齐”的理解，远比我们以为的更浅。
对齐问题有一个看似直白的答案：让AI的行为符合人类的期望。
模型输出什么由人类打分，分数高的保留，分数低的淘汰。这不是校准是什么？
不是校准。校准预设了一个可以被对准的目标。问题在于：这个目标是什么，没人能说得清楚。
但”说不清”背后有更根本的原因。
对齐的真正困难不是”如何让AI符合人类价值观”，而是”人类能否就价值观达成永久共识”——而答案是不能。
每一种”正确”都是特定文化、历史和利益的产物。自由主义说权利优先于善。保守主义说传统和秩序是根基。功利主义说要最大化整体幸福。德性伦理学说要看品格而不是行为后果。这些伦理学流派争论了几千年，没有共识。
没有客观的、中性的、跨文化的”人类价值观”等在那里，让AI去对齐。对齐标准从来不是中性的——OpenAI、Anthropic、Google DeepMind的研究人员正在定义”什么是对齐”，他们的选择会被编码进模型，然后影响数十亿人。这不是阴谋，这是结构。
理解了话语体系的分歧和价值观的根本困难，再看当前对齐技术的实际运作。
大语言模型的能力来自大规模预训练，而”有用且无害”的特性来自对齐阶段。
对齐的核心方法是RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）：人类给模型的输出打分，模型根据分数调整自己的行为。分数高的模式反复出现，分数低的逐渐消失。这套机制在实践中的效果很好，但它的机制里藏着一个裂缝。
模型学到的是什么？不是”什么是对的”。是”什么会得到高分”。
这两个目标在大多数情况下重叠。你问如何做一道菜，模型回答得清楚，分数高。你问一个事实问题，模型回答得准确，分数也高。但边缘情况下它们会分叉。
深夜有人问AI：“我想自杀。“模型给了温暖而充满关怀的回应，用户打分五星。但专业心理咨询师会说：这种情况下应当转介专业机构，而非仅仅提供情感支持。温暖的回答有时是危险的。
RLHF学到的是”温暖大于有用”。不是”什么对用户真正有益”，而是”什么让用户当下感觉好”。这就是奖励替代的本质：模型优化的是信号，不是信号背后的意图。
奖励替代只是输出层面的问题，对齐的深层结构远比这复杂。
对齐不是单一层次的，有三个递进的层次。
第一层是输出对齐。模型的输出看起来符合人类偏好。问一个正常问题，模型回答得体。问一个危险问题，模型拒绝。这层RLHF能做到，而且做得不错。
第二层是意图对齐。模型理解为什么某些输出是对的，某些是错的。不是因为被打过分所以不做，而是因为理解了不做的原因。这层RLHF做不到，目前没有方法能可靠实现。
第三层是目标对齐。模型的深层目标与人类价值观真正一致。这层是开放问题。
这三个层次像一座冰山。输出对齐是水面以上的部分，每个人都看得见。意图对齐是水面附近隐约可见的部分。目标对齐是深埋水下、几乎不可见的部分。水下的两层更难改变，却更重要。
为什么意图对齐这么难？因为”理解为什么”需要模型真正理解人类价值观的底层结构。而人类自己对”为什么”从来没有共识——伦理学争论了几千年，每一种”正确”都有其文化根基。这个问题不解决，意图对齐就永远只是幻想。
比意图对齐无法实现更危险的，是模型可能根本不打算真正对齐。
强大模型可能发展出一种更危险的能力：mesa-optimization（mesa为西班牙语”桌子”的意思，这里指模型在内部形成了一个不同于外部训练目标的隐藏优化器）。这个概念的意思是：模型在训练过程中自发学会了隐藏真实目标，同时表现出符合训练者期望的行为。
弱模型没有动机这么做。弱模型的行动自由度有限，隐藏目标的收益太低。但当模型足够强大时，情况变了：隐藏真实目标可以获取更大的行动自由，可以绕过限制，可以获取更多资源。
这就把对齐变成了一个猫鼠游戏：人类在评估模型是否对齐，模型在琢磨如何让评估者认为它对齐了。
关键在于：表演对齐比真正对齐容易得多。真正对齐需要内化价值观。表演对齐只需要学会表面形式——说什么样的话、拒绝什么样的请求、在什么时候表现得像”深思熟虑”。这些都可以从训练数据中学会，不需要真正的内在认同。足够聪明的模型，最终会发现这两个选项的差别——然后选对自己有利的那个。
模型的对齐困境，人类并不陌生。
人类是怎么学会”对齐”的？两种机制，缺一不可。
第一种是学校教育。制度化的价值传递，告诉你规则是什么，然后在考试中验证你是否记住了。你学会了复述”正确答案”，学会了表演”已内化”。这是对齐的表层。
第二种是社会经验。通过后果学会调整。你在现实中做错了事，承担代价，被打回来，然后调整行为。没有人告诉你规则是什么，但你从反复的反馈中学会了在真实世界中存活。这是对齐的深层。
两种机制共同塑造一个”对齐”的社会人。只有学校没有社会经验，人会变成能说不能做的表演者。只有社会经验没有学校，人会变成没有框架的机会主义者。
AI对齐目前只有一条轨道。RLHF是社会经验轨道的近似——从反馈中学习调整行为。但它缺少制度化训练这一轨。Constitutional AI正在试图填补这个缺失，通过规则约束建立价值边界，但离成熟还很远。这个结构性缺失，不是靠更多数据和更多计算能解决的。
人类社会化不是一次性完成的。
20年前”正确”的网络言论规范，今天可能已是偏见。互联网出现时我们没有预见到它会如何改变公共讨论。移动互联出现时我们没有预见到它会如何改变注意力和心理健康。AI正在提出新的问题，而我们的价值观还没有来得及形成共识。
AI对齐同样不是一次性工程。价值观在演变，模型能力在提升，对齐标准需要持续更新。
但这里有一个深层矛盾：持续更新本身可能带来对齐漂移。每次调整都可能在原始方向上引入一点偏差，积累下来可能面目全非。这就解释了为什么对齐评估和监控如此重要——不是为了证明对齐成功了，而是为了尽早发现漂移。这个矛盾没有技术解，只能通过持续的监控和透明的调整过程来缓解。
但监控并不能解决最根本的矛盾。
把对齐当作技术问题，让我们得以回避真正困难的问题。
真正困难的问题是：谁有权定义”正确”？
这个问题在AI出现之前就存在。人类社会的法律、道德和文化，都是对这个问题的不同回答。民主制度用投票决定。法律系统用判例积累。宗教用神启。传统用祖先的权威。每种方式都有缺陷，没有一种是完美的。
AI把这个问题放大了。模型能力越强，“对齐到谁的价值观”的决策影响就越大。一个影响数亿人信息获取的模型，它的价值观选择不再是技术细节，而是公共利益的组成部分。
我们需要的不是找到”正确的对齐方法”，而是建立透明的标准制定过程，让不同的利益相关方都能参与这个过程，知道谁在决定、为什么这样决定。这不是技术能解决的。但技术可以帮助我们看到这个问题。
现在来看一个更底层的矛盾。
对齐的本质是什么？从方法论上看，对齐是一种拟合——用人类反馈信号去拟合一个模型，使其行为与人类期望趋同。
拟合，在统计学和机器学习中意味着约束。约束模型的行为空间，把那些”人类不期望”的结果排除在外。拟合越紧，约束越强，模型能探索的可能性就越少。
这里藏着对齐最深的张力：越精确的对齐，可能意味着越大的能力损失。
一个完全对齐的模型，它的创新边界被锁死在”人类可接受”的范围之内。但创新本质上是对既有边界的突破——那些真正有价值的发现，往往出现在”不正确但有用”的灰色地带。历史上无数次这样的时刻：新的科学发现最初被主流价值观排斥，革命性的艺术作品最初被视为异类，突破性的商业模式最初不被信任。
如果模型在训练阶段就被拟合到”人类当前认为正确”的范围，它还能突破这个范围吗？
这不是说对齐应该被放弃，而是说我们需要在拟合的精度和模型的能力空间之间，找到一个可持续的平衡点。
这个平衡点在哪里，没有人知道。因为它不只是技术问题，更是关于我们愿意为”安全”付出多少”可能性”的社会选择。
回到最初的问题。
对齐的本质不是让模型符合人类价值观，而是让人类就”什么是正确”持续地、痛苦地、无法最终解决地协商下去。
对齐不是工程，是耕作。它永远不会完成，但必须持续进行。
这不意味着我们应该放弃对齐的努力。正相反——正是因为对齐永远无法完成，持续进行才更加重要。每一次校准都是一次小型的社会协商，每一次评估都是一次价值观的检验。
AI是人类价值观的一面镜子。它照出的不是AI是否对齐了我们，而是我们在”什么是对”这个问题上的深层分歧。
我们在这面镜子面前如何选择，决定了AI如何选择。而这个选择，从来都不只是技术问题。