信息：ChatGPT的黑暗面

神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按： ChatGPT 的出现让很多人感到兴奋，再次升级的 GPT-4 更是让人对此类 AI 聊天机器人的未来浮想联翩。但围绕它的并非都是彩虹和阳光，也有阴暗面。与大型语言模型相关的风险和伦理问题不容忽视。本文来自编译，希望对您有所启发。

(资料图片)

如果你还没有听说过 ChatGPT，那么你的消息就太闭塞了。这款“病毒式”聊天机器人被用于文本生成等自然语言处理任务，它正在各地的新闻中走红。

ChatGPT 是一种使用深度学习生成文本的自回归语言模型。它在各个领域都能提供详细的答案，让用户惊叹不已，这些答案非常令人信服，以至于很难判断它们是否是人类写的。ChatGPT 建立在 OpenAI 的 GPT-3（最新版本 GPT-4 已于 3 月 14 日推出）大型语言模型（LLMs）之上，于 2022 年 11 月 30 日推出。它是最大的 LLMs 之一，可以写出有说服力的文章和诗歌，生成可用的代码，并从文本描述中生成图表，而且所有这些都是在有限的、甚至没有监督的情况下进行的。ChatGPT 给出的答案非常好，是无处不在的谷歌搜索引擎的潜在竞争对手。

大型语言模型确实非常之大，它们是在大量的文本数据上进行训练的，这些文本数据可以达到 PB 级，并具有数十亿个参数。由此产生的多层神经网络通常大小为几个 TB。围绕 ChatGPT 和其他大型语言模型的炒作和媒体关注是可以理解的，它们确实是人类聪明才智非凡发展的体现。这些大型模型有时会以意外的行为让这些模型的开发人员感到惊讶。例如，GPT-3 的答案通过在“提示”的开头使用某些“神奇”的短语来得到改进，比如“让我们一步一步地思考”。这些意外行为表明他们的模型非常复杂，同时缺乏可解释性，甚至让开发者开始思考这些模型是否已具有感知能力。

在所有这些对大型语言模型的积极言论和炒作的同时，负责任的人工智能领域研究者也发出了一个较小的、强有力的警告。值得注意的是，在 2021 年，研究“尽责人工智能”（Responsible AI）的杰出研究员蒂米特·格布鲁（Timit Gebru）发表了一篇论文，警告了许多与大型语言模型相关的道德问题，最终导致她被谷歌解雇。这些警告涵盖了广泛的问题：缺乏可解释性、抄袭、隐私、偏见、模型稳健性及其对环境的影响。让我们深入探讨一下这些主题。

深度学习模型，特别是 LLM，已经变得非常庞大和不透明，甚至模型开发人员也经常无法理解为什么其模型会做出某些预测。这种可解释性的缺乏是一个重要的问题，特别是在用户想知道模型为什么、以及如何生成特定输出的情况下。

我们的首席执行官克里希纳·盖德（Krishna Gade）使用 ChatGPT 让 AI 以约翰·济慈的风格创作了一首诗，坦率地说，我认为结果相当不错。

盖德正确地指出，围绕着“模型如何得出这个输出结果”的透明度是缺乏的。对于 LLMs 制作的作品来说，输出所使用的数据来源缺乏透明度，这意味着 ChatGPT 提供的答案不可能被正确引用，因此用户不可能验证或信任其输出。这已经导致 ChatGPT 所创建的答案在 Stack Overflow 等论坛上是被禁止使用的。

当使用 OpenAI 的嵌入模型（Embedding Model），或者在模型用于高风险决策的情况下，透明度和对模型如何得到输出的理解变得尤为重要。例如，如果有人要使用 ChatGPT 来获得急救说明，那么用户需要知道答案是可靠的、准确的，并且来自值得信赖的来源。虽然存在各种事后解释模型选择的方法，但在部署模型时，这些解释经常被忽略。

在假新闻和错误信息泛滥的时代，这种缺乏透明度和可信度的后果尤其令人不安，LLM 可能会被精心调整，以传播错误信息，从而威胁人类社会。虽然 Open AI 正在研究各种方法来识别其模型的输出，但这些“尽责人工智能”解决方案速度不够快，而且可能也还不够。

我们很难追溯一篇精心制作的 ChatGPT 文章的起源，这就导致了抄袭问题。但这真的是个问题吗？笔者并不这么认为。在 ChatGPT 出现之前，学生们已经可以使用代写服务了，而且一直有一小部分学生会作弊。但是，对于 ChatGPT 会把孩子们都变成无脑抄袭的作弊者的担忧，一直是许多教育工作者最关心的问题，并导致一些学区禁止使用 ChatGPT。

关于抄袭可能性的讨论，会使人们忽视与 LLM 相关的更大、更重要的道德问题。鉴于这个话题已经有很多人在讨论了，所以我不能不提一下。

如果大型语言模型处理了敏感数据，那么它将面临数据隐私泄露的风险。大型语言模型的训练集来自一系列数据，有时包括个人身份信息，比如姓名、电子邮件、电话号码、地址、医疗信息等等，因此，这些内容都可能出现在模型的输出结果中。虽然这对于任何用敏感数据训练的模型来说都是一个问题，但考虑到LLM的训练集数量之大，这个问题可能会影响很多人。

如前所述，这些模型是在庞大的数据库上进行训练的。当数据训练集过大时，就会变得非常难以审计，因此本身就有风险。该数据包含社会和历史偏见，因此，如果没有采取保障措施，在此基础上训练的任何模型都可能重现这些偏差。许多流行的语言模式被发现含有偏见，这可能导致偏见思想的进一步传播，并使对某些群体的伤害持续下去。GPT-3 显示出常见的性别刻板印象，比如将女性与家庭和外貌联系在一起，并将她们描述为不如男性角色强大。可悲的是，它还将穆斯林与暴力联系在一起，对含有“穆斯林”一词的提示的回复中，有三分之二的内容提到了暴力。很可能还有更多有偏见的联想存在，并且还没有被发现。

网络上充斥着带有偏见和歧视性的不良言论，虽然 ChatGPT 有一个过滤器来试图避免这类不良语言，但它可能不是万无一失的。OpenAI 付钱给人工标签师，让他们标记出最具辱骂性和最令人不安的言论。但公司却因此面临着批评，因为他们每天只付 2 美元给打标签的工人，而工人们认为自己遭受了深刻的心理伤害。

由于大型语言模型经过预训练，并随后针对特定任务进行了微调，因此它们会产生许多问题和安全风险。值得注意的是，大型语言模型缺乏提供不确定性估计的能力。在不知道模型的置信度（或不确定性）的情况下，我们很难决定什么时候信任模型的输出，什么时候对它持保留态度。这会影响模型在对新任务进行微调时输出良好表现的能力，也会影响其避免过度拟合的能力。可解释的不确定性估计有可能提高模型预测的稳健性。

由于 LLM 的母模型在微调步骤之前具有通用性，所以模型安全性是一个迫在眉睫的问题。模型可能会成为单点故障和攻击的主要目标，从而影响从原始模型派生的任何应用程序。此外，由于缺乏监督式训练，LLM 很容易受到数据毒害，这可能导致针对特定公司、团体或个人的仇恨言论的注入。

LLM 的训练语料库是通过抓取互联网上的各种语言和主题来源创建的，然而它们只是对最有可能访问和频繁使用互联网的人的反映。因此，人工智能生成的语言是同质化的，通常反映的是最富有的人群和国家的做法。当 LLM 被应用于不在训练数据中的语言（如各类小语种）时，则更有可能失败，因此需要进行更多的研究来解决围绕正态分布外数据的问题。

斯特鲁贝尔及其合作者在 2019 年的一篇论文中概述了 LLM 训练生命周期的巨大碳足迹。训练一个具有 2.13 亿个参数的基于神经架构搜索的模型，估计产生的碳排放量是普通汽车寿命周期的 5 倍以上。记住，GPT-3 有 1750 亿个参数，而 GPT-4 据传有 100 万亿个参数。

任何新技术都会带来优点和缺点。我已经概述了与 LLM 相关的许多问题，但我想强调的是，我也对这些模型为每个人带来的新可能性和希望感到兴奋。社会有责任采取适当的保障措施，明智地使用这项新技术。任何用于公共领域或进入公共领域的模型，都需要被监控、被解释和定期审计模型偏差。

译者：Jane