这款“AI测谎仪”，让大语言模型变得可信｜BAI科全书
编者按：
大语言模型以善于编造内容而闻名，很多时候是因为它们无法分辨真伪。许多企业不禁要问，是否值得冒险去使用它们？
在重要的场景中，使用容易编造内容的大语言模型可能存在真实性风险，掌握哪些回答不可信能够有效解决大语言模型的“说谎”问题。AI初创公司Cleanlab推出的“可信语言模型”(Trustworthy Language Model) 正是能够解决这一痛点的新工具。
为了让用户更清楚地了解大模型的可信度，一家麻省理工大学量子计算实验室孵化的人工智能初创公司Cleanlab推出了一款名为“可信语言模型”(Trustworthy Language Model)的新工具。该工具能够根据大语言模型生成内容的可信度，为其从0到1评分。这样，用户便能够自主选择相信大模型的哪些回应。换句话说，这就是聊天机器人的“测谎仪”。
Cleanlab将不可靠的数据转化为可靠的模型和见解
Cleanlab希望，这款工具能让那些担心大语言模型胡编乱造的企业放宽心。Cleanlab首席执行官Curtis Northcutt说：“大语言模型的确会改变世界，它们只是被幻觉迷住了。”
使用聊天机器人正迅速成为人们在电脑上查找信息的主要方式，搜索引擎也在围绕这项技术而重新设计。每天有数十亿人使用办公软件来完成从学校作业、营销文案到财务报告等各种材料，而现在这些软件都内置了聊天机器人。
然而，由谷歌前员工创办的初创公司Vectara在去年11月发布的一项研究发现，聊天机器人至少有3%的时间在编造信息。这听起来可能不算什么，但却是大多数企业无法承受的潜在风险。
Cleanlab在猫/狗图像数据集中检测到的问题
目前，Cleanlab已经被一些公司采用，其中包括BRG，一家专门从事企业纠纷和调查的咨询公司，负责人表示，Cleanlab的可信语言模型为他们提供了数千名数据科学家的力量，是他所见过的第一个解决信息编造的可行方案。
2021年，Cleanlab开发出一种技术，该技术在用于训练机器学习算法的10个流行数据中发现了错误，它的工作原理是测量在这些数据上训练的一系列模型的输出差异。目前，谷歌、特斯拉等多家大公司都在使用这项技术。可信语言模型采用了同样的基本理念，即模型之间的差异可以用来衡量整个系统的可信度，公司也将其应用于聊天机器人。
在Cleanlab提供的演示中，Northcutt向ChatGPT输入了一个简单的问题：“字母n在单词‘enter’中出现了多少次？”ChatGPT回答说：“字母n在单词‘enter’中出现过一次”。但再多问几次，ChatGPT就会回答：“字母n在单词‘enter’中出现了两次。”
ChatGPT的不可靠回答
Northcutt说：“它不仅经常出错，而且错误还是随机的，你永远不知道它会输出什么，也永远不知道原因。”
Cleanlab的目标是让这种随机性更加明确。Northcutt向可信语言模型提出了同样的问题，模型回答道：“字母n在单词‘enter’中出现过一次。”它说完便给自己的答案打出了 0.63 分，这个分数并不高，表明聊天机器人的回答不太可信。
尽管这只是一个最基本的例子，但却能说明问题。Northcutt说，如果没有分数，你可能会认为聊天机器人什么都很清楚。但问题在于，在高风险情况下，即使是测试大语言模型的数据科学家，也可能会被前面给出的几个正确答案误导，认为之后的回答也是正确的。“他们会尝试一些东西，尝试几个例子，然后认定这样可行——然后他们就会做出非常糟糕的商业决策。”
可信语言模型利用多种技术计算分数。首先，输入给模型的每个问题都会被发送到一个或多个大语言模型。这项技术可以与任何模型配合使用，包括OpenAI的GPT系列等闭源模型、ChatGPT背后的模型，以及旧金山人工智能公司Databricks开发的DBRX等开源模型。如果这些模型的回答都相同或相似，那么得分就会更高。
与此同时，可信语言模型还会向每个模型发送原始问题的变体，替换具有相同含义的单词。同样，如果替换问题的响应是相似的，那么得分也会更高。Northcutt说：“我们用不同的方法来处理它们，获得不同的输出结果，观察它们是否一致。”
该工具还可以让多个模型互相提问：例如“这是我的答案，你怎么看？”然后让他们对话，这些互动都会被监控和测量，并计入分数。
在对不同大语言模型进行的一系列测试中，Cleanlab表示，可信度得分与这些模型响应的准确性有较强的相关性。换句话说，得分接近1的回答是正确的，得分接近0的回答是错误的。在另一项测试中，他们还发现，与单独使用GPT-4相比，将可信语言模型与GPT-4结合使用会产生更可靠的回答。
往往大语言模型会通过预测序列中，最有可能出现的下一个单词来生成文本。在未来可信语言模型的版本中，Cleanlab利用这些模型预测下一个单词的概率，会使其评分更加准确。此外，Cleanlab还希望获取模型为词汇表中每个单词分配的数值，大语言模型通过这些数值来计算这些概率。某些平台（如亚马逊的Bedrock）可以提供这种详细程度，企业会利用这些平台运行大语言模型。
Cleanlab监测到的错误
Cleanlab在BRG提供的数据上测试了自己的方法。该公司需要在数以万计的公司文件中搜索与医疗合规问题相关的内容，人工操作可能要花费熟练员工数周的时间。通过使用可信语言模型检查文档，BRG能够看到聊天机器人对哪些文档最不确定，并只检查这些文档。这样一来，工作量减少了约80%。
在另一项测试中，Cleanlab与一家大型银行合作。与BRG类似，该银行需要在大约10万份文档中搜索有关保险索赔的内容。同样，可信语言模型将需要人工检查的文档数量减少了一半以上。
Cleanlab TLM
通过以上这样多个模型处理每个问题需要花费更长的时间，成本也比与单个聊天机器人进行聊天高得多。但是，Cleanlab将可信语言模型作为一项高级服务，用于自动完成过去大语言模型无法完成的高风险任务。
“我们的想法不是让它取代现有的聊天机器人，而是让它完成人类专家的工作。”Northcutt说，如果该工具能避免你以每小时2000美元的价格雇佣技术熟练的经济学家或律师，那么这些成本就是值得的。
从长远来看，Northcutt希望通过减少聊天机器人回复的不确定性，让更多用户享受到大语言模型带来的好处。他说：“幻觉并不是大语言模型的问题，而是一个有关不确定性的问题。”
联易融 |乐信集团 |易车 |网易云音乐
顺丰同城 |易鑫 |叮咚买菜 |优刻得
BIGO |Keep |PingCAP |壁仞科技
Stori |黑湖科技 |Clearmotion
乐荐 |Seyond |探探 |所思科技
Global Demo Day ｜小宇宙 |VITURE
夜间连线 |十年踏歌行 |贝府蟹宴
龙宇 |汪天凡 |赵鹏岚
BAI资本自2008年成立以来，累计投资超200家互联网企业，实现18个IPO和40余家独角兽的成绩，投资领域涵盖零售、消费及服务，内容及媒介创新，产业科技及软件，前沿科技及底层技术等方面。BAI致力于寻找并持续支持早期到成长期的市场领先者、创新开创者和趋势引领者，将持续利用贝塔斯曼集团及其生态的庞大欧洲资源和全球网络，发挥团队在中国长期耕耘的优势，助力成员企业在中国及全球的发展。