苹果一项名为《计算机使用智能体用户体验设计空间映射》的研究显示,虽然市场在AI智能体开发和评估方面投入巨大,但用户体验的某些方面被忽视了:用户希望如何与智能体交互,以及这些界面应该是什么样子。
研究分为两个阶段
为了探索这一问题,研究团队将研究分为两个阶段:首先,他们识别了AI实验室在现有AI智能体中构建的主要用户体验模式和设计考虑因素。然后,他们通过一种名为"绿野仙踪"的有趣方法,通过实际用户研究测试和完善这些想法。
通过观察这些设计模式在真实用户交互中的表现,他们能够识别出哪些当前AI智能体设计符合用户期望,哪些存在不足。
研究人员调查了九个桌面、移动和基于Web的智能体,然后咨询了"8名在大型科技公司从事用户体验或AI领域的设计师、工程师或研究人员",这帮助他们制作了一个包含四个类别、21个子类别和55个示例功能的综合分类法,涵盖了计算机使用AI智能体背后的关键用户体验考虑因素。
四个主要类别包括:界面让智能体向用户展示计划的方面、如何沟通其能力、显示错误,以及当出现问题时允许用户介入。
用户研究发现关键洞察
掌握了所有这些信息后,他们进入了第二阶段。研究人员招募了20名有AI智能体使用经验的用户,要求他们通过聊天界面与AI智能体交互,执行度假租赁任务或在线购物任务。
有趣的是,用户不知道AI智能体实际上是坐在隔壁房间的研究人员,他们会阅读文本指令并执行所请求的任务。
对于每个任务(度假租赁或在线购物),参与者被要求在AI智能体的帮助下执行六个功能,其中一些智能体会故意失败(比如陷入导航循环)或犯故意错误(比如选择与用户指令不同的内容)。
在每次会话结束时,研究人员要求参与者反思他们的体验,并提出改进交互的功能或变化建议。他们还分析了每次会话的视频录像和聊天记录,以识别用户在与智能体交互时行为、期望和痛点的重复主题。
用户期望透明度和控制权
研究完成后,研究人员发现用户希望了解AI智能体在做什么,但不想微观管理每一步,否则他们可以自己执行任务。
他们还得出结论,用户希望智能体根据是在探索选项还是执行熟悉任务而表现出不同行为。同样,用户期望会根据他们对界面的熟悉程度而改变。他们越不熟悉,就越希望透明度、中间步骤、解释和确认暂停(即使在低风险场景中)。
他们还发现,当行动带来真实后果时(如购买、更改账户或支付详情,或代表他们联系其他人),人们希望获得更多控制权,并且发现当智能体做出无声假设或错误时,信任会迅速破裂。
例如,当智能体在页面上遇到模糊选择,或在没有明确标记的情况下偏离原始计划时,参与者指示系统暂停并要求澄清,而不是随机选择某样东西然后继续。
同样,当智能体在做出特定选择时不透明,特别是当该选择可能导致选择错误产品时,参与者报告感到不适。
总的来说,对于希望在其应用中采用智能体功能的应用开发者来说,这是一项有趣的研究。
Q&A
Q1:苹果这项AI智能体交互研究采用了什么特殊方法?
A:研究采用了名为"绿野仙踪"的方法。在用户测试中,参与者以为自己在与AI智能体交互,实际上是由坐在隔壁房间的研究人员阅读用户指令并执行任务,这样可以观察用户的真实期望和反应。
Q2:用户对AI智能体透明度有什么要求?
A:用户希望了解AI智能体在做什么,但不想微观管理每一步。用户对界面越不熟悉,就越希望获得透明度、中间步骤说明、解释和确认暂停。当涉及购买或账户变更等重要操作时,用户需要更多控制权。
Q3:什么情况下用户对AI智能体的信任会快速破裂?
A:当智能体做出无声假设或错误时,用户信任会迅速破裂。特别是当智能体遇到模糊选择时随意决定,或在选择时不够透明(可能导致选错产品),用户会感到不适并要求智能体暂停澄清。