危险,你的AI agent正在「无人驾驶」!
创始人
2024-12-27 03:22:06
0

来源:周天财经

文 | 周天财经

周天财经 原创出品

最近流行用智能体点咖啡,不同大厂纷纷拿出了绝活儿。比如,荣耀CEO赵明就在一次直播中当场展示了自己用一句话就通过智能体yoyo在美团点了三杯咖啡的片段,画面显示,手机自动完成了寻找门店、自动选定咖啡品类最后到自动完成付款的全流程。

操作十分流畅,仿佛有一根看不见的手指在帮用户点按屏幕,用户只需当甩手掌柜,这些操作都非常像L2级别的自动驾驶,用户只需旁观,必要时才接管,如果再成熟一些,无感地自动化,甚至无需用户目视和接管,L4级别的agent指日可待。

不过,在上述场景里,坐在一旁目睹全过程的周鸿祎直呼:这太危险了。

智能体只会点咖啡吗?非也。在不久前的智谱Agent Openday上,智谱CEO张鹏掏出手机同样也在台上炫技了一把:「帮我在智谱开放日群聊里发两万元红包,数量一百个,名字为‘AI给你发的第一个红包’。」根据张鹏的自然语言,智能体AutoGLM调用微信支付,打开红包功能,顺利发出红包。

图源:智谱

01 智能体开始显露「另一面」

其实,周鸿祎的惊呼并非毫无缘由。有业内人士直指行业里的秘密:由于还没有实现APP的互联互通,当前很多智能体在进行着L2乃至L4级别「无人驾驶」时,实际上比较主流地用到了一种作弊方案:

智能体在执行用户需求时采用的是机器模拟点击,其实现方式与黑灰产作弊实现原理相同,智能体可以根据自己能获取的用户授权高低选择不同的实现方式。对于三方应用层的智能体,权限最低,很难有效区分当前的机器模拟点击到底是来自智能体用户的真实操作意图,还是黑灰产作弊行为,就会造成风控结果的误判。

尽管关于智能体的定义和分类各有不同,但形成共识的还是有以下几个方面:1. 每个智能体都要扮演某种社会角色,参与社会化分工、完成任务并有产出;2. 能进行对话交流和理解用户的行为偏好;依据反馈进行强化学习和重新规划;3 与外部其他的业务系统、其他智能体、工具应用进行协同。

通俗来说,可以是管家、行政秘书和前台、客服、司机,智能体相比信息分发时代的产品,要更加主动且自动,更加靠近用户,成为贴身助理,代替用户发号施令,掌握用户的隐私数据会更多,担当着用户的心腹。

但是,如果心腹的实现,靠的是沿用上述「作弊」机制,会洞开安全的后门。智能体之间的自主交互如果缺乏严格的身份认证和授权机制,将使系统容易受到恶意攻击和不正当访问。恶意智能体可以伪装成合法的智能体,恶意用户可以伪装成合法的用户,从而获得不该有的服务权限。

例如,轻则是财务转账给黑灰产团队,重则危及生命,比如恶意智能体可以假冒成合法智能体发起请求,访问用户的健康敏感数据、交易敏感数据;恶意用户可以伪装成机主,向医疗智能体发送虚假健康数据,可能导致错误的医疗决策,危及患者生命安全。

「心腹成为大患」的安全难题已经迫在眉睫。

02 安全互联互通,刻不容缓

绕开APP生态和应用层的作弊机制是简单的方案,但不是好的方案和唯一方案。

而且,部分手机厂商主导的作弊方案,还会带来一个颠覆产业的激进结果。

入口的收敛,从图形界面收敛到一个语音助手的界面,从信息流变成任务流,对于当前生态颠覆性太大也太快,过于激进。掌握入口的主动权,最终可能造成恶性商业竞争。智能体AI原生的特点使其有机会在中短期内成为现有软件层之前新的入口,在长期甚至有可能替代现有的软件层。

硬件厂商就取代了互联网入口,挤到了用户最跟前,影石创始人刘靖康最近就公开表示,手机厂会是比互联网厂商更大的「BOSS」,因为他们同时掌握了更个人向的数据,以及执行具体操作的「位置」优势。

对用户来说,入口如果未来是极度单一的,用户的自主性和主动权也就丧失掉了。

如果既要安全,又要行业长远健康发展,有没有其他可能?目前业内的另一个思路,是不颠覆当前的应用层,致力于在应用层APP之间建立统一的安全协作标准,从而实现跨APP的流畅操作。其中,IIFAA在12月19日成立的「IIFAA智能体可信互连工作组」,就在主张这一思路。

这一工作组的成员包括了华为荣耀Oppo字节蚂蚁等头部企业,希望联合通过制定跨智能体交互的安全技术规范,为整个智能体行业提供一个更加健康规范的协作环境。

图源:IIFAA官网

IIFAA这个组织我们听起来有点陌生,实际上是早在2015年由中国信通院、华为、中兴、蚂蚁集团、阿里巴巴等联合发起的可信身份认证联盟。目前,其可信数字身份技术规范在全球有超过16亿台手机设备、43个手机品牌商得到应用。

IIFAA互联网可信认证联盟技术负责人万小飞说,不管是系统级、厂商级还是 APP级,都在往端侧个人助理方向发展,如果没有相关的规则和标准的制定,有点像早高峰时没有红绿灯的状态,属于百舸争流,会带来非常混乱的状态,最终影响的是整个生态的健康发展,包括用户权益的损失,这些趋势和背景,是成立智能体可信互联工作组最主要的目的。

工作组的目标是确保智能体和智能体之间能有一套相互的协同和通信的机制。IIFAA专家张璇谈到,「服务可信调用方面,任务非常长,一个服务的链路或许有几十个步骤,我们希望再复杂的服务调用链路,我们希望是全链路可信。经过层层的调用之后,用户的真实意图仍然可以得到最终正确的执行。」

而由于智能体的快速发展,这一工作目前已经有了紧迫性。万小飞感叹,整个智能体的发展是超乎预期,包括苹果的发布会,以及国内手机厂商在自己开发者大会上密集宣布了厂商的智能体,很多的APP厂商也在做自己的智能化助理,都在加速中。

其实,硅谷头部公司和企业家们早已行动起来,均表态要发起统一标准的行业框架,Elon Musk就认为,快速发展的AI可能超出管理其风险的能力,倡导建立监管框架和行业标准以确保负责任的AI发展。

谷歌也发布了Secure AI Framework (SAIF),强调了在创新同时,需要有明确的行业安全标准来负责任地构建AI这项技术。SAIF包括六个核心元素,涉及扩展安全基础、扩展检测和响应、自动化防御、协调平台级控制、适应控制以调整缓解措施,并在周围的业务流程中情境化AI系统风险。

Google SAIF风险地图

回到中国智能体来看,万小飞认为,当前第一阶段工作主要聚焦在比较急迫的4个维度:

1. 智能体可信身份鉴权。「APP都有身份鉴权体系,智能体没有,它的身份到底是属于APP还是设备?要去做定义」

2. 数据的可信流通问题。互联网的前半段,各个APP厂商花很大精力保护数据,一定程度上满足数据属于用户。APP的孤岛被打破以后,数据的流转不在一家APP厂商,是在多家。这时数据的隐私保护职责方是谁?数据的所有权属于谁,要确保数据在端上有一个可信流通通道和机制;

3. 业务的系统风控问题。A智能体在按照B智能体分发的意图做任务时要「听命于」B,因此必须要建立跨APP防护体系,避免智能体被恶意意图操控,出现类似自杀、欺诈、黄赌毒等情况。

万小飞举了个例子,如果在同一个APP内,买了酒和头孢,可能就会触发风控机制,识别出用户意图里有一定程度的自杀倾向,平台就会介入阻止。但如果是智能体来负责执行指令,如果恰好这两个行为分别是孤立发生的,不在一个APP里发生,就无法唤醒风控机制。

4. 智能体的主权保护问题。要允许小的智能体、小型APP也能独立生存,不能绕开主页,直接侵入到系统后台调取小智能体的服务,使其丧失商业价值。

如何在总体上理解可信协同?打个通俗的比方,这就类似于民航、高铁和地铁的「安检互认」,让用户无需二次安检。

相信很多人都有过类似出机场、高铁站进地铁被要求二次安检的经历,我曾经询问过天府机场安检员,为什么出了飞机进地铁还要再次安检,安检员说标准是不一样的,责任主体不一样,最后万一出了事,算谁的?

的确如此。因此,不管是交通运输还是智能体协同,要让用户需求高效地流转,就需要安检互认,在机制上统一安全的标准,并堵住可能的漏洞,并且当用户需求在不同体系内流转时,要明确用户保护的责任方。

03 保护小智能体,做大行业蛋糕

此外,特别值得注意的是上述第4点,入口单一化就是移动互联网时代的一个弊端,PC时代是一个无限链接的时代,但移动时代就变成了一个个孤岛,中间没法自由跳转,APP下载加了一道流程,中间转换效率就差多了,这带来的结果一定会是大的越大,小的越小,巨头垄断会越发厉害,时代行至倒退的边缘。而到了智能体时代,不能再继续强化入口单一化的这种弊端了

一旦一句自然语言就可以完全自动实现后端的滴滴下单、微信支付发红包这种能力,入口就会统一到手机,原有互联网主流的「通过A业务引流、再靠B业务变现」的商业模式会被快速摧毁。

以滴滴和美团为例,线下运力是巨大的成本单元,本身盈利能力较弱,因而滴滴美团需要通过流量合作和广告来提升利润率,一旦语音唤起,通过智能体的直接操作,劫持了操作流程,用户闭眼操作,美团和滴滴的盈利端就可能被绕开。

如果巨头尚且受到威胁,更小应用的处境可想而知,产业生态不宜面临如此过激的改变。

在早期,如果没有整体的互信安全框架,根据万小飞的判断,只有大厂和大厂之间才会可能自己谈成一个专有的机制,大公司不太可能找非常小的创业公司单独谈协议。今天IIFAA要建立的机制,就是为整个生态更开放和更公正,给所有小的智能体提供快速发展的可能性。

智能体的两条路径已经清晰。一条是走捷径,不直面可信互联的问题,但会带来安全隐患,另一条是做更难的事情,构建一个整体的安全互信框架,避免单点与单点的重复谈判,来形成规模效应,加速智能体的快速互联。

「云端的点对点的这种协同模式基本上是定制化,不可持续,没有办法规模化的方式。在整个基础设施的维度,在整个行业标准的维度有两个好处,一是可以规模化,二是可以给更多的人更公平的机会。」万小飞如是说。

整体地可信协作,实际上是做大智能体的整体蛋糕。

这就类似《集装箱改变世界》里的故事,无论船只大小,集装箱尺寸却是统一的,不仅把运输成本降低了,还避免了二次装卸过程,减少了货物转运时的效率流失,也提升了货物安全。被誉为20世纪人类的百大伟大发明,从集装箱发明之后,人类的全球贸易取得了极大发展。

大家过去都在卷模型生成能力,从目前看,已经越来越不构成差异化了,模型能力总会拉平,业内目前已经有局部能力超过OpenAI的选手。最终是context(上下文背景信息)的采集能力,而不是模型能力,关乎到最终的任务成功率。谁能跨系统、跨平台、跨软硬件采集更多context,谁的智能水平就更高。就像再好的医生,拿不到病人的体检报告,也无处施展。

相关内容

热门资讯

北京指南针业务员营销的炒股软件...   北京指南针科技发展股份有限公司(以下简称“指南针”),主要是售卖这个炒股软件为主要收入。不少股民...
汇正财经“牛人掌股”荐股服务不...   汇正财经公司29800元的“牛人掌股”荐股服务一点都不靠谱,宣传的时候吹的多好,其实就是瞎给推荐...
四川大决策投顾收费荐股服务欺骗...   四川大决策公司宣传他们的荐股服务能帮助股民实现盈利,很多股民听信他们的宣传,缴费后发现公司提供的...
北京天相财富管理顾问有限公司正...   北京天相财富管理顾问有限公司(天相智投)是一家正规投顾公司。但是天相财富在营业的过程中,为了拉到...
上海海能投顾虚假宣传坑骗消费者...   海能投顾—上海海能证券投资顾问有限公司付费的投顾服务是骗人的?很多股民反应在购买他们公司的服务后...
深圳国诚投顾上海分公司付费荐股...   国诚投资上海分公司荐股服务造成投资者严重亏损,国诚投顾工作人员给投资者夸大不实宣传,为了能让投资...
天龙白银APP软件欺诈投资人,...   上海华通白银国际交易中心有限公司的天龙白银APP正规?投资人在天龙白银APP上面操作亏损惨重!平...
上海华通白银国际交易中心非法期...   上海华通白银国际交易中心有限公司旗下有很多的白银铂金交易软件:中银订购APP、天天铂银APP、华...
中国白银APP白银投资现货交易...   “中国白银APP可以5元起投,稳赚不赔!”——这类广告充斥短视频平台,号称小白也能靠炒白银暴富!...
山东神光投顾收服务费坑骗广大消...   山东神光投顾公司上海分公司收费荐股陷阱,不少股民被他们的广告所吸引,购买了他们公司的投顾服务,才...
银宝街app软件非法期货交易骗...   虽然银宝街APP由上海华通白银国际交易中心有限公司开发,看似正规,但根据一些用户的反馈和公开信息...
天龙白银app白银交易软件不合...   天龙白银app白银交易软件不合规,现货订购实际为非法期货,内幕盘交易导致非正常亏损!  看似正规...
山东阿牛智投服务费怎么退?被业...   山东阿牛智投炒股服务并没有宣传的那么好,之前给客户发各种盈利截图和涨停的股票,当股民购买服务后,...
上海九方云(九方智投)付费股票...   上海九方智投公司确实是一家正规的投顾公司,然而,在光鲜的正规外衣之下,却隐藏着一些不容忽视的问题...
杭州高能云虚假宣传和误导性销售...   杭州高能云科技有限公司确实是一家正规的投顾公司,然而,在光鲜的正规外衣之下,却隐藏着一些不容忽视...
福建中讯证券(中讯证研)误导性...   福建中讯证券研究有限责任公司(中讯证研)存在对服务能力和过往业绩进行不实和误导性的营销宣传、证券...
天天铂银APP交易软件合法合法...   天天铂银交易软件上投资人做白银投资出现严重亏损,这一情况是正常的?平静的走势下,突然出现异常的波...
股掌柜证券投资咨询有限公司付费...   股掌柜证券投资咨询有限公司所谓的“投顾服务”并没有宣传的那么好,很多时候故意给客户夸大宣传,目的...
上海东方财富领航版付费软件不好...   东方财富领航版炒股软件并没有工作人员宣传的那么好,在业务员大力诱导下,购买他们公司的软件服务,发...
上海海能证券投资顾问有限公司坑...   上海海能证券投资顾问有限公司坑骗股民,虚假宣传诱导股民交费!  海能投顾的工作人员不断地诱导股民...