-
_NEWSDATE: 2026-07-17 | News by: 腾讯 | 有0人参与评论 | _FONTSIZE: _FONT_SMALL _FONT_MEDIUM _FONT_LARGE
本吉奥发出警告
尤其在网络安全和生物领域,开源模型一旦发布就不可逆转。那些具有双重用途的能力一旦被释放,就无法召回,也无法修复。他强调,仅仅基于当前前沿水平来思考AI风险是远远不够的。
“必须在AI模型能力跃迁之前就做好准备,而不是事后才应对,这应当成为我们的默认姿态。”
非营利组织SecureBio的AI研究负责人贾斯珀·戈汀进一步聚焦到了生物风险上。
他提到知名AI研究员索伦·明德曼分享的一项实地调查:在尼日利亚,前恐怖组织“博科圣地”的成员每天都在使用AI,AI不只用来制造更大的炸弹,还包括制定攻击计划。
更令人不安的是,他们还办起了培训班,教组织成员如何用AI进行恐怖活动。
戈汀指出,生物学天然具有双重属性,但“我们希望AI驱动的是疫苗实验室,而不是恐怖分子的病毒学实验室。”
研究人员在防护栏之内,应当获得AI辅助来完成对策研发,但这些知识不应出现在开源模型里。
独立研究员、前OpenAI项目负责人杰夫·吴则从权力集中的角度补充了思考。他指出,前沿AI的发展伴随着资源的集中,很可能导致权力汇聚到少数公司或机构手中。如果未来制造出远比人类聪明的系统,人类可能面临被全面剥夺权力的风险。
明德曼则指出一个更深的治理困境——“证据困境”:AI能力常跳跃式提升,让人措手不及;但真正棘手的是,在风险变成现实之前,人们很难拿到“它一定会造成危害”的确凿证据。
Anthropic就遇到过这种情况,模型能力突然跃升,团队担忧网络攻击风险,却无法证明“一定会出事”,最终自愿决定暂不投放市场,才避免了潜在危害。
这正是困境所在:能力已强到令人不安,却没有硬证据支撑立即干预。
04 AI威胁是炒作or真相?面对如此严峻的前沿风险,全球科技界在治理态度上呈现出显着分歧。
本吉奥呼吁立即采取行动。他警告称,在模型能力出现跃升之前做好准备,必须成为默认姿态。各国政府需要意识到,这不是某个国家单独面对的威胁,而是AI滥用带来的共同挑战,必须共同预防。
相比之下,国内学者给出的回应更为务实。
高新波认为,前沿AI风险确实是基于逻辑推演的系统性威胁,但不必因此陷入末日恐慌,更不能直接叫停研究。他把前沿AI比作“比核能还要深刻的潘多拉魔盒”——打开之前,必须在工程和设计层面把“安全锁”打造完美。
姜育刚的立场更贴近现实。他指出,呼吁停止研发在现实中根本不可能,没人会停下来。不管各方觉得该开源还是闭源,两种模式已经同时存在了。最务实的做法,是在新技术研发的过程中同步推进风险防控。
熊辉则坚定支持开源。他认为闭源大模型的能力越强,风险同样在急剧增加。问题的核心不在于开不开源,而在于重构安全架构:如果能在内核层面把安全控制做到极致,外围完全可以放心开源,让开源的生产力红利惠及更多人。
在具体操作层面,杰夫·吴和明德曼都提到了可落地的缓解措施。
杰夫·吴建议通过预训练和后训练阶段的数据过滤来降低风险。明德曼补充称,云服务商也可以在身份核查层面设置门槛,就像进地铁站需要出示证件一样,确保只有更可信的人才能获得模型权重访问权限。
结语讨论最后,技术派把焦点放在了“可控”上。
高新波希望,AI专家不仅能造出最聪明的模型,还能提供一套能证明、能解释、能控制的安全防护体系;姜育刚强调,内生安全重要,但攻防技术同样关键,更坚固的盾才能支撑技术持续发展;熊辉则期待安全控制能力与开发能力齐头并进。
乐观派把目光投向了未来。
贾斯珀·戈汀认为AI在生物学领域拥有巨大潜力,人类能找到收获所有好处同时,也能遏制严重风险的方式。
制度派的思考则落在了人与人之间的协调上。
杰夫·吴和明德曼都指出,除了科学研究与风险缓解,还需要建立协调机制,在共识和监督下推进AI的开发进程。
周伯文在演讲最后留下一个判断:“安全价值就是商业价值,它们并不对立。”- 新闻来源于其它媒体,内容不代表本站立场!
-
原文链接
原文链接:
目前还没有人发表评论, 大家都在期待您的高见