刘益东：警钟敲响！如何有效应对人工智能加速发展下的科技风险

刘益东 中国科学院自然科学史研究所研究员

点此查看完整报告

点此查看视频专辑

点此查看课件

习近平总书记曾就防范化解政治、意识形态、经济、科技、社会、外部环境、党的建设等领域重大风险作出深刻分析，提出明确要求。关于科技方面，习近平总书记强调：“科技是发展的利器，也可能成为风险的源头。要前瞻研判科技发展带来的规则冲突、社会风险、伦理挑战，完善相关法律法规、伦理审查规则及监管框架。”在科技飞速发展的今天，如何引导科技向善成为一道必答题。

一、观察现象：人工智能发展带来的科技风险

2016年，围棋高手李世石被谷歌旗下DeepMind团队开发的AlphaGo计算机程序以4:1的高分击败，引发全球关注。2017年，DeepMind发布了AlphaGo的新版本。AlphaGo Zero，经过3天的训练便以100:0的战绩击败了AlphoGo Lee，也就是战胜李世石的版本，经过40天的训练便击败了AlphoGo Master，也就是击败世界冠军柯洁的版本。以前的版本依靠的是人工录入的大量棋谱来帮助学习，新版本强化学习算法，即不再依赖任何棋谱，编程人员输入围棋基本规则后，不再进行任何教导，完全由其自己进行摸索，总结走棋方法，相当于人工智能完全按照自己的方法学习。

Chat GPT出现的时候，一些人工智能领域的专家表示，AlphaGo出现的时候虽然受了很大冲击，但是人们觉得，好比养猫，AlphaGo只是比其他家养的猫更聪明，而Chat GPT的出现，就好像这只聪明的猫已经会说人话了。

Deep Seek出现以后，业界普遍认为现有模型已经超过大部分博士毕业生的研究水平，甚至在有些领域达到了优秀学者的水平。它的结构性很好，且能做到系统性深化、细化，虽然有时候出现“幻觉”，但人们也能分辨出来。

人工智能的成长速度很快，OpenAI模型o3智商高达157，在编程竞赛中表现得更加高效和精准，超越了99.8%的选手，接近全球前200程序员的水平。DeepMind推出的AlphaGeometry2，在国际数学奥林匹克竞赛（IMO）的大规模几何题目测试中，超越人类金牌得主水平，解答了其中的42道，超过了金牌得主40.9分的平均成绩。这一现象从一个侧面体现出人工智能的反噬作用。人类创造出比自己更聪明的产品代替自己完成很多事情，但是人工智能在帮助人类做好事的同时也有做坏事的潜在风险。社会科学工作者要担起责任，有句话说“虽然改变不了世界，但是能改变世界观”。

二、科技风险激增下的担忧

（一）末日概率

“末日概率”指个人认为人工智能可能带领人类走向末日的机率。人工智能先驱人物、2024年诺贝尔物理学奖获得者杰弗里·辛顿表示，人工智能导致人类灭绝的可能性在10%到20%之间。2024年1月，一项有关人工智能未来的、较大规模的调查结果显示，在世界顶级人工智能期刊或国际会议发表过论文的2778位受访人员中，有15.6%的受访者认为AI发展过快，41.2%至51.4%的受访者估计人类灭绝或严重丧失权力的可能性超过10%。我认为，这一结果较为保守，一是这项调查是2023年进行的，时间较早而人工智能发展又很快，二是行业专家不愿主动渲染本专业的危险性。

那么，假如人类有10%的可能性被人工智能覆灭，这一概率意味着什么？这是一个我们根本无法承受的数字。我们以民航为例，据国际民航统计，全球每天有约10万架次民航航班。如果平均每天有10架飞机出事，那么飞机的出事概率也只有万分之一。10%的出事概率意味着，每天有1万架飞机遇难，而现在飞机失事的平均概率仅为上百万次分之一。我相信，如果空难概率高达10%，没有人会选择坐飞机。