刘益东：警钟敲响！如何有效应对人工智能加速发展下的科技风险（3）

（三）知错纠错机制失灵

知错纠错是人类的重要智慧之一，人类只有通过不断地知错纠错才能达到目标。囚徒困境，用于描述在一种博弈情境下，个体之间可能面临的合作与背叛之间的冲突，反映个人最佳选择并非团体最佳选择。换句话说，行为主体面临选择的两难境地时，往往会趋向于考虑相对利己但是不利于集体最大利益的方式。囚徒困境揭示了个人理性与集体理性之间的矛盾。黑格尔说过一句话：人类从历史中学到的唯一的教训，就是没有从历史中吸取到任何教训。

对此，结合囚徒困境，从人类是否犯重大错误和能否认清、纠正、抵消易犯重大错误的角度来揭示人类面临的根本性困境，我提出“囚车剑魔”四大困境。囚徒困境表明吃一堑未必长一智。动车困境表明纠正大错是边运行、边分析、边争论、边纠错，纠错需要迈过“达成正确共识、预期共赢、共同有效行动、具备有关条件”四道坎。双刃剑困境表明正负效应无法抵消、无法弥补，一“坏”遮百“好”。魔戒困境表明犯重大错误的门槛越来越低，人有理性，会权衡利弊，所以经不住诱惑，尖端科技使小人物和机器人可以犯大错误。

四、如何应对加速演进的科技风险

我们要有正确有效的思想和对策，提高相关领域的研究支持。我们要用中国的理论阐释中国的问题，要维护好中国的利益，讲好中国故事，传播中国声音。而且，我们要更加关注可持续发展的大局观，充分考虑人类当前面临的挑战和中国应该担起的责任，在解释中国现象、解决中国问题、维护中国利益的同时，维护人类利益，推动构建人类命运共同体。我国高度重视安全发展。在党的二十届三中全会公报中，“安全”共出现16次。

当务之急是要转变观念，要站在未来看今天。推动科技的可持续发展，要确立合作比竞争重要、安全比财富重要、方向比速度重要、和平相处比独占鳌头重要的原则。以和为贵不仅是中国传统文化的主张，更是高科技巨风险时代不得不遵循的生存法则。我们要有新的发展，从平面的科学走向立体的科学，倡导科技创新风控先行、科学研究伦理先行。

人类社会正面临一系列巨大的变革和转型，以前强调的是大规模的技术创新，强调“科学技术是第一生产力”，现在强调的是学术创新、人文社会科学的发展，提倡的是安全的科学技术是第一生产力。中国科学院院士韩启德指出：“既然科学存在方向和价值问题，那就提醒人们要重视人文的作用，因为人文是科学发展的方向盘和刹车器。在发展科学技术的同时，必须大力发展科学文化。”我们要明白什么该做什么不该做，有所为有所不为。中国主张集体主义，提出构建人类安全共同体。我们要将科学发展领域分为三个类型：鼓励发展型、谨慎发展型、限制发展型。要以人文社会科学的发展为基础，建立可持续发展的科学体系，形成新的世界科学中心，推动科技与AI的健康发展，从科技致富转向科技致善。