2024年6月1日，由中国经济改革研究基金会、中国法学交流基金会、中国科学院大学科技与法律研究中心三方共同主办的2024“中国数字经济发展与法治建设论坛”在北京成功举办。论坛以“人工智能技术发展与法律应对”为主题，坚持数字经济发展与规范并重，突出高端、前沿、权威，着重政策阐释和数字经济发展趋势展望，旨在为进一步推动“人工智能+”及数字经济发展贡献智慧与力量。

论坛发布了“2024中国数字经济发展与法治建设”十个重大影响力事件。现场使用人工智能技术现场生成新闻通稿和会议总结稿，展示了AI技术在文字生成方面的强大能力，邀请来自立法机关、司法机关、群团组织、政府部门和经济界、科技界、法律界及产业界等15位嘉宾作主旨演讲及主题发言。

经发言嘉宾同意，论坛主办方将陆续刊发嘉宾发言，供大家学习交流。

人工智能未来发展趋势：人机环境系统智能^※

刘   伟

北京邮电大学人机交互与认知实验室主任，博士生导师

非常荣幸有机会和大家一块讨论人工智能和法律的话题。目前我们从事了很多领域人工智能的研究，发现有两个领域值得大家深入的关注。第一个是电影界。电影界是对于人工智能很深入的一个领域。第二个是法律界，我们切身地感觉到只有这两个领域是脚踏实地的，而且不是那么虚的去做工作。我们今天有幸来是向大家学习，同时也分享一下我们的感受。

在很长的一段时间内，很多人在问人工智能究竟会发生什么样的变化，它的发展趋势是什么。针对这个话题，今天从五个角度简短的汇报一下。首先是人机关系，二是人机交互，三是人机环境系统，四是深度态势感知和计算，五是我们在做的一些工作。

刚才大家听了自动化所张老师的报告，他讲得很细，讲得非常好，我在这儿简短地跟大家说一下我的个人感受。其实张老师在讲的时候特别强了GPT里面的Transformer和Attention，这两个模型里有先天的天花板，这也意味着像这种大语言模型和多模态大模型很难进入到精密的工业界和安全界，比如说国防很难进。简单的说有两个函数，在多内层神经网络系统里面，第一个叫线性函数，第二个叫激活函数。这两个函数就造成了机器幻觉，也就是消除不了，只要你用多内层的神经网络就会有幻觉。美国国防部三个星期前也出台了一个文件，说慎用生成式大语言模型，但是今天早晨我看了一个新闻，说OpenAI深度的和美国国防部合作，有有矛盾的地方，也有大家需要警惕的地方。遇到矛盾的时候，机器很难做判断，人可能会有经验来处理。

人机关系为什么很复杂，法律问题或者电影的工业问题为什么很难去做，是因为它在很多场合下超出了科学和技术问题。比如法律里面的伦理、法律里面的道德问题等等，它不是科学问题。所以人工智能它给了大家一个启示，就是从此人类掀起了对科学的重新认识。科学能做什么，科学不能做什么，在智能领域，包括本体论也好，认识论也好，都产生了一阵又一阵的波澜，这样的波澜不会停，而且会越来越厉害，直到科学技术被晃动，这个晃动的领域叫什么名字？我们起名叫复杂领域，既包括科学也包括非科学。

GPT它的瓶颈现在是数据驱动的五个问题它解决不了。第一是小数据问题，它是大数据。第二是推理问题，它把数学和逻辑看成了智能的重要组成部分，这是有误的，真正的智能、人类的智能里面既有逻辑也有非逻辑，既有计算也有非计算，我们叫算计，就是谋算。第三，人类的表征是非常灵活的，是一多表征，在数学里是一一映射的，人类的映射里面是一多映射。在意识里面，除了语言以外，人类还有只可意会不可言传的东西。至于价值，刚才提到了价值对齐，其实价值正是人工智能的瓶颈问题、关键问题，这也是休谟问题的核心，从客观的事实里面能否得出主观的价值。

我们在做人机混合智能，人工智能下一步的发展趋势就是人机混合，它的思路包含了人的部分和机器的部分，和传统的人工智能不太一样，但是传统的人工智能现在出现了大模型也走到了一个落地的关键时期，这就是著名的休谟之问。大家如果对人工智能有异议的话，就从这个地方入手，休谟很早就提出了事实和价值的问题。我们认为智能包括两部分一部分是客观的事实，即科学、技术，理工科，另外一部分是主观的价值，人文、艺术、宗教、哲学都属于智能。所以现在很多人把人工智能单纯的看作理工科去做，这是有点偏颇的，实际上人文艺术做的更深刻。比如毛主席他的智慧是非常好的，他也不是理工科，所以大家不要简单地把智能归结为理工科。另外一个很著名的人，在智能领域一个大牛，大家忽略了，即维特根斯坦，他是图灵的老师和朋友，他引领了图灵之问，图灵机有很多是他和图灵在早期的探讨中衍生出了萌芽。所以大家对维特根斯坦要做一个很深刻的思考。由于时间关系，我就不再赘述。

东方很著名的《易经》说的“非常道，非常名”，大家注意常道常名是人工智能，是确定性的，而非常道、非常名里面是智慧性的，它抛开了人工，为什么？因为它是不确定性的。自动化是确定的，输入确定的处理、可编程的处理，确定的输出、确定的反馈叫自动化。而自动化它是不确定的输入，部分可编程，部分不可编程，不确定的输出，不确定的反馈。但是它是利己，有利于自己的，所以智能化和自动化是有区别的。

人工智能走到今天，美国国防部先进技术局总结了三条，这三条大家认为是通用的人工智能的瓶颈。第一条，可解释性。很多人工智能是不可解释的，尤其是数据驱动的神经网络系统。第二条，学习。人类的学习和机器学习不同，人类学习能够产生范围不确定的隐性的规则和秩序，机器很难做到。第三条，常识。机器常识和人类的常识不一样，人类常识很复杂。未来的发展很可能是人、机器、环境产生的生态系统结合的一种新型的智能，它代表的人工智能只是其中一个很小的组成部分，它涉及到使用者，涉及到使用的环境。

这里面涉及到两个方向，第一个方向是东方的，包括印度和古代中国，也就是传统的，它是整体论、系统论去看待世界，叫做一花一世界，一树一菩提，一个事物和万世万物可以关联，法律里面很难做这种关联。第二个方向是西方的还原论。西方的还原论什么意思？分子还原到原子，原子还原到电子，然后再到夸克，一直分下去，这是西方的思路。所以东方和西方怎么进行人-机-环上进行融合，依然成为未来需要解决的一个重要问题。

我举了两行，上面一行是西方的一些大牛和先驱，从泰勒斯开始一直到冯·诺伊曼，他们慢慢的一直在从理性走向量子力学。量子力学里面有一个重要的特质就是感性，即东方的很强烈的特色，感性的东西，西方正在走。康德有一句话，事物的属性往往与观察者有关，即人看了以后会发生变化，所以西方是从理性到感性。而东方从伏羲开始一直到华罗庚先生，他们正在从感性走向理性，中国在不断地接受西方科学技术还原的思想。所以东西方是在融合的。

我们提到的真正的智能，未来的智能一定是东西方合作的产物。在这个产物里面，我们认为智能是交互的，它不是类脑类出来的，所有的类脑都有问题。为什么，因为狼孩，狼孩大脑的神经元和你我的神经元是一样的，但是狼孩的智能和人类的智能是不同的，为什么？因为它是在狼的环境下长大，而我们是在人类社会中。马克思曾经说过人是社会的动物，是社会性的产物，所以社会性这个环境是非常重要的，所以人类的智能或者未来的智能一定是人-机-环交互的产物，而不是单纯的类脑就能类出来的智能。人是解决方案性的问题，正确的做事，处理数学模型不能建模的东西，数学处理不了的、杂乱无章的是人来处理，机器是处理可以重复的。现在的人工智能严格意义上就是自动化或者说叫高级自动化，加了统计概率的自动化。这个自动化是谁说的？是前美国总统的科学顾问，他叫罗素，是加州伯克利的计算机人工智能大牛。我们在对话的时候，3月份他说过一句话，他说过去的人工智能是现在的自动化，现在的人工智能是未来的自动化。这句话很有味道。机器是做重复的，是可以数学建模的，环境提供一个复和杂融合在一起的体系。

第二，简单说一说人机交互。大家知道这个词，但是可能不知道它的由来，我们后来发现人机交互是在剑桥大学的圣约翰学院产生的。“二战”末期飞行模拟器产生了人和机，飞机座舱交互产生了人机交互。这个学院是金庸先生86岁拿博士论文的学院，圣约翰学院第二大学院。它们俩开始做了近代史上第一次人机交互的实验，到了“二战”后，美国人把它拿到了阿波罗计划登月，这叫做什么？人的因素。后来日本人把它拿到了白色家电，叫做人间工学。钱学森先生拿到了中国，叫做人机环境系统工程。

这是一个示意图，是飞行员和飞机、和外部环境之间交互的示意图。

我们认为人机交互现在最难的是动态规划，动态规划里面涉及到一个任务，不仅仅是客观事实的动态规划，还是主观价值，即指挥员或者飞行员在判断价值权重的时候的那个动态规划。它分不同的层次，有单层的、中等的、高等的，复杂的环境给它提供了一个非常重要的平台。

做一个简单的梳理。未来的智能是人-机-环，人工智能学科到目前为止依然没有理解什么叫智能，它只是暴力计算。所以现在很多真正的科学家在观望，看人工智能是不是能落地。举一个简单的例子，郭帆导演前段时间到了美国的硅谷，到了美国的好莱坞、迪士尼考察了一番，因为Sora他想用来拍电影的，他要拍《流浪地球3》。后来郭导回来以后跟我们说拍不了，实现不了，这也就是我刚才跟大家说的电影工业里面讲究很精密的谋算，这里面有很多艺术性的东西，不是简单的处理，所以他说用不了。大语言模型真正的在工业领域、在国防领域的落地，大家还要拭目以待。

西方到目前为止一直在抗议，他们出现了一个很大的问题。这是我们中美对话的时候发现的，也告诉了他们，你们的人-机-环失调，就是总统让人喝消毒水。习主席在2021年明确提出，他说真正的东方智能里面一定要涉及到人-机-物三元融合，这个物是指物理环境，现在我们发现不仅仅有物理环境，而且社会环境、虚拟环境、数字环境都进入了人机智能时代。

人-机-环的思想是钱老最早提出来的，当时相对的人工智能还没有发展到这种程度。今天的人工智能涉及到的人-机-环发生了很大的变化，所以大家会用新的视角去看人-机-环的智能。

这是中美两国关于人-机-环里面的几个问题、关于人工智能的几个问题，我们从2019年一直谈到这个月。6月18日在东南亚谈第十轮，前九轮谈了6个问题，是中美很关注的人工智能问题。第一个叫数据，数据造假、数据围栏、数据毒化。第二个是人工智能可以用在什么地方，人工智能不可以用在什么地方，实际上中美两国都很关注。第三，人和系统的关系问题，人在环上，参与控制、参与监督，人环外就失去控制。第四，什么叫自主，大家一定要注意，因为智能的高低和自主性密切相关。美国的军方对自主的定义非常严谨，咱们也非常严谨。比如美国空军的定义所谓自主就是自我管理的品质与状态，对于群体智能而言自主就是各组成成分的独立程度。我们的定义是自主有三个特色，第一自主能够学习，第二自主能够适应，第三自主能够协同。第五，制定法律，伦理道德标准。现在东西方各执一词，因为他们有他们的标准，咱们有咱们的理解。第六，人工智能武器和装备的测试指标和评价标准，双方也不同，理解也不一样。

这是前段时间一直在和美方进行对话的一些场景。

美国有一个很重要的人工智能的研究机构叫DARPA，它是美国国防部先进技术局，今天咱们用的互联网、咱们用的无人驾驶最早的投入是DARPA投入的。人工智能五个方面，他们正在抓紧进行，这五个方面12345，从可解释性、学习常识和自主性一多表征，刚才有老师在做法律介绍的时候也特别强调了一多表征的问题。还有弱相关的强相关化，这是美方非常关注的。总而言之，美国人对人工智能的理解现在主要集中在两个领域两个支柱，第一是机器学习，第二是自主系统，这两个领域是他们非常关注的，投入最大的。

这是美方对人工智能最新的一个理解。他们认为人工智能不是一个产品，人工智能是一个生态，既包括了刚才说的人的问题，也包括了技术、系统、运行、组织和适应，它是一个整体的运作。所以大家以后看智能技术不能仅仅看它的效率，还要看使用它的人和使用它的背景。

我们把人机交互叫做脖子以下，把人机融合智能叫做脖子以上，嵌入人工混合智能就是深度态势感知。计算智能我们叫做刻舟求剑，用过去的数据反映现在和未来。把感知智能叫盲人摸象，只看局部。把认知智能叫做曹冲称象，简单的搬迁。我们认为最厉害的智能叫洞察智能，塞翁失马，这也是未来智能里面最重要的一个标志。

人和机不太一样，人一般指使用者，机器是设计者、开发者所造成的一个产品，所以它的排序分类等价类比是完全不一样的。这也是为什么很多产品粘性不高，大家意见很大的主要原因，即使用者和开发者两张皮。

现在看来，传统的西方对智能的贡献，比如控制论、信息论、系统论都会发生很大的改变。控制论主要是指事实性的反馈。信息论是指信息的多少，数量用比特、用熵来计算。而系统论只是用数学的形式行政化的手段来解决系统问题。现在出现了用价值反馈，不但反映它的信息的多少，而且反映信息的好坏，即它的质量问题。系统还涉及到人的系统，出现了新的变化。东方很多重要的思想，包括《易经》、《道德经》、《孙子兵法》里很多的思想变成形式化问题，变成法律道德问题，怎么融入到产品当中。

深度态势感知与计算计最早的提出是美国的空军首席Mica Endsley女士提出来得，但是地球上提出最早的不是她，是孙子，“知己知彼百战不殆”的“知”就是态势感知。这是她1988年提出的定义，我们现在把态势感知两个英文单词就翻译成了四个汉字，态-状态，势-趋势，感-感觉，知-知觉认知，变成四个阶段，深度态势感知就是把人的态势感知和机器的态势感知进行融合。

这是美国很著名的一个人工智能典型的案例，叫做“深绿”系统。大家知道“深蓝”打败了卡斯帕罗夫，1997年。后来美国DARPA专门做了一个陆军的辅助指挥控制系统，这个系统叫做“深绿”，对应“深蓝”。深绿有三个模块，“水晶球”、“闪电战、“指挥员助手”，通过它带实时地把大量的作战方案选出最优的3-4个给人进行选择，大大减轻了作战的复杂性。这个方案有一个缺点，只有计算，没有算计，所以最后也不了了之了。

我们认为机器主要是做计算，即人工智能这一块。现在我们怎么把人的算计，把人的灵活的谋算运筹放进去，这是一个很重要的突破点。计算和算计它们有天然的不同，东方的很多思想是算计型的，不是计算型的。

我们做了一些简单的总结，现在很多智能算法并不智能，它是有条件、有约束、有边界的，离开了这些边界约束条件，它就会变成智障。数学对智能由帮助，用在合适的地方它是加分的，但是数学还会减分，用在不合适的地方，它会阻碍智能的发展。所以大家对数学家要一分为二，不能把数学家等同于智能学家。

未来的发展趋势五个特点。第一，主动推荐。第二，交互学习，机器会跟人产生“互”。第三，高效的容错。第四，混合决策，要有追责，要有风险的问题。第五，按需组网，马赛克进行组合。

这是我们做的一些基础的理论框架和模拟的方法。我们最早是做脖子以下，人的生理和物理的交互，后来我们写了一点东西，现在做人机主要是脖子以上，人脑和电脑怎么结合在一起。

现在我们在做人-机-环境生态系统智能，通过这个体系产生更大的合力。简单的说就是大尺度的场景下一般用算计、用谋算，小尺度用计算来实现态势感知。人有一个很重要的能力，不但能够从态到势、从感到知，而且能够倒着来，能够从势到态、能够从知到感。双向性东西就构成了人类的智能体系。

这是我们实验室的一个公众号，欢迎大家批评指正。谢谢大家！

^※刘伟在2024中国数字经济发展与法治建设论坛上的主题演讲。