EEPW论坛

在关键时刻做出正确的决定可能是生死攸关的问题。这就是为什么服务于航空航天、航天和国防等敏感行业的泰雷兹正在采取措施构建值得信赖的人工智能（AI）技术，将人类置于决策过程的中心。作为该领域的全球领导者，集团的研发团队正在迎接挑战，开发按预期工作的人工智能系统，可以解释他们如何得出结论，并可认证用于危急情况。

泰雷兹研究、技术与创新副总裁David Sadek，专门负责人工智能和信息处理，告诉我们更多。

泰雷兹正在大力投资开发基于人工智能的系统。但是，我们如何确定我们可以信任航空航天、国防和其他关键行业的人工智能呢？

泰雷兹在关键行业开展业务，这些行业的风险可能非常高。在为这些市场开发数字系统时，尤其是基于人工智能的系统，要求特别严格。如果智能手机上的计步器应用程序产生不准确的读数，因为算法只是近似值，这没什么大不了的。但对于让飞机安全着陆的系统——全球三分之一的飞机将泰雷兹技术用于此目的——标准完全不同。对于像这样生命受到威胁的关键系统，可信的人工智能是唯一的选择。仅仅说人工智能系统可以信任是不够的。你必须证明这一点。泰雷兹在严格监管的环境中运营，并受到严格控制。我们不能随心所欲：我们构建到系统中的人工智能技术必须满足严格的要求，在某些情况下，它们需要获得认证才能用于实际应用。我们对可信 AI 的方法基于四个关键原则：有效性、安全性、可解释性和责任。

这些原则听起来可能有点抽象。可信AI的这些特性如何转化为泰雷兹研发团队的日常工作？

我们从事人工智能系统工作的人员正在应对当今科学和技术领域的一些最大挑战。当您开发基于 AI 的系统时，您的首要任务是证明其有效性。换句话说，你必须确保它按预期工作——不多也不少。毫无疑问，除非经过验证，否则在飞机或其他关键系统中安装人工智能技术。我们使用数学工具、方法和过程来做到这一点，所有这些都需要时间和资源。举个例子，仍然没有万无一失的方法来验证机器学习系统。您如何证明这样的系统将完全完成其操作设计领域（ODD）中预期要做的事情，或者它被设计运行的精确条件？如果算法低估了空客降落所需的跑道长度，那就是一个问题。但如果它过度计算长度，我们可以忍受。这就提出了什么是可以接受的问题。随着持续学习人工智能的出现，事情可能会变得更加复杂——这些系统从他们收集的数据中学习，并在过程中提高他们的表现。这就是挑战所在——证明这些系统在投入使用后仍然有效，即使它们一直在学习。但我们也需要取得平衡，否则我们就有可能失去人工智能时不时给我们带来的那些惊喜。例如，当AlphaGo算法在2017年击败世界围棋冠军时，它提出了即使是最聪明的人也从未想过的新策略。在航空电子设备中，没有出错的余地：危险故障情况的最大允许概率为每飞行小时 10-9 次。这是一个很小的数字，但这是我们必须达到的标准。事实上，我们的目标是我们的系统概率为 10-12。

保护基于人工智能的系统免受网络风险是另一个巨大的挑战。我们如何消除漏洞并确保这些系统能够抵御网络攻击和其他威胁？

当然，网络安全是重中之重。重要的是要证明人工智能系统足够强大，可以抵御网络攻击和其他恶意行为。如今，安全和人工智能之间的关系是双向的：除了构建基于人工智能的网络安全系统外，我们还使用人工智能来开发网络安全算法。例如，机器学习算法可以扫描事件日志并拾取可能指向即将发生的网络攻击的微弱信号。我们已经看到攻击者利用漏洞欺骗基于人工神经网络的系统行为不端的例子，例如使用在线软件以人眼几乎无法察觉的方式更改图像，或者像最近的一个案例一样，在路牌上贴上贴纸来欺骗自动驾驶汽车。当涉及到网络欺诈和其他形式的恶意活动时，人工智能技术的发展速度与威胁相同。泰雷兹在帕莱索的ThereSIS实验室组建了一支道德黑客团队，以确保我们的人工智能系统能够抵御网络攻击。他们通过对算法，特别是神经网络架构进行一系列“碰撞测试”来识别漏洞，然后推荐对策，使我们的应用程序尽可能健壮。该团队目前正在开发一套称为“战斗盒”的工具。这个“碰撞测试”实验室是我们基于人工智能的系统认证过程的一个组成部分。

关键系统中内置的算法会自动做出决策。我们希望人工智能能够做出正确的决定，但我们如何理解和解释为什么做出这些决定呢？

可解释性是一个关键的优先事项。这不是一个新概念，但随着人工神经网络的出现，它再次脱颖而出。简而言之，这是关于解释系统做出特定决策的原因，而有些算法非常复杂，以至于没有人 - 甚至专家 - 可以解释它们是如何工作的！我们知道为什么会做出一个特定的决定，但我们不知道如何做出。这就是业内众所周知的“黑匣子”现象：我们可以在不了解导致输出的过程的每个细节的情况下解释输出。同样，重要的是能够证明一个系统实际上已经学会了我们希望它学习的东西。可解释性是我们泰雷兹研究的主要重点之一，特别是在Sinclair实验室（萨克雷人工智能研究工业合作实验室），这是一个与EDF和道达尔成立的联合研发部门，致力于这个主题，以及模拟和强化学习。对于人工智能技术来说，误读可能是一个真正的问题。我记得有一个案例，一个系统被教导识别大草原上的狮子。有一天，它看到了大草原上一头牛的照片，并认出它是一只狮子。该系统已经学会了识别大草原 - 背景 - 但没有别的。换句话说，它误判了。再举一个例子，在冷战即将结束时，美国军方正在使用基于人工智能的系统在图像中发现苏联坦克。该系统运行良好，直到有一天，它在一组模糊的假日快照中识别出“苏联坦克”。使用逆向工程技术，该团队意识到该系统错误地将所有模糊图像标记为包含坦克。可解释性的问题也适用于符号或基于规则的人工智能：当系统依靠意大利面条般的混乱规则进行演绎时，几乎不可能确定输入转换为输出的过程。

这个误学问题的答案是什么？

在泰雷兹，我们的目标是通过开发“自我解释”的人工智能来实现实时可解释性，这些人工智能可以即时解释他们的行为。以飞机上的数字副驾驶系统为例，想象一下它告诉人类飞行员在45英里内转30度。飞行员需要能够问“为什么？”特别是如果他们计划一个完全不同的行动方案。系统需要以飞行员可以理解的方式回答。它需要说“因为前方有（军事）威胁或风暴正在酝酿”——而不是“因为神经网络第 3 层被激活了 30%”。什么才算是解释？它应该适合环境和飞行员的认知负担吗？是否应该在术语的主要意义上实时提供，即在环境发生变化之前？如果飞行员有五秒钟的时间做出决定，人工智能系统的反应时间不能超过五秒钟。这些都是至关重要的问题，对如何提供解释具有重要意义：使用正确的沟通渠道，保持适当的语言水平和足够简短的信息，并根据接收者的精神状态和压力水平定制所有这些。换句话说，目的是使用精心选择的关键字，而不涉及可能使消息模糊的不必要的细节。

因此，至关重要的是，不要忽视基于人工智能的系统的人的维度。

完全。在泰雷兹，我们在这一点上为自己设定了很高的标准。我们的大多数系统都是围绕决策链设计的，因此需要人工输入。人机对话是一个具有战略重要性的问题。我们的挑战是开发和部署支持直观的人机交互和对话的人工智能系统——换句话说，不仅仅是问答的对话。你可以说这是人工智能的圣杯。图灵测试（旨在衡量机器展示类似人类智能的能力）是围绕对话建立的，这是有充分理由的。到目前为止，可解释性一直是专家的专利，但我们绝对必须将用户带入循环，以便他们可以告诉我们给定的解释是否适合他们。这是一个技术复杂的主题，但我们不能忽视人工智能系统如何与人类互动。事实上，我们对让人类控制人工智能的承诺在我们的《数字道德宪章》中白纸黑字地阐述了。任何读过艾萨克·阿西莫夫（Isaac Asimov）的人都会知道，他的机器人三定律*管理着机器人与人类之间的互动，在今天与1942年一样重要。今天，我们的人工智能方法从根本上以责任概念为指导——设计符合法律、监管和道德框架的系统和技术。展望未来，记录、建模和实施这些规则应是当务之急。

*1.机器人可能不会伤害人类，或者通过不作为，允许人类受到伤害。2. 机器人必须服从人类的命令，除非这些命令与第一定律相冲突。3. 机器人必须保护自己的存在，只要这种保护不与第一定律或第二定律相冲突。

是什么让泰雷兹与人工智能领域的其他玩家区分开来？

在泰雷兹，我们坚信混合人工智能提供了最好的前进方向，因为它结合了基于数据的系统和基于模型和知识的算法的优势。我们也是最早反对不分青红皂白的数据收集并倡导只收集所需数据的公司之一。在这样做的过程中，我们拒绝了“大数据”的概念——一种懒惰的人工智能开发方法——并采用了“智能数据”的原则，这使我们能够在应用迁移学习等技术时将我们使用的数据量保持在最低限度（利用在解决一个问题时获得的知识来解决另一个不同但相关的问题， 编者）使我们的算法在行为上更智能、更像人类。这种节俭的数据方法与我们在“神经形态”处理器方面取得的进展是一致的，这些处理器比传统的人工中性网络耗能少得多。

所以你在开发人工智能系统的方式中考虑了环境问题？

我们确实是。这正是我对绿色人工智能和人工智能为绿色倡议提出的建议背后的想法，这是我们当前工作的关键方面。人工智能技术是非常耗能的。在泰雷兹，我们采用节俭的学习方法——这些方法与数据的使用成正比——使我们的人工智能系统尽可能对环境负责。但人工智能实际上也可以帮助减少碳排放。例如，泰雷兹在开发调整飞机轨迹以限制对环境有害的凝结尾迹的产生方面处于领先地位。我们还在探索尖端的人工智能技术，如强化学习（机器学习不是从训练数据中学习，而是通过反复试验，编辑），这是一个非常有前途的领域。我们正在使用基于人工智能的系统，将尾流涡旋效应考虑在内，以限制飞机在最终进近时在空中停留的时间，并减少碳排放。在内部，我们计划就如何利用人工智能减少集团的碳足迹发起征集活动。不应将道德和环境考虑视为限制，而应被视为创造价值和差异化的机会。在我们看来，当您在具有类似功能的解决方案之间进行选择时，最好选择最环保、最合乎道德的选择。

您目前在泰雷兹探索哪些创新途径？你会对一个对人工智能感兴趣的年轻工程师说些什么？

我们目前的大部分工作都集中在人工智能工程上——构建大规模开发这些系统所需的工具、方法和流程。我们还在研究分布式人工智能，这涉及通过多智能体系统（MAS）分散决策。泰雷兹人工智能学院*的成立是专门为集团提供一批训练有素的人工智能专家。对于一位有兴趣在泰雷兹从事人工智能工作的年轻工程师来说，我想说，在我们这里工作是一个接受当今科学和技术领域一些最激动人心的挑战的机会。我想强调的是，人工智能不仅限于特定的用例——这些技术在各个领域都有应用：航空航天、太空、国防、数字身份和安全，仅举几例。鉴于科学是对简单、普遍真理的不断探索，我将可信人工智能的发展描述为利用技术力量为所有人建设更美好世界的绝佳机会。

泰雷兹代理：深圳市佰誉科技有限公司

Shen Zhen Best Electron Technology Co .,ltd

电话：17620391059

微信：bauyukeji123

邮箱：yoyo@bestelectron.cn

官网：www.bestelectron.cn