故障vs.稳健的人工智能

冬日的月光

信息技术对人类的所有事业领域都产生了巨大的积极影响，从科学界到金融业、制造业、交通运输业、医疗服务业、能源产业和传媒产业，但这些影响在人工智能的潜力面前，全都相形见绌。我们对技术的依赖性越强，人工智能的稳健性、可信度和服从度就变得越发重要。



纵观人类历史，为了让技术造福人类，我们一直依赖的是试错的方法，也就是从错误中学习。我们先发明了火，但意识到火灾无情后，才发明了灭火器和防火通道，组建了火警和消防队；我们发明了汽车，但由于车祸频发，后来才又发明了安全带、气囊和无人驾驶汽车。从古至今，技术总会引发事故，但只要事故的数量和规模都被控制在有限的范围内，它们就利大于弊。但是，随着我们不断开发出越来越强大的技术，我们不可避免地会到达一个临界点：即使只发生一次事故，也可能导致巨大的破坏，足以抹杀所有的裨益。有些人认为，可能爆发的全球核战争就是这样的例子。还有一些人认为，生物工程产生的瘟疫也算是其中一例。



在未来，我们将会面临一个富有争议的话题——未来的人工智能是否会导致人类的灭绝。不过，我们不需要这些极端的例子就能得出一个重要的结论：随着技术变得越来越强大，我们应当越来越少地依赖试错法来保障工程的安全。换句话说，我们应当更加积极主动，而不只是亡羊补牢。我们应该投资人工智能的安全性研究，保证一次事故也不会发生。这就是为什么人类社会在核反应堆安全方面的投资远远超过对捕鼠器安全方面的投资。



这也是为什么在未来生命研究所的第一次会议上，人们对人工智能的安全性研究表现出了极大的兴趣。计算机和人工智能系统总会崩溃，但这次有些不一样：人工智能逐步进入了现实世界。如果它导致供电网、股市或核武器系统的崩溃，那么这可不能用“小麻烦”这个词一笔带过。人工智能安全性研究存在4个主要领域。这4个领域是当今人工智能安全性研究方面讨论的主流，世界各地都有学者正在钻研。它们分别是：验证（verification）、确认（validation）、安全（secutiry）和控制（control）。大多数故事发生的年代很久远，虽然那时的计算机系统十分落后，没有人会把它们和人工智能联系起来，它们也很少造成什么损失，但或多或少，还是给我们带来了一些教训，指导我们在未来如何设计安全又强大的人工智能。这些人工智能如若发生故障，就会带来真正的灭顶之灾。


减少损失，提前预警，中云康崇科技有限公司就承担了这样一份责任，武汉中云康崇科技有限公司(简称“云中科技“)位于中国光谷（武汉）国家自主创新示范区武汉东湖新技术开发区，是一家由华中科技大学知名教授领衔的专业从事工业AI，工业物联网、5G应用领域技术研发创新的高科技企业，主要业务方向为工业设备智慧运维系统平台软件开发、工业信号传感器的研发生产、软件信息化工程设计安装，这些业务为工业、人工智能、机器设备稳健发展做出了重大贡献。

小小小小羽

我了个去，顶了