近日，麻省理工学院媒体实验室出品了一个“暗黑版AI”，再次将人工智能的黑箱隐忧这个经久不衰的话题送上热门。据报道，实验室的三人团队联手创造了一个叫诺曼（Norman）的人工智能，与希区柯克经典电影《惊魂记》中的变态旅馆老板诺曼·贝兹同名。

名如其人。诺曼会以负面想法来理解它看到的图片。例如，一张在一般AI看来只是“树枝上的一群鸟”的普通图片，在诺曼眼中却是“一名男子触电致死”。

团队希望通过诺曼的表现提醒世人：用来教导或训练机器学习算法的数据，会对AI的行为造成显著影响。AI会成为什么样，有时人类可能束手无策。

TA们的偏见就是人类的偏见

诺曼们从哪来？答案首先藏在数据里。

“人工智能识别出的结果不是凭空而来，是大量训练的结果。如果要训练AI某一方面的能力，比如下棋，就需要收集、清洗、标记大量数据供机器学习。如果用于训练的数据不够多，就会造成AI学习的不充分，导致其识别结果的失误。”中科院自动化研究所研究员王金桥对科技日报记者表示。数据本身的分布特性，如偏差甚至偏见，也会被机器“有样学样”。针对诺曼的表现，创造它的实验室也指出，“当人们谈论人工智能算法存在偏差和不公平时，罪魁祸首往往不是算法本身，而是带有偏差、偏见的数据。因为当前的深度学习方法依赖大量的训练样本，网络识别的特性是由样本本身的特性所决定。尽管在训练模型时使用同样的方法，但使用了错误或正确的数据集，就会在图像中看到非常不一样的东西”。

另外是算法本身的影响。“这可能是无法完全避免的，由深度学习算法本身的缺陷决定，它存在内在对抗性。”王金桥表示，目前最流行的神经网络不同于人脑的生物计算，模型由数据驱动，和人类的认知不具有一致性。基于深度学习的框架,必须通过当前训练数据拟合到目标函数。在这个框架之下，如果机器要识别狗，它会通过狗的眼睛、鼻子、耳朵等局部特征进行可视化识别，而这些可视化特征却能给想利用深度学习漏洞的人机会，后者可以通过伪造数据来欺骗机器。

除了人训练机器的数据本身有偏差以外，机器通过对抗性神经网络合成的数据也可能有问题。由于机器不可能“见过”所有东西（比如识别桌子，机器不可能学习所有长短宽窄各异的桌子），人也不可能标记所有数据。如果研究者输入一个随机的噪音，机器可以向任何方向学习。这是一把双刃剑，机器也可能合成一些有问题的数据，学习时间长了，机器就“跑偏”了。

数据的均衡或可减少“跑偏”

不少科学家以“garbage in, garbage out”来形容“数据和人工智能的关系”。中科视拓（北京）科技有限公司CEO刘昕说：“对机器学习而言，进什么就出什么。监督学习就是让模型拟合标签，比如训练者把帅哥都标记成‘渣男’，那么机器看到刘德华，就会认为他是……”谈到诺曼引发的讨论，刘昕表示：“不需要担心，人类本身就有各种歧视和偏见，用人类生产的数据训练AI，再批判AI不够正直良善，这么说有点危言耸听。”

偏见、刻板印象、歧视都是人类社会的痼疾，有些流于表面，有些深入社会肌理，无法轻易剥离。在这样的语境中产生的数据，携带着大量复杂、难以界定、泥沙俱下的观点。如果研究者没有意识到或着手处理这一问题，机器学习的偏见几乎无解。真正的“公正算法”或许是不存在的。

据有关媒体报道，在谷歌研究自然语言处理的科学家 Daphne Luong 表示，正确地校准标签对机器学习来说非常关键，有些数据集其实并不平衡，像维基百科上的数据，“他”（He）出现的次数远比“她”（She）要多。

王金桥也着重强调了“数据的均衡”。就算对人来说，不同人秉持着不同的价值观，但多听多看多受教育可以让人向良好的方向改进。机器学习也是如此。“训练机器时，要注重数据的均衡，给它更多可靠的数据。研究团队成员具有多元的学术背景（如吸纳更多社会学、心理学等领域学者加入）、性别、年龄、价值观，也可以帮助机器学习更加均衡，减少机器出现偏见、谬误甚至失控的可能。”王金桥说。

“机器学习的模型本身也要有一定的防攻击能力，从技术上防止本身结构设计的漏洞被攻击，研究者可以使用各种数据攻击机器，训练机器的反攻击能力。”王金桥说。

作恶还是向善，是人类的选择

1942年，阿西莫夫在短篇小说《环舞》中首次提出著名的三定律：机器人不得伤害人类，或因不作为使人类受到伤害；除非违背第一定律，机器人必须服从人类的命令；除非违背第一及第二定律，机器人必须保护自己。半个多世纪过去，人工智能在大数据的加持下迎来爆发式发展。某些专用型人工智能把人类智能甩在身后，人们开始担忧，机器伤害人类的那一天是不是不远了。

因此有一种看法很主流——人类训练有意识、有自我觉知的人工智能是不明智的。开个脑洞，机器一旦发展出自我意识，要反向攻击人类，场面或许失控。

前段时间，据路透社报道，韩国科学技术院的人工智能研发中心正在研发适用于作战指挥、目标追踪和无人水下交通等领域的人工智能技术，希望在今年年底前研发出基于人工智能的导弹、潜艇和四轴飞行器。此事引发学术界的巨大震动，抗议纷至沓来，并最终以院长保证无意于“杀手机器人”的研发并重申人类尊严和伦理收场。在美国，以“不作恶”为纲的谷歌也因与国防部的合作协议涉及“Maven项目”被推上风口浪尖，反对者普遍认为，识别结果完全有可能被用于军事用途，比如说精准打击。谷歌最终表示终结协议。

相较于舆论环境的忧心忡忡，研究者对“技术向善”普遍乐观。他们认为把AI和“杀人机器”联系在一起，近乎“捧杀”，夸大AI能力之余，也引发不明真相的公众恐慌，无益于人工智能的发展环境。

“很多人提到AI总是一惊一乍，把AI说成超人。我相信人工智能是能解决问题的，但大家的期待也要在合理范围内。人和机器各有优势，技术会服务于特定场景，但也不需要把AI捧上天。”接受科技日报记者采访时，思必驰北京研发院院长初敏博士忍不住“抱怨”了一下。看来“我们需要怎样的AI”这一题，大家都还没有答案。