第619章 这是要做奥创？(第2/5 页)

“不，设定是可以更改的，就像是法律，不是一直在变化？他们也做过设定，机器人不准伤害人类，不准在人类遇到伤害的时候无动于衷，必须服从人类的指令等等。”

“可我问你，我们守护者联盟的职责是什么？是抓捕地球上每一个罪犯，打击所有的犯罪行为吗？”

“并不是！我们只有几个人，根本忙不过来那么多事儿。我们只是打击普通人难以打击的罪犯，救援重大灾难，还有就是对抗外星人，保护地球。”

“我们可以分析什么是重大灾难，什么事情必须出手相助，什么事情不必插手，机器人如何做出清晰的界定？你设计一套算法吗？”

斯塔克急了：“对啊，我怎么就不能设计一套算法？大不了给人工智能做出一些限制，每天安排一两个人值班就行了。”

“斯塔克。”范莽按住斯塔克的肩膀，让他坐下，“先不说你这个算法根本没有先例，就说你如何保证不出现bug？平时的系统出现bug，顶多是一点财物的损失。这个算法出现问题，损失的可能是人命。”

“比如你需要人工智能计算如何消灭罪犯，最简单的办法你知道是什么吗？消灭所有人类。没有人了，也就没有人类文明中定义的犯罪行为，也就没有罪犯。”

“你肯定会让人工智能去搜索网络消息对吧？网上现在有许多人用一些危言耸听的说法，说人类正在毁灭自己，人类毁灭大自然，人类毁灭其他生物等等，我们知道那不过是一些示警，为的是让我们保护自然，保证可持续发展，可是机器人能绕过这个弯吗？”

“如果人工智能犯了错，他知道会被我们惩罚，甚至毁灭，他会不会想办法做一些逃避的行为，甚至是欺骗我们？”

“你听说过环境影响人的性格这种理论吧？如果你们研究出来的人工智能出现坏的思想，你能保证贾维斯不受影响吗？”

斯塔克看着范莽的眼神有些恐惧：“你这些想法也太可怕了，我怎么会让这种事情发生？贾维斯可曾害过我们？消灭犯罪，怎么就想到毁灭人类了？”

“我们也是人类，我会制造出一台毁灭我自己的人工智能吗？”

“斯塔克，你又想人工智能足够发达，有自己的思考能力，还想人工智能不能违背你的命令，那么这不是悖论吗？正常人，有谁是绝对听命于其他人，没有自己的思想呢？”

“你有没有想过，在人工智能的眼中，我们可能已经不算是人类了！”