您的位置:控制工程论坛网论坛 » 智能制造 » 谷歌在研发人工智能末日攻击的“切断开关”

aaing

aaing   |   当前状态:在线

总积分:27966  2024年可用积分:0

注册时间: 2007-04-27

最后登录时间: 2023-08-21

空间 发短消息加为好友

谷歌在研发人工智能末日攻击的“切断开关”

aaing  发表于 2016/6/6 10:29:35      1239 查看 4 回复  [上一主题]  [下一主题]

手机阅读

  Google收购的英国人工智能公司Deep Mind已经展现出AI 先进的自学能力,其算法不仅在玩游戏比人厉害,而且还在与人类顶级围棋选手的对决中取得了压倒性的胜利。这不仅引发了 AI 超越人类的担忧,甚至还有人担心类似《未来终结者》那样天网对人类杀戮时刻的到来。现在 Deep Mind 决定未雨绸缪,据英国镜报报道,在近日公布的一篇论文中,Deep Mind 提出了给机器人安装 “切断开关(kill switch)” 的想法,为的是阻止 AI 学会如何阻止人类对某项活动(比方说发射核武器)的干预。用专业术语来说,这叫做 “安全可中断性”。
 

  关于安全科中断性的作用,论文写道:安全可中断性可用于控制机器人不端甚至可能导致不可逆后果的行为,或者将其从微妙处境中脱身出来,或者甚至临时用来实现某项机器人尚未学会执行或者未必会为此受到奖励的任务。

 

  天生具备拯救人类使命感的 Elon Musk 以及地球最聪明的大脑之一霍金都认为,机器对人类的威胁并非杞人忧天。去年底的时候,Musk 和孵化器 YC 的总裁 Sam Altman 共同宣布设立一家非盈利的人工智能公司 OpenAI。他们希望,这个项目能够抵消邪恶的人工超级智能可能带来的威胁。这种威胁的可能性正如牛津大学的哲学家 Nick Bostrom 发出的警告一样—如果毫无限制地分享人工智能的研究成果,在没能确保安全的情况下,一些不怀好意的人可能就会利用它干坏事:“如果你有一个按钮,只要按一下就能够对世界造成破坏,你肯定不希望每个人都拥有一个这样按钮。” 而 Deep Mind 的研究,就是对这样一种按钮的切断按钮。不过将来的问题也许是,哪一个按钮会先起效?

1楼 0 0 回复
  • yujie0612

    yujie0612   |   当前状态:在线

    总积分:3617  2024年可用积分:0

    注册时间: 2015-01-29

    最后登录时间: 2023-08-15

    空间 发短消息加为好友

    yujie0612   发表于 2016/6/6 16:03:30

    机器对人类的威胁并非杞人忧天

    2楼 回复本楼

    引用 yujie0612 2016/6/6 16:03:30 发表于2楼的内容

  • wangchen

    wangchen   |   当前状态:在线

    总积分:9915  2024年可用积分:7

    注册时间: 2010-03-25

    最后登录时间: 2024-05-22

    空间 发短消息加为好友

    wangchen   发表于 2016/6/7 18:22:42

    有图有真相,真不错,谢谢楼主分享

    3楼 回复本楼

    引用 wangchen 2016/6/7 18:22:42 发表于3楼的内容

  • luck

    luck   |   当前状态:在线

    总积分:4492  2024年可用积分:0

    注册时间: 2013-06-20

    最后登录时间: 2023-08-14

    空间 发短消息加为好友

    luck   发表于 2016/6/12 22:02:07

    太有才了。。

    4楼 回复本楼

    引用 luck 2016/6/12 22:02:07 发表于4楼的内容

  • ljbll

    ljbll   |   当前状态:在线

    总积分:3532  2024年可用积分:0

    注册时间: 2014-12-30

    最后登录时间: 2024-11-26

    空间 发短消息加为好友

    ljbll   发表于 2016/6/13 7:50:53

    安全可控制很重要

    5楼 回复本楼

    引用 ljbll 2016/6/13 7:50:53 发表于5楼的内容

总共 , 当前 /