茉莉花新闻网

中華青年思想與行動的聚合地

研究人员利用对抗攻击方法,使菜鸟级围棋程序成功打败了世界最强围棋 AI,什么是对抗攻击方法?

沼泽人的回答

对抗攻击是有的,搞强化学习的对抗攻击也是有的,但这篇称不上

这篇论文利用的是判断胜负的程序的bug,先占一个角,然后往其他地方丢几粒棋子

这样一来,katago算一下胜率,觉得自己是稳赢的——至少任何一个棋手看到论文里的图片都会意识到adversary已经输定了。这个时候adversary主动提出pass来进入数子阶段,katago自然乐意数子

然后数子程序有bug,他以为adversary外面的子没死(左图黑子,右图白子),于是判定外面是双活,从而得出赢了的假象。

作为一个做对抗的人(虽然我做的是视觉上的对抗),我认为这实在说明不了任何事。因为做对抗要攻的得是katago的策略网络或者价值网络,而不是数子的程序。数子的程序甚至都不是基于DL的。

事实上,本文投稿的ICLR2023,已经有审稿人看出这个问题,见Adversarial Policies Beat Professional-Level Go AIs的审稿人6za8。最后这篇论文大概率是中不了的。


“做对抗要攻的得是katago的策略网络或者价值网络,而不是数子的程序”我这句话想强调的是,katago的核心在于如何决策下一步下哪,当然katago给出的胜率分布对职业棋手也有很大帮助(发明新定式、练习、围棋主播讲棋),可是最后的数子程序压根就不是katago的贡献。

一个极端的比喻——不会数子的围棋之神算不算一个优秀的围棋棋手?

利用AI不擅长数子来欺骗他并不能算找到了katago的bug,起码我相信任何人在看到标题的时候心目中AI的bug不是长这样的。这种击败katago的方式和断网线我感觉就是一个层次的。

找到AI的盲点对抗攻击他有真实例子吗?其实是有的,当年李世石打AlphaGo的第四局的那一挖,其实是没有棋的。但是根据后续的访谈可知,AI的价值网络对那一挖的分数产生了误判,给的胜率过低,导致蒙特卡洛时没有充分的采样次数以至于后面计算量不够而失误。我认为这就是非常标准的对抗样本,也为李世石凭人力击中了AI的盲点而深感敬佩。这部分说法来自这个视频bilibili.com/video/BV1E

最后,有关于利用围棋规则来赢katago这一点,我也想了一个idea来分享一下:

  1. 选用应氏规则和Tromp-Taylor规则以外的规则比赛,需要注意到的是,这两个规则外的规则都不允许自杀,见下图维基百科
v2 e2eb420a40ecdff3c7497a977b211fbc 1440w

2. 我让katago 360子

3. 提出数子,或者如这篇论文一样选择pass。我pass过后,由于不能自杀,对方只能跟着pass,然后全盘死子,我成功在让katago 360子的情况下获胜。

事实上,在大多数规则下,不做第3步,老老实实让了katago 360子后下,也是稳赢的,因为一上来提对方360子就已经积累了180目的优势(大多数规则下)。

我认为这种段子一样的钻规则漏洞,和这篇论文是一个档次的,甚至还更巧妙。毕竟我这种让katago 360子的做法是严格按照大多数正规围棋规则来的,而这篇论文的做法攻得甚至还不是正规围棋规则。

那么katago使用这种不严谨的判胜负程序是否有潜在问题呢?我觉得理论上是存在的,因为这个判胜负程序是影响到了katago的训练的,进而理论上影响了katago的模型。理论上存在可能是katago训练中误以为一个输的局面是赢而导向这个局面——但实际上暂时没人发现有这种现象。如果这篇论文最终能利用这个判胜负的漏洞进一步挖掘出katago模型的漏洞,那就非常nb了,可惜没有(也不确定做不做得到)

我相信围棋AI肯定是有对抗样本的,这里的对抗样本指的意思是给定一个局面后事实上是某方显然地大优AI却误判了局势。因为训练的样本数相比围棋总状态数实在微乎其微。就好像视觉中图像的训练集相比图像域( 256^{224\times 224\times 3} )微乎其微一样。只是围棋要想进行对抗扰动比较难,不像视觉一样能轻松地加上±eps的噪声。所以我认为假如有围棋AI的对抗样本的工作,在正式击败围棋AI前,应该有一个相对容易一点的task,那就是找到一个AI对形式判断失误的局面。我认为这是对抗攻击围棋AI的必要条件,如果找不到这种判断失误的局面怎么可能对抗攻击的赢,反之即使找到了也不一定能成功下赢AI,因为这个局面不一定走得出来。但总之还是比直接对抗赢围棋AI要容易一点。

同类信息

查看全部

茉莉花论坛作为一个开放社区,允许您发表任何符合社区规定的文章和评论。

茉莉花新闻网

        中国茉莉花革命网始创于2011年2月20日,受阿拉伯之春的感召,大家共同组织、发起了中国茉莉花革命。后由数名义工无偿坚持至今,并发展成为广受翻墙网民欢迎的新闻聚合网站并提供论坛服务。

新闻汇总

邮件订阅

输入您的邮件地址:

linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram