PTT遊戲區 / GO (圍棋)

[情報] 不可思議的五路肩沖怎麼來的？

看板GO (圍棋)作者 (收收收尾)時間9年前 (2016/03/13 06:35), 9年前編輯推噓25(25推 0噓 46→)
留言71則, 22人參與, 最新討論串1/2 (看更多)
https://www.youtube.com/watch?v=qUAmTYHEyM8&t=15m15s
第三戰賽前訪問重點整理 - 不可思議的五路肩沖怎麼來 AlphaGo 計畫的領導人David Silver (重點聽譯 有誤請見諒) 1. Redmond(美國九段)問： 第二戰的黑37手五路肩沖太令人驚訝了， 我從來沒看人家這樣下過，阿法狗是怎麼想出來的？ Silver回： 很多人都問我這個問題，我就回去找資料看看阿法狗到底是怎麼想出來的， 阿法狗有個模型，也就是方針網路(Policy Network)， 是利用人類過去所下過的棋譜，來訓練這個方針網路， 讓這個模型可以預測人類下一步會怎麼下。 然後我就問阿法狗，到底過去人類會下這步五路肩沖的機率有多少？ 阿法狗說，人類棋手只有萬分之一的機率會選擇下五路肩沖這步棋。 (咩按：怪不得李世石要中離去抽菸啊～根本整人嘛) 雖然機率很低，但阿法狗還是有去搜尋這步棋， 經過往下評估計算之後(Value Network, Roll Out等)，發現這步真的是好棋， 所以就下了這步棋。 2. Redmond問： 即使人類下的機率這麼低，阿法狗還是選擇這樣下了， 表示人類選擇怎麼下的機率不會影響到阿法狗嗎？ Silver回： 人類下一步怎麼下的機率，只是在最開始的時候，提供阿法狗一些搜尋的初始選項， 實際會怎麼下還是要依靠阿法狗自己後續的評估結果。 (咩按：所以阿法狗有點像是依靠人類的過去下過的棋步， 來捨棄一些根本不需要考慮的位置，所以初手大元還是有可能的(誤)) 3. Garlock問： 阿法狗幾歲？(咩按：這問題...) Silver回： 兩歲。(咩按：開始講一些古，台灣之光AlphaGo的臉，黃士傑，巴拉巴拉) 去年發表論文，發現光練習古人的譜，不用做任何計算，AI就可以有業餘段位水準， 整個很吃驚。所以就覺得很有希望，跑去找CEO談談，結果就開了projetc， 找了很多人進來，成就了阿法狗跟這場世紀之戰。 4. Redmond問： 阿法狗打敗了世界冠軍，有人說你們有針對李世石做軟體上的調整， 但剛剛聽你講起來發現好像不太可能？ Silver回： 阿法狗是用幾十萬份的棋譜去訓練出來的，李世石的譜在數量上相比起來， 就好像把一滴水丟到大海裡一樣， 不太可能顯著的去影響阿法狗的棋風，而且阿法狗還有很多自我對局的強化學習。 對我來講，我們很難調整阿法狗去針對李世石， 相反的，李世石是一個很棒的棋手， 他比我們還更可能去適應阿法狗的棋風。(咩按：其實還挺有道理的) 而且只針對一個棋手去調整，其實還蠻危險的。 我們的設計目標很簡單，就是設計一個程式來讓勝利的機率最大化。 我們在比賽前我們還中止了阿法狗的發展進程，讓我們可以順利測試， 所以在比賽過程中，程式的版本其實是沒有改變的。 5. Redmond問： 你覺得像五路肩沖這種神奇棋步，有可能會持續出現嗎？ Silver回： 我們在比賽中學到很多，從像你這樣的解說評論與分析等等， 我們選擇李世石也是認為他可以測試到阿法狗的極限， 但其實我們不知道阿法狗會怎麼下。 我們雖然創造它，但這時候也只能站旁邊看它會怎麼下， 不然我現在應該是在努力coding，而不是來接受訪問。 (咩按：AI可以讓你不用再當好人工程師) 6. Garlock問： 我聽說阿法狗現在好像甚至不需要人類過去的棋譜來輔助？ 聽說可以從零開始左右互搏訓練，也太讓人驚訝了吧 Silver回： 目前阿法狗的確是從人類過去的棋譜來學習， 但是從零開始訓練，的確是我們未來的計劃， 或許棋風會變得很不一樣也說不定。 (咩按：最後再說了一些這可能是五百年來最出名的圍棋賽等等...) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.121.60.118 ※ 文章網址: https://www.ptt.cc/bbs/GO/M.1457822159.A.CE1.html
推
03/13 06:38, , 1F
推
03/13 06:38, 1F
推
03/13 06:46, , 2F
感謝翻譯
03/13 06:46, 2F
推
03/13 07:03, , 3F
再推一次XD，重點擷得太好了
03/13 07:03, 3F
推
03/13 07:05, , 4F
話說按照圍棋用語會不會稱他是日本九段? :p
03/13 07:05, 4F
推
03/13 07:07, , 5F
太狂了!人類哪有機會在有限時間內探索機率只有萬分之一的分
03/13 07:07, 5F
→
03/13 07:07, , 6F
支!
03/13 07:07, 6F
→
03/13 07:09, , 7F
我覺得有意義的是去套討為什麼阿法狗會認為那是好棋
03/13 07:09, 7F
→
03/13 07:09, , 8F
人不是因為萬分之一沒有時間想到 而是因為普遍不會認為那是
03/13 07:09, 8F
→
03/13 07:10, , 9F
好棋 才選擇不下 讓機率變成萬分之一
03/13 07:10, 9F
推
03/13 07:29, , 10F
成為好棋的原因就是alphaGo把那步棋在想像中下了幾千次，盡
03/13 07:29, 10F
→
03/13 07:29, , 11F
可能探索各種變化，結果還不錯，就真的選擇下了。
03/13 07:29, 11F
→
03/13 07:30, , 12F
所以我的意思就是那些變化到底可不可以慢慢被人歸納 還是像
03/13 07:30, 12F
→
03/13 07:31, , 13F
這些手是永遠模仿不能的 不過有些人認為勝率高不代表是好棋
03/13 07:31, 13F
→
03/13 07:31, , 14F
我是覺得既然AG算到那麼多步還認為這是勝率最高的一手 那就
03/13 07:31, 14F
→
03/13 07:31, , 15F
有研究的價值
03/13 07:31, 15F
推
03/13 07:45, , 16F
我個人意見是如果並非只牽扯到局部，而是廣泛影響到全局的
03/13 07:45, 16F
→
03/13 07:45, , 17F
好手，人不必研究了，AG已經研究過了，讓他把其中幾個變化
03/13 07:45, 17F
→
03/13 07:45, , 18F
輸出給人聞香就好了。再怎麼樣探索，單憑人力，下次在比賽
03/13 07:45, 18F
→
03/13 07:45, , 19F
中出現類似的盤面，也只能強記，無法即時探索更遠。但當人
03/13 07:45, 19F
→
03/13 07:45, , 20F
開始強記無法消化的棋步，棋這門可稱作藝術的競技就感覺沒
03/13 07:45, 20F
→
03/13 07:45, , 21F
有美感了。
03/13 07:45, 21F
→
03/13 07:58, , 22F
日本棋手表示：你們開始重視下棋的美感了嗎^_^
03/13 07:58, 22F
→
03/13 08:01, , 23F
感謝阿發狗促成圍棋必須講究美感的共識
03/13 08:01, 23F
推
03/13 08:08, , 24F
我覺得換個問法五路尖衝小李為何不爬四路那邊要出頭
03/13 08:08, 24F
推
03/13 08:19, , 25F
推樓上。也許後續又有什麼很不像人類的妙手配合?
03/13 08:19, 25F
推
03/13 08:35, , 26F
好文
03/13 08:35, 26F
推
03/13 09:22, , 27F
開盤階段平均每個點被考慮到的機率是千分之三。對電腦而
03/13 09:22, 27F
→
03/13 09:22, , 28F
言萬分之一其實不低。至少它還排在候選名單中。我想會不會
03/13 09:22, 28F
→
03/13 09:22, , 29F
開盤時所有三四五路的點都想一下。
03/13 09:22, 29F
推
03/13 09:24, , 30F
人類要脫離制式規範被舊有經驗侷限
03/13 09:24, 30F
→
03/13 09:24, , 31F
創意才有辦法打敗阿法狗
03/13 09:24, 31F
推
03/13 09:25, , 32F
我覺得萬分之一感覺上已經很接近要被剪掉了耶@@
03/13 09:25, 32F
→
03/13 09:25, , 33F
至少傳統minimax的變體，如果統計上最佳解機率萬分之一
03/13 09:25, 33F
→
03/13 09:25, , 34F
應該就cut掉了唄?
03/13 09:25, 34F
→
03/13 09:26, , 35F
以前覺得不可行的事實上是因為經驗累積
03/13 09:26, 35F
→
03/13 09:26, , 36F
但人類經驗只占不知道幾個百分比而已
03/13 09:26, 36F
→
03/13 09:27, , 37F
萬分之一是職業棋譜帶來的 bias 後面他還是有自己考慮
03/13 09:27, 37F
→
03/13 09:27, , 38F
萬分之一是高段職業棋手下出的可能性
03/13 09:27, 38F
→
03/13 09:28, , 39F
AlphaGo原理上會先用職業棋譜嘗試排除那些必敗的下法
03/13 09:28, 39F
推
03/13 09:28, , 40F
對orz 我想錯了，關鍵是rollout算到底可能還比SL策略網
03/13 09:28, 40F
→
03/13 09:29, , 41F
路快，沒理由不同時rollout一下
03/13 09:29, 41F
推
03/13 09:46, , 42F
其實如果萬分之一的機率在所有候選點的排名還有前二十，那
03/13 09:46, 42F
→
03/13 09:46, , 43F
機器還滿有餘裕去細究的。
03/13 09:46, 43F
→
03/13 09:53, , 44F
我很悲觀地想 那五路肩衝不是賽中臨時測試出來的
03/13 09:53, 44F
→
03/13 09:53, , 45F
而是平時自我對練發現的 而且已融入AlphaGO自身 也就是
03/13 09:53, 45F
推
03/13 09:53, , 46F
網路上有些人說 "AlphaGo 吸收了人類百年千年來的經驗
03/13 09:53, 46F
→
03/13 09:54, , 47F
AlphaGO在比賽前 就已經準備了數量不知多少的妙手 等著
03/13 09:54, 47F
→
03/13 09:54, , 48F
所以贏李是自然的" 但是從37手前人只有萬分之一的機率來看
03/13 09:54, 48F
→
03/13 09:54, , 49F
人類去挖 只要對戰棋手程度夠 是可以挖出更多妙手的
03/13 09:54, 49F
→
03/13 09:55, , 50F
這個說法已經不攻自破了. 37 手 AlphaGo 是靠自己下的.
03/13 09:55, 50F
→
03/13 09:56, , 51F
對不起 moonlind 和你交叉了 orz
03/13 09:56, 51F
→
03/13 09:57, , 52F
沒關係啦 我很期待沒人類經驗的AlphaGO跟目前的對戰
03/13 09:57, 52F
→
03/13 09:58, , 53F
藉此測試究竟人類的經驗究竟孰輕孰重 若勝率50% 很可能
03/13 09:58, 53F
→
03/13 09:59, , 54F
代表 人類所謂經驗 僅滄海一粟 如果勝率低於50%...
03/13 09:59, 54F
→
03/13 10:00, , 55F
更慘 代表人類有自我的盲點 並且累積成不可忽視的缺失
03/13 10:00, 55F
※ Senkanseiki:轉錄至看板 C_Chat 03/13 10:01
推
03/13 10:09, , 56F
這五路尖衝也只有這局能用吧
03/13 10:09, 56F
※ 編輯: asglay (122.121.60.118), 03/13/2016 10:20:18
→
03/13 10:24, , 57F
可以歸納才能被人類拿來使用 不過這也將是人類的浪漫了
03/13 10:24, 57F
推
03/13 10:28, , 58F
實際上就是AlphaGo在圍棋上已經走得比人類更遠了
03/13 10:28, 58F
→
03/13 10:29, , 59F
以前常說AI不可能算贏人類 是因為圍棋盤面變化多達170
03/13 10:29, 59F
→
03/13 10:30, , 60F
位數 但實際上人類上千年累積起來的圍棋經驗 離這個17
03/13 10:30, 60F
→
03/13 10:31, , 61F
0位數也還差得很遠
03/13 10:31, 61F
推
03/13 10:31, , 62F
所以必須多嘗試以前不敢做的就會變化出不同局勢
03/13 10:31, 62F
推
03/13 10:51, , 63F
蠻好奇如果把AI目標設定成贏最大目數會生神摸事
03/13 10:51, 63F
推
03/13 11:29, , 64F
47:30那裡
03/13 11:29, 64F
→
03/13 11:30, , 65F
我覺得這解釋還蠻有道理的, 跟前面的尖有關係
03/13 11:30, 65F
推
03/13 11:31, , 66F
要設定最大子效的話，一定要設定時間，不然會算到天荒
03/13 11:31, 66F
→
03/13 11:31, , 67F
地老也算不完
03/13 11:31, 67F
推
03/13 11:34, , 68F
所以在比賽過程中，程式的版本其實是沒有改變的。 可怕阿
03/13 11:34, 68F
→
03/13 11:34, , 69F
也就是其實三戰都沒有即時更新..........
03/13 11:34, 69F
推
03/13 14:29, , 70F
03/13 14:29, 70F
推
03/13 21:28, , 71F
這手棋實在太酷了
03/13 21:28, 71F
‣ 更多 asglay 的文章
文章代碼(AID): #1Mv9dFpX (GO)
GO 近期熱門文章
更多 近期熱門文章 >>
PTT遊戲區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 asglay 的文章
文章代碼(AID): #1Mv9dFpX (GO)