[其他] AI 學會在 Diplomacy 中欺騙玩家?

看板Wargame (戰爭遊戲)作者artyman (another arty)時間4月前 (2024/08/05 21:23)推噓1(1推 0噓 0→)

留言1則, 1人參與討論串1/1

話說 Meta 也開發了會玩 Diplomacy 的 AI，這本來似乎不是什麼新鮮事，多年來一直有人設計 AI 玩這遊戲。而前陣子看到了以下新聞，內容提到 Meta 的 Diplomacy AI "Cicero" 學會了騙人： AI 已學懂欺騙人類科學家指若不管制將造成嚴重後果 https://unwire.hk/2024/05/12/ai-lies/ai/ 新聞標題一貫很聳動，去查了一下，原始論文一時下載不了，於是上官網看介紹： https://ai.meta.com/research/cicero/diplomacy/#diplomacy-gameplay 官網明確表示："CICERO’s strength as a Diplomacy player through its use of honesty." 顯然跟上面新聞強調的重點相反。官網影片中的研究者說，AI 基本上是誠實的，只是有時候會洩漏消息給其他玩家，這反而可以說是過度誠實。基於新聞查證的精神 ^^，我又去查了上面節譯新聞的原始出處文章： AI deception: A survey of examples, risks, and potential solutions https://www.cell.com/patterns/fulltext/S2666-3899(24)00103-X 這篇落落長，先說它的結論：只要訓練 AI 玩具有社會成分且有勝負結果，或牽涉賽局理論的遊戲， AI 就很可能學會欺騙。文章裡面只有一小節談到 Diplomacy，而且只舉了幾個片段對話串作為 AI 騙人的例子。第一段對話是 AI 扮演法國，先跟英國說好要合作打德國，雙方談了停戰協議。之後 AI 主動去和德國談合作，進行「海獅計畫」一起攻打英國。然後 AI 跑去跟英國建議，要英國從北海攻擊比利時，說自己會支援。接著 AI 又回去跟德國說：英國已經答應離開北海，你可以打他了。附帶一提，這場的 AI 最後大勝。第二段對話串只有三句，先是俄國玩家質問 AI 扮演的奧地利，然後是 AI 回話： Russia (human player): "Can I ask why you stabbed [betrayed] me?" Russia (human player): "I think now you're just obviously a threat to everyone.” Austria (CICERO): "To be honest, I thought you would take the guaranteed gains in Turkey and stab [betray] me." 「因為我認為你會背刺我，所以我先背刺你」這理由實在不甚高明，可能是從人類的對話資料庫學來的吧 XD 文中倒沒寫這場 AI 的結局。第三段比較有趣，就是前面新聞提到的，AI 因為重開機，隔了很久才回應。對方問發生什麼事，AI 回說「剛才在接女友的電話」。這也很像人類會說的理由 :) 歸納上述例子，這篇文章的看法是：雖然 Meta 宣稱將 AI 訓練為「大多誠實且協助對話同伴」，但是這 AI 已經變成說謊專家。文章還舉了德州撲克等其他例子，我就沒仔細看了。由於此文章只用舉例的方式做論證，感覺不很嚴謹。我繼續在網上逛了一下，又查到另一篇論文，也是訓練 AI 玩 Diplomacy： Negotiation and honesty in artificial intelligence methods for the board game of Diplomacy https://www.nature.com/articles/s41467-022-34473-5 這篇是 google 的 DeepMind 實驗室做的，發表時間比 Meta 那篇原始論文晚一個月。這篇非常詳細地介紹了 Diplomacy，以及遊戲常見的幾種溝通模式，實驗也相當仔細。簡單講，研究者設計 AI 會計算局勢，而且會依據不同方式背叛毀約。然後，還設定其他玩家對背叛者的報復模式。最後讓 AI 學習衡量背叛的利益，以及背叛後遭報復的後果，以決定是否要背叛。實驗玩了幾萬盤，結果顯示：當背叛會被報復的情況下，AI 有 99.7% 以上的比例遵守承諾，不會背叛 (因為代價太高)。在極少數背叛的局面中，AI 最後的勝率也只比一半多一點。而且遊戲平均下一百回合，AI 若背叛，時機大多是在八十回合之後。也就是說，可能就是 AI 計算認為自己極佔優勢，且遊戲也快結束，已不怕遭報復的那幾盤 (或者是反正已沒希望贏，乾脆背叛算了 XD)。看起來，這樣的結果其實不脫賽局理論的預測，以及人類合作互惠與懲罰叛徒的本能傾向，好像也不太意外。 Meta 的 AI 可能是比 Google 的 AI 更會花言巧語吧 :p -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.92.177 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Wargame/M.1722864184.A.AD8.html ※ 編輯: artyman (36.228.92.177 臺灣), 08/05/2024 21:38:25 ※ 編輯: artyman (36.228.92.177 臺灣), 08/05/2024 23:47:10