12月30日 騰訊宣布其人工智能球隊摘得了首屆谷歌足球Kaggle競賽冠軍。這是一場由Google Research與英超曼城俱樂部在Kaggle平臺上聯合舉辦的足球AI比賽 經過多輪角逐 騰訊AI Lab研發的絕悟WeKick版本以1785.8的總分成為冠軍球隊。

創立于2010年的Kaggle是全球最大的數據科學社區和數據科學競賽平臺 今年 也是Kaggle首次針對足球AI領域發布賽題。

比賽使用Google Research Football強化Learning環境 基于開源足球游戲Gameplay Football開發 采取11vs11的賽制 參賽團隊需要控制其中1個智能體與10個內置智能體組成球隊。

WeKick的比賽場景該賽事發布后 吸引了來自世界頂級院校和研究機構的1100多支隊伍參加 而騰訊此次派出的隊伍其實是11月底剛剛升級為完全體的“絕悟” 當時 騰訊“絕悟”首次精通了王者榮耀所有英雄的所有技能 此次參加足球賽 就是在其基礎上進行了一些針對足球的調整。

AI如何踢足球？

Google Football（on Kaggle）以流行的足球游戲為模型 就像是一款由AI操作的FIFA游戲 智能體控制足球隊中的一個或所有足球運動員 學習如何在他們之間傳球 并設法克服對手的防守以進球。其競賽規則與普通足球比賽類似 比如目標都是將球踢入對方球門以及越位、黃牌和紅牌規則。

不同于常見足球視頻游戲的統一調控式NPC球隊 在本次Kaggle競賽中 每個球員都各由一個單獨的智能體控制 而參賽的AI模型則根據比賽情況控制其中一個智能體 與其他10個內置智能體配合。這要求每個球員不僅需要觀察對手的行為 還需要留意己方隊員的情況 背后需要非常復雜的團隊協作和競爭策略作為支撐。

比如 當對方球員控球時 己方智能體不僅要根據球場上雙方球員的分布位置預測控球球員的下一步動作 還需要與己方其他球員協同如何合規地奪取足球的控制權。且由于球場動態瞬息萬變 因此高速的實時決策能力也是必需的。

此外 從零開始完全采用強化學習方法來訓練完整的足球AI實際上也相當困難。與MOBA游戲中不斷有經濟、血量、經驗等實時學習信號不同 足球的游戲激勵非常稀疏 基本只能依靠進球 而稀疏激勵一直是目前強化Learning一大難題。

“絕悟”的冠軍之路

據騰訊方面介紹 絕悟WeKick版本首先采用了強化學習和自博弈（Self-Play）來從零開始訓練模型 并部署了一種異步的分布式強化學習框架。雖然該異步架構犧牲了訓練階段的部分實時性能 但靈活性卻得到顯著提升 而且還支持在訓練過程中按需調整計算資源 使其能適應 11 智能體足球游戲訓練環境。

由于MOBA游戲和足球游戲任務目標的差異 絕悟WeKick版本還采用了生成對抗模擬學習（GAIL）與人工設計的獎勵結合 在特征與獎勵設計上進行了擴展和創新。

該方案利用了生成對抗訓練機制來擬合專家行為的狀態和動作分布 使得絕悟WeKick版本可以從其它球隊學習。然后 再將 GAIL 訓練的模型作為固定對手進行進一步自博弈訓練 進一步提升策略的穩健性。

但這種通過自博弈強化學習得到的模型有一個天然的缺點：很容易收斂到單一風格。在實際比賽的時候單一風格的模型很容易發生由于沒見過某種打法而表現失常 最終導致成績不佳的情況。因此 為了提升策略的多樣性和穩健性 絕悟還采用了針對多智能體學習任務的League（若干策略池）多風格強化學習訓練方案。

這種League多風格強化學習訓練方案的主要流程可簡單總結為先專精后綜合。

首先訓練一個具備一定程度競技能力的基礎模型 比如運球過人、傳球配合、射門得分；

接著基于基礎模型訓練出多個風格化模型 每個模型專注一種風格打法 在風格化模型訓練的過程中會定期加入主模型作為對手 避免過度堅持風格 丟失基本能力；

最后基于多個基礎模型訓練一個主模型 主模型除了以自己的歷史模型為對手以外 還會定期加入所有風格化對手的最新模型作為對手 確保主模型能夠適應風格完全不同的對手。

最終 基于絕悟完全體的架構遷移 定制化的框架改進 加上關鍵性的生成對抗模擬學習（GAIL）方案和 League （若干策略池）多風格強化學習訓練方案 使得絕悟實現了優于其它競爭AI球隊的優勢 成就了冠軍之路。 責任編輯:pj