為了讓 AI 不斷打怪升級,DeepMind 打造「宇宙」
作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |
DeepMind 又給我們小驚喜。我們都知道,強化學習苦於類化能力差,經常只能針對單個任務從頭學習。
DeepMind之前開發的AlphaZero,儘管可以玩圍棋、西洋棋和日本將棋,但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處,就在藉鑑之前經驗迅速適應新環境。
但類化能力不是一蹴而就,就像玩遊戲,也是先做簡單任務,逐步升級到複雜任務。《空洞騎士》(Hollow Knight)一開始只需要隨意走動揮刀砍怪,但噩夢級難度的「苦痛之路」關,沒有前面累積的技巧,只能玩寂寞。
多任務宇宙
DeepMind此次採用「課程學習」,讓智慧體於不斷擴展升級的開放世界學習。也就是說,AI新任務(訓練資料)是基於舊任務不斷生成。智慧體可盡情鍛鍊自己,簡單的如「靠近紫色立方體」,複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」,甚至和其他智慧體玩耍,如捉迷藏──「找到對方,且不要被對方發現」。
每個小遊戲存在世界小角落,千千萬萬個小角落拼成龐大的物理模擬世界,如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成,即任務=遊戲+世界+玩家,並根據三要素關係,決定任務的複雜度。
複雜度的判斷有四個維度:競爭性、平衡性、可選項、探索難度。
比如「搶方塊」遊戲,藍色智慧體需要把黃色方塊放到白色區域,紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾,因此競爭性較強;同時雙方條件對等,平衡性比較高;因目標簡單,所以可選項少;DeepMind把探索難度評為中上,可能是因定位區域算較複雜的場景。
再如「球球喜歡和方塊一起玩」遊戲,藍色和紅色智慧體有共同目標,讓相同顏色的球體和方塊放在相近位置。
這時競爭性自然很低,平衡性毋庸置疑很高的;可選項比上面遊戲高很多;探索難度沒有定位區域,智慧體隨便把球體和方塊放哪都行,難度就變小了。
基於這四個維度,DeepMind打造超大規模「宇宙」任務空間,幾何「地球」也只是這宇宙的小角落,是四維任務空間的一點。DeepMind將「宇宙」命名為XLand,包含數十億個任務。
來看XLand的全貌,由一系列遊戲組成,每個遊戲在許多模擬世界進行,這些世界的拓樸和特徵平滑變化。
終生學習
數據有了,接下來得找到合適的算法。 DeepMind發現,目標注意代理(GOAT)可學習更通用的策略。
具體來說,智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後,生成中間輸出,傳遞給GOAT模組,會根據智慧體目前目標處理中間輸出的特定部分,邏輯分析目標。
邏輯分析是指,每個遊戲可藉由一些方法,構建另一個遊戲,並限制策略的價值函數的最優值上限或下限。
DeepMind提出一個問題:對每個智慧體,什麼樣的任務是最好的?換句話說,打怪升級時,什麼樣的關卡設置才讓玩家順利升級為「真」高手,而不是一刀9999?
DeepMind的答案是,每個新任務都基於舊任務生成,「不會太難,也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。
訓練開始時,太難或太容易的任務可能會鼓勵早期學習,但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀,而是鼓勵終身學習,即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法,在新任務和舊任務之間彈性連接。
怎麼不讓智慧體做新任務時不適應而「暴死」?進化學習就提供很好的靈活性。總體來說,新任務和舊任務同時進行,且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體,會選拔到新任務繼續學習。
新任務中,舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製,參與新一輪「競爭」。除了舊任務的優秀智慧體,還有很多新人參與,這就引進隨機性、創新性、靈活性,不用擔心「暴死」問題。
當然,因任務不斷生成、動態變化,一個任務可訓練不同長處的智慧體,並往不同方向演化(隨著智慧體相對性能和強健性進行)。最終每個智慧體都會形成擅長任務的集合,就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小,簡直是模擬地球。
DeepMind表示,「這種組合學習系統的特性是,不最佳化有界性能指標,而是更新定義的通用能力範圍,這使智慧體開放式學習,僅受環境空間和智慧體的神經網路表達能力的限制。」
智慧初現
最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種?DeepMind說,智慧體有很明顯的零樣本學習能力,比如使用工具、合圍、數數、合作+競爭等。
來看具體例子。首先智慧體學會臨機應變。目標有三個:
黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板
AI一開始找到一個黑色金字塔,想拿到橙色地板(目標3),但搬運過程瞄見黃色球體,瞬間改變主意,「我可以實現目標1啦」,將黑色金字塔放到黃色球體旁邊。
第二個例子是,不會跳高,怎麼拿到高台上的紫色金字塔?智慧體需要想辦法突破障礙,取得高台上的紫色金字塔,高台周邊並沒有類似階梯、斜坡的路。
因不會跳高,所以智慧體「掀桌子」,把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊,「等等,這不就是我要的階梯嗎?」這過程是否體現了慧體的智慧,還無法肯定,可能只是一時幸運。關鍵還是,要看統計數據。
經過5代訓練,智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲,涉及340萬個獨立任務,最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務,除了少數即使人類也無法完成的任務。
DeepMind的研究,或許一定程度體現「密集學習」重要性。也就是說,不僅資料量要大,任務量也要大。這也使得智慧體在類化能力有很好表現,如資料顯示,只需對一些新複雜任務進行30分鐘集中訓練,智慧體就可快速適應,而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。
往後我們也期待這「宇宙」更複雜和生機勃勃,AI經過不斷演化,不斷給我們帶來驚喜(細思極恐)的體驗。
資料來源:https://technews.tw/2021/07/30/deepmind_xland/
同時也有327部Youtube影片,追蹤數超過23萬的網紅Lice萊斯,也在其Youtube影片中提到,《鹽與聖域》是我目前玩過動作角色扮演系統最完整的類銀河戰士惡魔城,同時也是在類魂遊戲中,魂感真的頗強頗貼近的一款。影片中有一些重要的東西沒講到。我覺得手殘黨也是可以玩的,就是農一下就好了,沒地圖的部分真的覺得還好,不太嚴重。而Steam頁面雖然沒寫中文,但是只是沒更新而已,已經有內建的中文,要不是沒...
「空洞騎士」的推薦目錄:
- 關於空洞騎士 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳貼文
- 關於空洞騎士 在 Facebook 的最佳貼文
- 關於空洞騎士 在 stu sis Facebook 的最讚貼文
- 關於空洞騎士 在 Lice萊斯 Youtube 的最讚貼文
- 關於空洞騎士 在 Sky game Youtube 的最讚貼文
- 關於空洞騎士 在 紀囧Jongie Youtube 的精選貼文
- 關於空洞騎士 在 [閒聊] 空洞騎士是不是充滿惡意的遊戲阿- c_chat | PTT動漫區 的評價
- 關於空洞騎士 在 空洞騎士- Explore 的評價
- 關於空洞騎士 在 [心得] 空洞騎士全通關心得- nswitch | PTT遊戲區 的評價
- 關於空洞騎士 在 空洞騎士(Hollow Knight)官方周邊分享 - Mobile01 的評價
- 關於空洞騎士 在 [問題] AoE4 家庭共享問題 - PTT 問答 的評價
- 關於空洞騎士 在 [討論] 什麼樣的遊戲類型在現代已經算淘汰了- C_Chat 的評價
- 關於空洞騎士 在 [討論] 什麼樣的遊戲類型在現代已經算淘汰了 - PTT 熱門文章Hito 的評價
- 關於空洞騎士 在 [閒聊] 拉拉拉德瑪西亞跟超神學院vs奧術- 看板LoL | PTT遊戲區 的評價
空洞騎士 在 Facebook 的最佳貼文
[ 墨畫 ][ 空洞騎士Hollow Knight ]
心目中的神作之列~~~!
之前訂購的空洞騎士周邊終於到了
高興之餘也想藉由繪製作品來大推一下
音樂/美術/遊戲內容都是上上之選
滿心期待續作絲之歌~~~
#HollowKnight #PAPARAYA #水墨 #空洞騎士 #墨畫
空洞騎士 在 stu sis Facebook 的最讚貼文
[191821] 3221. 沉默的真相The Long Night (2020)★★8.3/10 · 320 票__陳奕甫
[191822] 3222. Weezer - All My Favorite Songs (2021)★__Colin Read
[191823] 3223. Eminem - Higher (2020)★🆁
[191824] 3224. Sainté - Stylin' (2021)★★
[191825] 3225. Sainté - Champagne Shots (2020)★★★
[191826] 3226. Sainté - Reference (2020)★★∿
[191827] 3227. Sainté - Teleport (2020)★★
[191828] 3228. Sainté - Envy Me (2019)★★
[191829] 3229. Cassandra Jenkins - Candy Crane (2018)★★★
[191830] 3230. NF Zessho & RAITAMEN - Blono's Way [Another] (2018)★★★
[191831] 3231. Vanishing Twin: Choose Your Own Adventure (2016)★★★
[191832] 3232. Soft Machine - Snodland / Penny Hitch (1973)★★★
[191833] 3233. Solar Plexus - The Eye of Odin (1972)★★★
[191834] 3234. 羅卡:兩個推薦給未來的魔物獵人崛起玩家可以入手的週邊配備 (2021)★
[191835] 3235. 羅卡:小小夢魘完整版開箱 (2021)★
[191836] 3236. 羅卡:這20款遊戲你玩過幾款?東西方遊戲銷售排行榜比較 (2021)★
[191837] 3237. 羅卡:女神異聞錄5 亂戰:魅影攻手開箱 (2020)★
[191838] 3238. 羅卡:空洞騎士Hollow Knight開箱 (2019)★
[191839] 3239. 羅卡:大神絕景版開箱 (2018)★
[191840] 3240. 巴哈姆特電玩瘋:還死不夠?8 款推薦類魂遊戲讓你再死一千次 (2019)★★
[191841] 3241. 巴哈姆特電玩瘋:《GRIS》如夢似幻的絕美藝術畫面 玩遊戲也可以很文青 (2018)★
[191842] 3242. 巴哈姆特電玩瘋:《汪達與巨像》空靈悲壯的遊戲藝術之作以現代技術完全重製 (2018)★
[191843] 3243. 巴哈姆特電玩瘋:「大神」遊戲與藝術性兼具的傳說之作 (2016)★★
[191844] 3244. 卡爾:Girl's Power Cypher (2021)★
[191845] 3245. Rokia Traoré - Titati (2012)★★★
[191846] 3246. Vanishing Twin - The Invisible World (2019)★★★__Andrada Jichici
[191847] 3247. Vanishing Twin - Telescope (2017)★★★__Elliott Arndt
[191848] 3248. Vanishing Twin - Choose You Own Adventure (2016)★★★__Elliott Arndt
[191849] 3249. Vanishing Twin - The Conservation of Energy (2016)★★★__Catherine Lucas, Elliot Arndt
[191850] 3250. Vanishing Twin - Vanishing Twin Syndrome (2016)★★★__Elliott Arndt
空洞騎士 在 Lice萊斯 Youtube 的最讚貼文
《鹽與聖域》是我目前玩過動作角色扮演系統最完整的類銀河戰士惡魔城,同時也是在類魂遊戲中,魂感真的頗強頗貼近的一款。影片中有一些重要的東西沒講到。我覺得手殘黨也是可以玩的,就是農一下就好了,沒地圖的部分真的覺得還好,不太嚴重。而Steam頁面雖然沒寫中文,但是只是沒更新而已,已經有內建的中文,要不是沒時間我一定會二輪三輪玩下去。
-----
【各種社交平台】
夜電玩咖Podcast:https://seven.fyi/playerclub
DISCORD甚麼色?:https://discord.gg/JCNbErN
Twitch 實況(R18+):http://www.twitch.tv/lice0424
臉書粉絲團:https://www.facebook.com/Lice0424/
-----
【# 特賣推薦影片】
Steam特賣不知道要買甚麼?遊戲荒沒遊戲玩?看這邊!
✈https://www.youtube.com/playlist?list=PLpVkxO-KqEaButYz52MMXQIvYygzOsy2M
-----
【播放清單推薦】
【實況日常&精華】:https://goo.gl/f6zVMu
【萊斯垃圾話】:https://goo.gl/GJyNP8
【萊斯聊Game】:https://goo.gl/RXus2
-----
【工作人員名單】
腳本 Script : Lice
拍攝 Cameraman : Lice
後製 Editor :Lice
封面 Cover :Lice
#鹽與聖域 #類銀河戰士惡魔城 #聊Game
空洞騎士 在 Sky game Youtube 的最讚貼文
我是想當天堂製作人啦,幫我把祝福武士刀點到+10就好
哈囉,我是SKY,歡迎來到我的頻道,是個愛分享的實況主,這裡會有我的實況、影片剪輯,會呈現各種不同的主題給大家。只要新遊戲的推出,一定會先超前部屬,預習並補足這款遊戲的前導資訊給大家,玩後也會出《實際遊玩的心得》給大家,避免各位踩到雷,要是遊戲更有延展性,也會推出攻略出來。你要是喜歡,歡迎各位可以加入我的頻道,必定會繼續努力下去!
喜歡我,可以訂閱SKY頻道!
►https://goo.gl/XnqAYp
關於工商/合作請洽詢:
►fritgc0204@gmail.com
►cathy@ninedr.com
讓SKY不用愁每個月的飯錢所在:
►Youtube 加入頻道會員 : https://pse.is/QP9GH
►paybal(適用國外) : https://streamlabs.com/skyy204
►歐付寶(適用國內) :https://goo.gl/RNzQeW
►歐付寶(直播時使用,會覆誦你的留言) : https://goo.gl/G9oYuE
關於Sky所有經營 :
►Sky Game頻道 : https://www.youtube.com/c/Skygame204
►Sky facebook專頁 : https://www.facebook.com/sky204/
►Sky Discord : https://discord.gg/9Tpxh8F
►Sky IG : https://www.instagram.com/sky_game204/?hl=zh-tw
-----------------------------------------------------------------------------------
分享請使用本影片
1.禁止轉載營利之使用.
2.禁止放置自身頻道之使用.
#sky #銀斧 #台灣遊戲
空洞騎士 在 紀囧Jongie Youtube 的精選貼文
哈瓜哈瓜@Twitch ➔ https://www.twitch.tv/jongie
紀囧Jongie@Facebook ➔ https://www.facebook.com/Jongie0630
Jongie_melon@Twitter ➔ https://twitter.com/Jongie_melon
工商合作洽詢 ➔ potter14761476@gmail.com
感謝剪輯 & 封面製作 ➔ MastermindKat
空洞騎士 在 空洞騎士- Explore 的推薦與評價
<空洞騎士> 拯救昆蟲王國,非你莫屬。 榮獲海外多項大獎肯定!同時收錄四篇追加內容、以昆蟲為題材的橫向卷軸動作冒險傑作『Hollow Knight』今天(9/27)上架。 ... <看更多>
空洞騎士 在 [心得] 空洞騎士全通關心得- nswitch | PTT遊戲區 的推薦與評價
文長慎入去年的時候開始接觸獨立遊戲, 三款遊戲直接從推薦榜跳出, 空洞騎士、Celest、還有死亡細胞。 想了想、就想說從看起來最舒服的空洞 ... ... <看更多>
空洞騎士 在 [閒聊] 空洞騎士是不是充滿惡意的遊戲阿- c_chat | PTT動漫區 的推薦與評價
4 F 推dces6107: 空洞騎士是近年來銀河城類最好的遊戲了。08/12 22:22. 5 F →r85270607: 如果不符合自己胃口的話沒必要強迫這樣玩08/12 22:22. ... <看更多>