數據增強技術使AI模型能夠基于大都會藝術博物館的一個小型數據集來模仿藝術作品 并在醫療健康等領域開創全新的潛在應用。
NVIDIAResearch的最新AI模型可謂生成式對抗網絡（GAN）領域的“神童”。相較于典型的GAN 它只需要基于極少量的學習材料 就能學習諸如模仿著名畫家和重建癌癥組織圖像這樣復雜的技能。
通過將一種突破性的神經網絡訓練技術應用于常用的NVIDIAStyleGAN2模型 NVIDIA的研究人員基于大都會藝術博物館中不到1 500張圖像重新設計了藝術作品。他們使用NVIDIADGX系統加速訓練 從歷史人物肖像中汲取靈感 創作出了全新的AI藝術作品。
這種稱為自適應鑒別器增強（ADA）的技術能在將訓練圖像的數量縮減10-20倍的情況下 仍保持不錯的效果。未來 該技術將會為醫療健康領域帶來重大影響 例如 可通過創建癌癥組織學圖像來幫助訓練其他AI模型。
NVIDIA圖形研究副總裁DavidLuebke表示：“這些研究結果意味著 人們可以使用GAN來解決大量數據過于耗時或難以獲取的問題。我十分期待藝術家、醫學專家和研究人員能夠對其充分利用 實現更多應用。”
本周 這一項目的研究論文將在年度神經信息處理系統大會NeurIPS上發表。在本屆大會上 NVIDIAResearch破紀錄地有28篇研究論文入選 該論文就是其中之一。
這種新方法是NVIDIA研究人員在GAN領域的一系列創新中的最新成果。這些研究人員開發了基于GAN的突破性模型 包括AI繪畫應用程序GauGAN、游戲引擎模擬器GameGAN和寵物照片轉換器GANimal。這些模型在NVIDIAAIPlayground均有提供。
數據訓練的困境
像大多數神經網絡一樣 GAN長期遵循一個基本原則：數據訓練量越多 模型越完善。這是因為每個GAN都由兩個配合的網絡組成——一個生成合成圖像的生成器 以及一個根據訓練數據來學習逼真圖像的鑒別器。
鑒別器會指導生成器 提供逐個像素反饋 以幫助其提升合成圖像的真實感。但如果可供學習的訓練數據有限 鑒別器就無法幫助生成器發揮其全部潛能 就如同新手教練的實戰經驗要比經驗豐富的專家少得多。
要訓練高質量的GAN 通常需要50 000至100 000個訓練圖像。但在很多情況下 研究人員根本沒有成千上萬的樣本圖像可以利用。
僅使用幾千張圖像進行訓練 許多GAN就會難以運行 無法產生逼真的結果。當鑒別器僅能記住訓練圖像而無法向生成器提供有用的反饋時 就會發生“過擬合”的問題。
在圖像分類任務中 研究人員會通過數據增強來解決過擬合的問題。這項技術使用現有圖像的副本來擴展較小的數據集 這些副本經過旋轉、裁剪或翻轉等過程而隨機扭曲 從而迫使模型更加通用化。
但是 此前將增強技術應用于GAN訓練圖像時 生成器學會了模仿那些失真的圖像 而非創建可信的合成圖像。
GAN的實戰演練
NVIDIAResearch的ADA技術能夠自適應地應用數據增強 這意味著在訓練過程中的不同點上 可以調整數據增強的數量 以避免過擬合。這使諸如StyleGAN2這樣的模型可以使用更少的訓練圖像 獲得同樣驚人的效果。
結果 研究人員可以將GAN應用于從前看來不切實際的應用中。在這些應用中 示例往往太少且難以獲得 或收集大型數據集的工作太耗費時間。
藝術家使用了不同版本的StyleGAN來創作令人驚嘆的展品 并根據傳奇插畫家OsamuTezuka的風格創作了新的漫畫。Adobe甚至采用它來為Photoshop的全新AI工具“神經過濾器（NeuralFilters）”提供支持。
由于入門所需的訓練數據較少 因此采用ADA的StyleGAN2可應用于珍稀藝術作品 例如總部位于巴黎的AI藝術團體Obvious在非洲科塔面具上的作品。
另一潛在應用是醫療健康領域 因為大多數檢查結果都是正常的 因此罕見疾病的醫學圖像可能非常稀少。要想積累大量有用的異常病理切片數據集 需要醫學專家花費大量時間 辛苦地進行標記。
通過GAN 采用ADA創建的合成圖像可以填補這一空白 為另一種AI模型生成訓練數據 從而幫助病理學家或放射學家發現病理圖像或MRI研究中的罕見病情。此外 借助AI生成的數據 就不存在患者數據或隱私方面的擔憂 更便于醫療機構共享數據集。
NVIDIAResearch在NeurIPS上大放異彩
NVIDIAResearch成員團隊由全球200多名科學家組成 致力于AI、計算機視覺、自動駕駛汽車、機器人技術和圖形學等領域。在12月6日至12日舉行的年度最大的AI研究會議NeurIPS上 將重點介紹NVIDIA研究人員撰寫的超過24篇論文。
點擊鏈接 查看NVIDIA Research成員團隊在NeurIPS大會上發表的全部論文。
文章主配圖是由StyleGAN2借助ADA生成的 其僅僅基于大都會藝術博物館收藏品API的不到1 500張圖像的數據集進行了訓練。