1月12日 阿里巴巴、智源研究院、清華大學等聯合研究團隊發布面向認知的超大規模新型預訓練模型“文匯”。該模型不僅能提升AI的理解能力 還可基于常識實現AI創作 未來將應用于文本理解、人機交互、視覺問答等場景。

與傳統AI訓練需要人工標注數據不同 面向認知的預訓練語言模型提供了一種全新的學習思路 即AI首先自動學習大量語言文字和圖像數據 記憶和理解其中的信息以及人類語言表述的規律后 再進一步學習專業領域知識 從而讓AI同時掌握常識和專業知識。

此次發布的“文匯”是目前國內規模最大的預訓練模型 參數量級達113億 采用阿里自研的統一多種并行策略的高性能分布式框架 使用模型并行、流水并行、數據并行訓練進行分布式訓練。“文匯”突破了多模態理解與多模態生成兩大難題 可輕松理解文本圖像信息 并能完成創造性任務。例如 僅需輸入詩歌題目、朝代以及作者 “文匯”即可自動生成仿古詩詞。目前 “文匯”已支持基于認知推理的多種自然語言及跨模態應用任務 部分應用即將上線。

模型可根據詩歌題目、朝代以及作者自動生成詩歌

達摩院2020十大科技趨勢曾提到：AI已經在“聽、說、看”等感知智能領域達到或超越了人類水準 但其邏輯推理能力依舊處于初級階段 多模態預訓練模型是實現感知智能向認知智能跨越的關鍵基礎。達摩院智能計算實驗室負責人周靖人表示 “預訓練語言模型是過去70多年以來最具創新的自然語言模型之一 其模型設計難度也遠高于傳統模型 達摩院研究團隊將持續攻克算法及系統工程難題 加速人工智能走向認知智能。”

作為國內最早投入認知智能研究的科技公司之一 阿里巴巴已有30多個研究成果被國際頂級會議收錄 獲得世界人工智能大會最高獎項—SAIL獎 與清華大學聯合獲得國家科學技術進步獎二等獎 旗下圖神經網絡框架Graph Learn已面向全球開源 可減少模型的算力、存儲資源消耗 同時縮短算法開發上線周期。

責任編輯：PSY