參數是機器學習算法的關鍵。它們是從歷史訓練數據中學到的模型的一部分。一般來說 在語言領域 參數的數量和復雜性之間的相關性非常好。例如 OpenAI的GPT-3是有史以來訓練了1750億個參數的最大語言模型之一 它可以進行原始類比、生成配方 甚至完成基本代碼。

近日 谷歌的研究人員開發了一種技術 并對其進行基準測試 他們聲稱這種技術能夠訓練包含超過一萬億參數的語言模型。他們表示 他們的1.6萬億參數模型是迄今為止最大的 比之前最大的谷歌開發的語言模型（T5-XXL）快了4倍。

研究人員指出 大規模訓練是建立強大模型的有效途徑。簡單的架構 大數據集和參數計數的支持 超越了更復雜的算法。但是 大規模的訓練雖然有效 但計算強度極高。這就是為什么研究人員追求他們所謂的Switch?Transformer 一種“稀疏激活”技術 它只使用模型權重的子集 或轉換模型內輸入數據的參數。

Switch?Transformer的新穎之處在于它有效地利用了為密集矩陣乘法（廣泛應用于語言模型的數學運算）設計的硬件 如GPU和TPU。在研究人員的分布式訓練設置中 他們的模型將不同的權重分配到不同的設備上 這樣權重就會隨著設備數量的增加而增加 但在每個設備上都保持可管理的內存和計算空間。

在一項實驗中 研究人員使用32個TPU內核預先訓練了幾種不同的Switch?Transformer模型 這個語料是一個750GB大小的數據集 包含從Reddit、Wikipedia和其他網絡資源上獲取的文本。他們讓這些模型預測有15%的單詞被掩蓋的段落中遺漏的單詞 以及其他挑戰 比如檢索文本回答一系列越來越難的問題。

研究人員聲稱 與包含3950億個參數和64名專家的更小的模型（Switch-XXL）相比 他們發明的擁有2048名專家的1.6萬億參數模型（Switch-C）則“完全沒有訓練不穩定性”。

然而 在SQuAD的基準測試上 Switch-C的得分卻更低（87.7） 而Switch-XXL的得分為89.6 研究人員將此歸因于微調質量、計算要求和參數數量之間的不明確關系。

在這種情況下 Switch?Transformer還是在許多下游任務上的效果有了提升。例如 在使用相同數量的計算資源的情況下 它可以使預訓練的速度提高了7倍以上。

同時研究人員證明 大型稀疏模型可以用來創建更小、更稠密的模型 這些模型可以對任務進行微調 其質量增益只有大型模型的30%?。

在一個測試中 一個?Switch?Transformer?模型被訓練在100多種不同的語言之間進行翻譯 研究人員觀察到其中101種語言都得到了普遍的改善。

在未來的工作中 研究人員計劃將Switch?Transformer應用于新的和不同的形態中去 包括圖像和文本。他們認為 模型稀疏性在一系列不同的媒體和多模態模型中都具有優勢。 責任編輯:pj