文 | 石塔西

源 | 夕小瑤的賣萌屋

盡管BERT為代表的預訓練模型大肆流行 但是身處工業界才會知道它落地有多難 尤其是QPS動輒幾百的在線推薦、搜索系統 哪怕在大廠也很難在線上系統見到它們。

今天就想反其道而行之 談談工業界搜索、推薦、廣告這類核心場景中落地能力最強的算法（之一）：因子分解機（FM）。我不敢說它是最簡單的（FM的確很簡單） 但是作為一個推薦算法調參工程師 掌握FM一定是性價比最高的。我推崇FM算法的原因 有以下三點：

功能齊全

眾所周知 推薦算法有三個應用領域：召回、粗排、精排。推薦算法千千萬 但是有的算法只能用于召回 有的算法只能用于排序。像FM這樣實現三個領域全覆蓋的多面手 目前為止 孤陋寡聞的我尚不知道有第二個。但是需要強調的是 我們不能只訓練一個FM排序模型 然后直接拿這個排序模型用于召回。盡管都是基于FM算法 但是FM召回與排序 有以下不同：

使用的特征不同

FM召回 由于未來要依賴Faiss進行線上檢索 所以不能使用user與doc的交叉特征。只有如此 我們才能獨立計算user embedding與doc embedding

FM排序 則沒有這方面的限制 可以使用user與doc的交叉特征。是的 你沒看錯。因為FM所實現自動二階交叉 僅能代表“共現”。但是user與doc之間還有其他形式的交叉 比如user tag與doc tag之間的重合度 喂入這樣的交叉 對于排序性能提升 仍然有很大幫助。

使用的樣本不同

訓練FM做排序時 必須使用“曝光未點擊”這樣的“真負”樣本。

訓練FM做召回時 起碼不能只使用“曝光未點擊”做負樣本。大部分的負樣本必須通過隨機采樣得到。個中原因見我的文章《負樣本為王：評Facebook的向量化召回算法》。

使用的Loss不同

FM排序時 由于負樣本是真實的 可以采用CTR預估那樣的point-wise loss

FM召回時 由于負樣本是隨機采樣得到的 存在一定的噪聲 最好采用BPR, hinge這樣的pair-wise loss。

性能優異

推薦系統的兩大永恒主題 “記憶”與“擴展” FM也能實現全覆蓋。

FM存在一階項 實際就是LR 能夠“記憶”高頻、常見模式

FM存在feature embedding。如我在《無中生有：論推薦算法中的Embedding思想》據說 Embedding是提升推薦算法“擴展性”的法寶。FM通過feature embedding 能夠自動挖掘低頻、長尾模式。在這一點上 基于embedding的二階交叉 并不比DNN的高階交叉 遜色多少。

便于上線

現在深度學習是推薦領域的寵兒 LR/FM/GBDT這樣的傳統機器學習算法 不招人待見。

DNN雖然性能優異 但是它有一個致命缺點 就是上線困難。訓練的時候 各位調參俠 把各種酷炫的結構 什么attention, transformer, capsule 能加上的都給它加上 看著離線指標一路上漲 心里和臉上都樂開了花 卻全然無視旁邊的后端工程師恨得咬緊了牙根。模型越復雜 離線和線上指標未必就更好 但是線上的時間開銷肯定會增加 輕則影響算法與后端的同事關系（打工人何苦為難打工人） 重則你那離線指標完美的模型壓根沒有上線的機會。雖說 目前已經有TF Serving這樣的線上serving框架 但是它也不是開箱即用的 也需要一系列的性能調優 才能滿足線上的實時性要求。

所以 如果你身處一個小團隊 后端工程人員的技術能力不強 DNN的線上實時預測 就會成為一個難題 這個時候 FM這樣的傳統機器學習算法 就凸顯出其優勢。

FM排序 雖然理論上需要所有特征進行二階交叉 但是通過公式化簡 可以在 O(n)的時間復雜度下完成。n是樣本中非零的特征數目 由于推薦系統中的特征非常稀疏 所以預測速度是非常快的。

召回 由于候選集巨大 對于實時性的要求更高。很多基于DNN的召回算法 由于無法滿足線上實時生成user embedding的需求 只能退而離線生成user embedding 對于用戶實時興趣的捕捉大打折扣。FM召回 這時就顯現其巨大的優勢。事先把doc embedding計算好 存入Faiss建立索引 user embedding只需要把一系列的feature embedding相加就可以得到 再去faiss中進行top-k近鄰搜索。FM召回 可以實現基于用戶最新的實時興趣 從千萬量級候選doc中完成實時召回。

總結與參考

由于以上優點 我心目中 將FM視為推薦、搜索領域的"瑞士軍刀"。風頭上雖然不及DNN那么搶眼 但是論在推薦系統中發揮的作用 絲毫不比DNN遜色 有時還能更勝一籌。FM有如此眾多的優點 優秀的調參俠+打工人 還等什么 還不趕快學起來。想迅速掌握FM 我推薦如下參考文獻：

掌握FM原理 推薦讀美團的博客《深入FFM原理與實踐》。FFM的部分可以忽略 在我看來 FFM更像是為了Kaggle專門訓練的比賽型選手 損失了FM的很多優點。這就好比 奧運會上的射擊冠軍 未必能夠勝任當狙擊手一樣。

FM用于召回 推薦讀《推薦系統召回四模型之：全能的FM模型》。注意 如我所述 FM雖然萬能 但是FM排序與FM召回 在特征、樣本、Loss都存在不同 不可能訓練一個FM排序就能直接拿來做召回。這一點 《全能FM》一文沒有提到 需要讀者特別注意。

如果想親手實踐 可以嘗試alphaFM。該項目只不過是作者八小時之外的課外作品 卻被很多公司拿來投入線上實際生產環境 足見該項目性能之優異和作者功力之深厚 令人佩服。強烈建議不滿足只當“調參俠”的同學 通讀一遍alphaFM的源代碼 一定收獲滿滿。

[1] https://zhuanlan.zhihu.com/p/165064102

[2] https://zhuanlan.zhihu.com/p/320196402

[3] https://link.zhihu.com/?target=https%3A//tech.meituan.com/2016/03/03/deep-understanding-of-ffm-principles-and-practices.html

[4] https://zhuanlan.zhihu.com/p/58160982

[5] https://link.zhihu.com/?target=https%3A//github.com/CastellanZhang/alphaFM

原文標題：談談工業界落地能力最強的機器學習算法

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關注！文章轉載請注明出處。