說一個很多人不太信的冷知識,中國本土企業在類似ChatGPT的研發中,技術并不算差,走的也不算慢。
除了百度即將推出的文心一言,阿里、騰訊、華為等大廠均有布局。
OpenAI成功的秘訣,并不是技術上有多少代差的領先,而是瞄準了一個方向,大力出奇跡的結果。
當這個方向被證實可以成功后,后面的追隨者就可以蜂擁而至了,而這恰恰是中國企業最擅長的。
盡管這種模式被人詬病為“缺乏創新”,但幾乎所有的高端科技被中國企業掌握后,就變成了全球人民觸手可及的白菜價產品,這本身就是一種偉大的創新。
大模型也是類似。
2021年初的時候,全球有不少大廠在研究大模型,并推出了自己的階段性產品。在那個時候,GPT并不是明顯的一騎絕塵的那一個。
Facebook、Google、智源(清華旗下)、達摩院(阿里旗下)、鵬城實驗室(華為旗下)等企業的作品都很出色。
甚至廣大吃瓜群眾一度認為Google的BERT才是未來。
2021年,鵬程發布了盤古模型,并進行了開源(PS,智源的ChatGLM也進行了開源,其最簡化的版本在消費級顯卡就可以單機跑起來,支持純國產化硬件平臺,在算力卡受到制約的時候,國產硬件可以聚集規模優勢,所以星空君很看好這個模型,不過最近搞了一塊3060,只有12G顯存,距離ChatGLM的13G最低顯存要求還有一步之遙)。
從時間線上來看,和ChatGPT相比,盤古大約落后不到兩年的樣子。
后面差的,是燒錢上算力進行訓練。
為什么華為會搞大模型?
先從OpenAI搞大模型說起,是誰成就了ChatGPT?微軟。
除了投錢買顯卡外,微軟還提供了Azure云計算資源。
訓練數據需要大量的云資源,從ChatGPT對編程的過于熟練的程度看(訓練了GitHub全部代碼?),不負責任的猜想,GPT模型的訓練,甚至有可能基于某種法律的灰色地帶使用了云端用戶的數據。
智源劍走偏鋒,用的是小算力模式。
阿里達摩院就不多說了,背后靠著阿里云。星空君非常看好達摩院的大模型,之前看到達摩院在打磨面向AI算力的RISC-V“玄鐵”CPU的時候,就看明白它要干什么了。或許過一段時間,江湖會有屠龍刀出現。
而華為有一項業務就很少有人知道了,它是全球前五大云計算廠商(中國排第二,僅次于阿里云)之一,市場占有率2.8%左右。
在政務云等專業云領域,華為云在多個細分市場都是國內第一。
正是依托于自身的云計算業務,華為才有了建設大模型的能力。
同樣的,搞云計算的廠商,都有機會在大模型領域“大力出奇跡”。
比如默不作聲的騰訊,騰訊云是國內云計算第三把交椅,搞出來個混元大模型。
據介紹,騰訊混元AI大模型目前主要覆蓋NLP(自然語言處理)、CV(計算機視覺)、多模態等基礎模型和眾多行業/領域模型。
此外,騰訊方面表示,近期混元AI大模型團隊也推出了萬億中文NLP預訓練模型HunYuan-NLP-1T,實現在中文語言理解能力上的新突破,而且得益其低成本、普惠等特點,目前HunYuan-NLP-1T大模型已成功落地于騰訊廣告、搜索、對話等內部產品并通過騰訊云服務外部客戶。混元NLP大模型未來一方面會著力于探索更大的模型參數規模,另一方面也會結合音頻、圖像、視頻等多模態信息,進一步打造更強大的多模態AI大模型。另外隨著AIGC(人工智能內容生成)方向的火熱興起,未來混元AI大模型也會不斷推進在文本內容生成、文生圖等領域的持續升級。
總體來說,星空君對第四次工業革命的技術儲備還是很樂觀的。
我知道很多人看不起中國的高科技企業,就像當年看不起小米加步槍。
畢竟,之前的工業革命,我們連看客的資格都沒有:
在英國人瓦特改良蒸汽機的時候,乾隆正在下江南;德國人本茨發明汽車的時候,中國剛剛結束兩次鴉片戰爭;美國人莫克利和艾克特發明第一臺計算機的時候,中國全面內戰爆發。
而這一次,我們不會再錯過了。