搜狐科技《思想大爆炸——對話科學家》欄目第31期，對話復旦大學計算機科學技術學院教授、MOSS大模型負責人邱錫鵬。
嘉賓簡介：
邱錫鵬，復旦大學計算機科學技術學院教授，中國計算機學會會員，國內第一個對話式語言大模型“MOSS”負責人，曾獲中國中文信息學會“錢偉長中文信息處理科學技術獎”一等獎。他的主要研究方向包括自然語言處理與基礎模型，在 ACL等知名會議上發表 100 余篇學術論文，被引用1.5萬余次。
劃重點：
1.現在大模型整體架構比較雷同，要想做出創新，還需在新的架構、幻覺問題、多模態等方面多做研究。
2.我本身就比較喜歡自由的研究氛圍。復旦是一個讓我覺得舒服寬松的地方，能夠去做自己喜歡的事情。
3.大模型是一個非常長的周期鏈，預訓練是開始的部分，后面還有指令的微調和對齊，是有非常多研究機會的。
4.想要實現通用人工智能，需提升大模型之間多智能體協同的能力，比如說我們是不是可以用多個大模型，像人一樣，取各之所長，合作起來完成一件事。
出品｜搜狐科技
作者｜鄭松毅
“現在大模型整體架構比較雷同，要想做出創新，還需在新的架構、幻覺問題、多模態等方面多做研究。”復旦大學計算機科學技術學院教授、MOSS大模型負責人邱錫鵬，在2023中國計算機大會(CNCC)正式開幕前對搜狐科技表示。
“MOSS”是國內第一個對話式語言大模型。談及做大模型的初心，邱錫鵬說道，大模型和人工智能方面的研究是課題組一直在做的事，ChatGPT發布之前就已經在做，只不過那時做的屬于底層的基礎模型，是不能直接和人進行交互的。
他認為ChatGPT的確可以被認為是革命性的，以對話的形式讓模型能夠和人類直接交互，同時當模型足夠大時，通用能力非常強。
1997年，邱錫鵬考入復旦大學攻讀學士學位，他表示，自己對人工智能的熱忱就是在讀本科時聽完導師的報告，慢慢了解這個領域后被激發出來的，直到現在都保持非常高的熱情。2001年畢業后，邱錫鵬繼續在復旦大學攻讀博士學位，直到2006年畢業后加入到復旦大學計算機科學技術學院，開始了自己的科研之路。
可以說，邱錫鵬將自己學業和工作的記憶都完整保存在了復旦大學。
當好奇為何邱錫鵬對復旦大學如此偏愛時，他沒有過多考慮地回答道，“我本身就比較喜歡自由的研究氛圍。復旦是一個讓我覺得舒服寬松的地方，能夠去做自己喜歡的事情。”
邱錫鵬坦言，現在國內的大模型和OpenAI的相比還是有一些差距的，一方面要去追趕，另一方面要把它非常強的推理能力盡快復現出來，并追求超越。
大模型的訓練成本一直被認為是天文數字，隨著大模型規模的發展，“新手”邁入大模型賽道的門檻也越來越高。
他表示，“現在大模型的訓練成本相較于最初是低了些的，和訓練效率有關。早期上百張卡并行的話，GPU利用率大概30%到40%，現在可以通過很多手段，把利用率提高到50%以上。另外，早期大家只關注數據量，現在更多是只訓練高質量數據，從而降低訓練的時間。”
現在大模型賽道究竟還適合新手入局嗎？
邱錫鵬認為，大模型是一個非常長的周期鏈，預訓練是開始的部分，后面還有指令的微調和對齊，是有非常多研究機會的。
“但預訓練這塊確實是投入的時間長，投入的資金也大，回報比較慢，我覺得是不太適合新人去做了，除非你能有更好的想法。因為估計你要花很長的時間，才能摸清其中的門道。”
以下為對話實錄（經整理編輯）
搜狐科技：大模型發展熱潮轉眼間已是半年，對比開始階段，您覺得現階段大模型的發展方向和研發方式發生了哪些變化？
邱錫鵬：變化肯定是有的，比如往多模態和更大的模型方向去發展，還有一個就是所謂的“超級對齊”，以及開源的社區越來越多。
實話實說現在我們這些模型和OpenAI的相比還是有一些差距的，一方面我們要去追趕，另一方面要把它非常強的推理能力盡快復現出來，并追求超越。
從學術角度來說，要有創新性。現在大模型整個架構都比較雷同，未來大模型想要發展還需在新的架構、幻覺問題、多模態等方面多做研究。
搜狐科技：您是如何理解剛才提到的“超級對齊”的？
邱錫鵬：之前都是人給機器打分，但其實是有問題存在的。比如涉及到價值觀的話，每個人之間都是有差異性的，不同國家和地區的人都不太一樣。
現在就是在尋找一種更公平的評分機制，比如不僅利用人的反饋，還用到環境的反饋，或者說寫一段代碼代替人給機器打分。
搜狐科技：很多人還習慣于用參數量級評判一個模型是否為“大模型”，這種判斷方式科學嗎？參數量級是否還是決定大模型能力的必要條件？
邱錫鵬：參數量大并不是唯一判斷條件，訓練數據量也要大，使得模型具備類似思維涌現的能力。
搜狐科技：現在大模型的訓練成本依舊很高嗎？日前媒體報道OpenAI 的CEO奧特曼前不久還去找中東土豪融資，請問大模型訓練成本未來能慢慢降下來嗎？
邱錫鵬：我是覺得訓練成本相較于初期是低了些的，和訓練效率有關。早期上百張卡并行的話，GPU利用率大概30%到40%，現在可以通過很多手段，把利用率提高到50%以上。另外，早期大家只關注數據量，現在更多是只訓練高質量數據，從而降低訓練的時間。
搜狐科技：MOSS大模型商業化落地進展怎么樣了，解決了哪些問題，是否已進入盈利階段？
邱錫鵬：我們現在是開源，下載量非常多，也聽說在不同的行業有具體的應用。但我們是高校團隊，還是以研究為主，并沒有太多深入各個行業去了解。
解決行業問題的話大致分為兩個方面，第一類是直接處理文本數據的，比如醫療、金融等；另一類是充當中間控制臺角色，比如在智能制造行業，用戶把需求說給語言模型，再由語言模型控制機械動作。
搜狐科技：您將會在CNCC上討論大模型的研究進展和產業應用展望，從MOSS作為最早國內對話式語言大模型來看，感覺您是一位具有前瞻性發展眼光的人。您也曾表示更看重大模型下一階段的發展，即實現“通用人工智能”。那么您覺得大模型下一階段的發展機會點在于什么？
邱錫鵬：現在很多智能，比如常見的語音識別、人臉識別等等都是專用的，語音識別只能做語音識別，不能做人臉識別。但“通用人工智能”就像人類的大腦一樣，能處理所有事，這也是AI領域的終極目標。
對于通用人工智能來說，如何拓展出更多的模態是現在正在研究的。GPT雖然展示出很強大的通用性，但它還是停留在語言層面。下一步如果想往通用人工智能發展，就要讓它能夠接入圖片、視頻、音頻等各種模態的數據，并讓它能夠理解和處理，包括生成。
同時要讓大模型學會使用工具，就像人一樣，一個人本身的能力可能并不強，但人能夠使用各種工具。對于大模型而言，可以通過接入插件來實現。
第三就是要提升大模型之間多智能體協同的能力，比如說我們是不是可以用多個大模型，像人一樣，取各之所長，合作起來完成一件事。
搜狐科技：您將會在CNCC上討論讓大語言模型具有內生的語音對話能力，能請您談下具體這是怎樣一種能力嗎？
邱錫鵬：這是我們的工作之一，因為我們覺得現在的大模型如果想直接和人類用語音進行交流的話，前面必須先做一個語音識別，然后回復出來的文字還需要做一個文字轉語音的工作，相當于多出了兩個模塊。
但我們覺得這好像是沒有必要的，因為大模型本身能夠更好的理解語言，加一個額外的聲音和文本之間轉換沒有必要，所以我們想讓它直接接收聲音信號，并且直接返回聲音。這樣一來不僅提升了效率，還避免了原來語音識別過程中信息缺失的問題。
搜狐科技：展望十年后，您覺得“大模型時代”會演變成什么樣子，會給人類社會帶來哪些影響和變化？
邱錫鵬：大模型現在相當于一個中樞，那將來肯定變成各種各樣角色化的智能體。比如說每個人都有自己的大模型，每個公司都有自己的模型。它能真正充當個人的助理、高級伴侶之類的。
并且它可以以實體的形態出現，比如放在機器人上或出現在家庭里面等等，我覺得很快都會實現。