搜狐科技《思想大爆炸——對話科學家》欄目第六期，對話中國科學院自動化研究所研究員、人工智能倫理與治理中心主任曾毅。
嘉賓介紹：
曾毅，工學博士，中國科學院自動化研究所研究員、類腦智能實驗室副主任、人工智能倫理與治理中心主任；中國人工智能學會心智計算專委會主任；國家新一代人工智能治理專委會委員；聯合國教科文組織人工智能倫理特設專家組專家。
出品 | 搜狐科技
作者 | 梁昌均
當一群技術信徒在為AI大模型開啟通用人工智能時代而興奮時，也有不同的聲音呼吁警惕風險，提高對AI安全和監管問題的重視。
近日，美國非營利組織生命未來研究所和人工智能安全中心先后發布的兩封聲明就代表了這樣的聲音，并獲得科學界和企業界上千位人士的簽名支持，包括全球首富、特斯拉CEO馬斯克，OpenAI創始人山姆·奧特曼，以及深度學習之父杰弗里·辛頓。
這兩封聲明在國內科研界也獲得一定支持，中國科學院自動化研究所研究員、人工智能倫理與治理中心主任曾毅就是其中的一位。他為什么會簽署？AI真的會帶來滅絕風險？
近日，在與搜狐科技的獨家對話中，曾毅表示，兩次聲明都意識到了目前人工智能發展過程中的風險和失控的可能性，但應對方式有顯著差別。
《暫停人工智能巨模型實驗》號召通過暫停更高級別的巨模型的研究，優先為AI設計并實現安全框架；《人工智能風險聲明》號召“減輕人工智能滅絕的風險應該與流行病和核戰爭等其他社會規模的風險一起成為全球優先事項”，更深度和直接地表達了對AI給人類帶來潛在生存風險的擔憂和應采取的行動。
曾毅正是基于認同這樣的觀點而在聲明上簽字。“少數人很難改變趨勢，但少數人首先站出來提升公眾的意識，最終參與改變現狀的就會是多數人。”
他認為，大流行病、核戰爭與人工智能可能給人類帶來的潛在生存風險的共性是波及范圍廣，甚至具有廣泛致命性，更關鍵的是都難以提前預測。
“遠期人工智能的挑戰，如果從現在開始研究如何規避其風險，尚有可能應對，但近期人工智能的風險則顯得更為緊迫。”曾毅表示，最近生成式人工智能產生的虛假信息極大降低了社會信任，萬物互聯使得相關風險規模放大。
不過，他也強調稱，重視和管控AI的安全風險不是阻礙AI的發展與應用，而是確保AI技術穩健發展。“這兩封聲明的目的都不是阻礙人工智能的發展，恰恰是在探索人工智能穩健發展的途徑。”
如何解決AI風險，使得它安全地發展？曾毅在近日的智源大會上提出了他的解決方案——要構建有道德的腦啟發人工智能。
他對搜狐科技解釋稱，目前的AI模型合乎倫理道德的做法是用規則化的倫理原則約束，使智能信息處理系統對齊人類價值觀與行為，但這種方式好似建構空中樓閣，沒有道德直覺作為根基，沒有真正的理解，不可能實現真正意義的倫理道德。
曾毅認為，要想解決這一問題，AI應該向自然演化和人腦學習，探索腦啟發的人工智能，實現其在結構與機制上類腦，在行為和功能上類人，使AI以構建自我模型為基礎，逐步發展認知、情感、道德等。
“只有為人工智能賦予一定程度的自我感知，實現認知共情、情感共情、利他行為，實現一定程度的道德直覺，才有可能實現真正意義的有道德的人工智能。”他表示，這必然是一條極其困難而艱辛的發展道路，但目前看不到其他捷徑。
如果沿著這樣的路徑發展，當AI也具備倫理道德，它是否會和人類價值觀形成沖突？在曾毅看來，如果讓AI完全重新開始與世界互動，必然會形成與人類價值與道德觀念有所差異的體系，但這一定不是人類所期望的。
因此，曾毅認為，在推動AI的價值系統與人類對齊的同時，人類也應當在與AI互動過程中有所啟發，以輔助人類價值系統與倫理道德觀的完善。
同時，他認為，未來AI可能會具有更多生命的特征，智力水平有可能會全面達到甚至超越人類，而人類則希望和AI和諧共生。但能否共生共存，最大的瓶頸在于人類，而非AI。
“人工智能是人類的一面鏡子，我們在構建人工智能的過程中，應不斷反思人類與其他生命的關系和相處之道。”曾毅表示，面對有可能全面超越人類的超級智能，人類的道德需要加速演化。
以下為對話實錄（經編輯整理）
搜狐科技：關注到您在最近的兩份AI聲明上都有簽名，您為什么會簽署？
曾毅：兩次聲明都意識到目前人工智能發展過程中的風險和失控的可能性，但應對的方式有顯著的差別。《暫停人工智能巨模型實驗》號召通過暫停能力超越GPT-4的人工智能巨模型的研究，優先為人工智能設計并實現安全框架。
新的《人工智能風險聲明》號召“減輕人工智能滅絕的風險應該與流行病和核戰爭等其他社會規模的風險一起成為全球優先事項”更深度和直接地表達了簽名者對人工智能給人類帶來潛在生存風險的擔憂和應采取的行動。我在這個問題的認知與這樣的觀點接近，因此在新聲明正式發布前就簽署了。
絕大多數人發展人工智能的愿景，我想應當是用人工智能造福人類，而并非是給人類帶來風險，甚至是生存風險。因此絕大多數人有權利知道人工智能的潛在風險，研發者有義務確保人工智能不給人類帶來生存風險，至少要通過利益相關方最小化這種風險的可能性。少數人很難改變趨勢，但少數人首先站出來提升公眾的意識，最終參與改變現狀的就會是多數人。
搜狐科技：AI真的會有類似流行病和核戰爭的滅絕風險？當前對AI風險的認識是否夸大？
曾毅：大流行病、核戰爭與人工智能可能給人類帶來的潛在生存風險的共性是波及范圍廣，關乎全人類的利益，甚至具有廣泛致命性，更關鍵的是都難以提前預測。
關于人工智能的風險，有至少兩種可能，一種是對遠期人工智能的擔憂。當通用人工智能和超級智能到來時，由于智力水平可能遠超人類，將視人類如同人類視螞蟻，很多人據此認為超級智能將與人類爭奪資源，甚至危及到人類的生存。
另一種是針對近期人工智能的擔憂，這更為緊迫。由于現在的人工智能沒有真正的理解能力，也不是真正的智能，因此會以人類難以預期的方式犯人不會犯的錯誤。當某種操作會威脅到人類的生存的時候，人工智能既不理解什么是人類，什么是生死，也不理解什么是生存風險。當這種情況發生時，極有可能威脅到人類的生存。
也有觀點認為，人工智能可以利用人類的弱點對人類的生存造成致命危機，例如利用和加劇人類之間的敵對和仇視、偏見和誤解，而這樣的人工智能甚至不需要達到通用人工智能的階段就有可能對人類造成生存風險。
加之這種人工智能很有可能被人惡意利用、誤用和濫用，而風險幾乎難以預期和控制，特別是近期的人工智能進展使得其能夠利用互聯網規模的數據與信息，生成式人工智能產生的虛假信息極大降低了社會信任，網絡通信又已使萬物互聯，可以使相關風險在世界規模放大。
遠期人工智能的挑戰，我們如果從現在開始研究如何規避，其風險尚有可能應對，但近期人工智能的風險則顯得更為緊迫。
重視和管控人工智能的安全風險不是阻礙人工智能的發展與應用，而是確保人工智能技術穩健發展。人工智能無疑是社會進步的推進器，然而這并不意味著人工智能沒有潛在風險，或者是由于最大化人工智能益處的需求，就可以忽略人工智能的潛在風險。前述兩封聲明的目的都不是阻礙人工智能的發展，恰恰是在探索人工智能穩健發展的途徑。
搜狐科技：您提到要構建有道德的人工智能，AI沒有道德意識，要保證發展安全的話該如何解決？
曾毅：人類的道德具有內生基礎，在此基礎上通過習得更廣泛意義的倫理道德，從而進行道德推理與決策。但目前的人工智能模型合乎倫理道德的做法是用規則化的倫理原則約束，使智能信息處理系統對齊人類價值觀與行為。這就好似建構空中樓閣，沒有道德直覺作為根基，沒有真正的理解，不可能實現真正意義的倫理道德。
只有為人工智能賦予一定程度的自我感知，在此基礎上實現認知共情、情感共情、利他行為，以此為基礎實現一定程度的道德直覺，才有可能實現真正意義的有道德的人工智能。因此需要在人腦和人類演化的啟發中，構建腦與心智啟發的有道德的人工智能。這必然是一條極其困難而艱辛的發展道路，但我看不到其他捷徑。
搜狐科技：AI是機器，如何讓它有道德感？人類的道德觀念和倫理價值對它是適用的嗎？
曾毅：道德無法被灌輸，需要基于道德直覺的理解，而不是處理規則。我們首先需要賦予人工智能的是理解能力，才有可能產生道德直覺，進行有效的道德推理與道德決策。人類的道德觀念和倫理價值是為人類社會而建構，人類自然希望人工智能合乎人類的價值觀和倫理框架，但這必然是遠遠不夠的。人類自身的看法都在發生著變化并進行重新認知，人工智能是探索的新載體，甚至可以輔助人類完善人類的價值體系。
如果讓AI完全重新開始與世界互動，必然會形成與人類價值與道德觀念有所差異的體系，但這一定不是人類所期望的。所以人類希望人工智能的價值系統能夠與人類對齊，但同時人類也應當在與人工智能互動過程中有所啟發，以輔助人類價值系統與倫理道德觀的完善。
搜狐科技：從人的大腦出發能給AI發展和安全帶來什么啟示？
曾毅：目前人工智能從數據中學習的原理與大腦千差萬別，原理和處理機制上都不具有生物合理性，也因此會犯人不犯的錯誤。腦啟發的人工智能發展路徑是希望向自然演化學習，從腦的結構與機制獲得啟發，實現具有生物合理性，并在此基礎上延伸發展人工智能。
腦啟發的人工智能在結構與機制上類腦，在行為和功能上類人。它以構建自我模型為基礎，逐步發展出區分自我與他人、認知與情感共情、利他、道德。期待通過發展腦啟發的人工智能，減少難以預期的風險與安全隱患，發展有道德的人工智能。
搜狐科技：您期待的未來人機關系是什么樣的？面臨的最大瓶頸是在于人類還是在于AI？
曾毅：未來的人工智能可能會具有更多生命的特征，智力水平有可能會全面達到甚至超越人類，而人類總還是希望人工智能可以作為伙伴與人類和諧共生。
人工智能是人類的一面鏡子，我們在構建人工智能的過程中應不斷反思人類與其他生命之間的關系和相處之道。未來的超級智能視人類可能如現在的人類視螞蟻，而若人類不能善待其他類型的生命，未來的超級智能又有何理由善待人類呢？
人與人工智能未來是否能夠共生共存最大的瓶頸在于人類，而非人工智能。如果超級智能真的是在智慧水平上全面超越人類，那么應該是超級利他、超級道德的，在面對這樣的智慧生命時，人類的道德需要加速演化。