OpenAI CEO：十年內超強AI系統或將誕生

AI安全是最新的技術，不僅需要考慮AI模型本身的安全性，還需要考慮整個系統的安全性。未來隨著模型變得越來越大，確保正確性將變得昂貴，開源一切可能不是最優路徑。

6月10日，OpenAI聯合創始人兼CEO，薩姆·奧特曼（Sam Altman）以視頻連線的方式現身於中國北京舉辦的2023智源人工智能大會，這是Altman首次對中國觀眾發表演講。

奧特曼表示，世界的註意力主要集中在解決當今的人工智能問題上，很多問題的解決非常迫切。人工智能能力正在迅速增長，現在需要負責任地將其應用到世界中去。

當下，人工智能變革正在迅速拓展人類的想象力，未來十年，奧特曼認為AGI將會超過90年代初人類所具備的專業水平，最終可能超過人類最大體量公司的總體生產力，潛在收益是巨大的。

與此同時，管理風險、共同努力實現預期目標也是必需的。隨著越來越強大的人工智能系統的出現，全球合作的利益變得前所未有地重要。如果不做好規劃，一個未對齊的AI系統可能會通過提供不平衡的建議來破壞整個集體系統。因此，奧特曼強調，推進AGI安全是行業尋找共同立場的最重要領域之一。

奧特曼表示行業必須為開發和部署可能引發的問題負起責任，其中最重要的兩個領域是：一，建立起包容的國際準則和標準，並在所有國傢對AGI的使用中建立平等、統一的防護措施;二，需要國際合作，以可驗證的方式在全球范圍內建立對越來越強大的AGI系統安全開發的信任。

奧特曼引用《道德經》稱“千裡之行，始於足下”，最有建設性的第一步是與國際科技界展開合作，推動增加AGI安全技術進展的透明度和知識的機制，發現緊急問題的研究人員應該與更多人共享研究成果。更加深入地思考如何在鼓勵推動國際合作的同時尊重和保護知識產權，推動並引導與安全研究一致的投資。

聚焦眼下，奧特曼認為，要使AI系統成為一個有益和安全的助手，對應的是如何訓練模型，使其在沒有安全威脅的前提下發揮積極作用，主動應對AGI帶來的潛在挑戰，將未來災難性後果的風險降至最低。

具體到GPT-4從完成預訓練到部署，奧特曼稱團隊花瞭八個月的時間來研究如何前置預判風險並給出對策的問題，團隊走在正確的道路上，GPT-4的對齊程度超過當前所有的代碼。但對於更高級的系統來說，對齊仍是一個尚未解決的問題，需要新的技術方法以及加強治理監督，畢竟未來的AGI可能是一個十萬行二進制代碼的系統，人類監督者很難判斷如此規模的模型是否在做一些損害的事情。

針對於此，奧特曼稱團隊正在投資新的方向，其一是可擴展監督，嘗試使用AI系統來協助人類監督其他AI系統，例如訓練一個模型來幫助人類監督員找出其他模型代碼中的缺陷。其二是可解釋性，更好地理解模型內部發生的事情，如用GPT-4來解釋計算機的復雜狀態。最終目標是訓練AI系統具備更好的優化自身的能力，而美國、中國乃至世界各地的研究人員，在應對AI領域技術挑戰上的合作存在巨大潛力。

在與智源研究院理事長張宏江隔空對話中，奧特曼表示，AGI時代可能很快就會發生，未來十年內，行業可能會擁有超強的AI系統，這種情況下，全球監管便非常緊迫。而AI安全是最新的技術，不僅需要考慮AI模型本身的安全性，還需要考慮整個系統的安全性。因此需要構建安全的分類器和檢測器，來監測符合用戶政策的情況。

至於OpenAI會否重新開放GPT源代碼，奧特曼表示，目前OpenAI開源瞭部分模型，隨著時間的推移，可以期望更多模型開源。未來隨著模型變得越來越大，確保正確性將變得昂貴，開源一切可能不是最優路徑。