從ChatGPT到通用強人工智能

本文內容來自“墨子沙龍 X 2023年科技節”（2023年5月20日），演講者是中國科學技術大學教授周熠。

文字由林梅整理，經周熠審核。

人類已經經歷了三次工業革命，每一次的工業革命不僅令人類的文明實現新的飛躍，也對世界格局產生了重要影響。第一次工業革命是基于蒸汽的動力革命，讓英國成為了世界強國，第二次電力革命和第三次信息革命主要發生在美國和歐洲，但我們其實都已經享受著它的紅利。

眾所周知，下一次工業革命就是所謂的智能革命。今年是人類歷史上一個特別重要的年份，因為從某種意義上來說，智能革命真正的來臨了。

人工智能的發展歷史是個跌宕起伏的過程，經歷了一些波峰和波谷，它曾在誕生初期獲得過人們的諸多期盼，也經歷過若干次難熬的冷清，直到2010年，深度學習技術為人工智能帶來了新的革命，其中包括我們熟悉的AlphaGo、ChatGPT，人工智能已經到了真正能夠應用的階段。

ChatGPT是什么？毫無疑問，它是一個聊天程序，也是一個能夠人工智能自動生成內容的工具。但其實，ChatGPT能夠做的事情非常多，因為既然是聊天，我們可以聊任何事情，解一個數學題、挑一件禮物、選一個出行方案……所以從某種意義上來說，ChatGPT可以做任何事情。

ChatGPT是有史以來用戶增長速度最快的應用，兩個月就達到了一個億的月活，它的重要意義從Bill Gates、Elon Musk等人的評價中也可以感受得到。

GPT并不是今天才出現的，它的進化其實是有跡可循的。很多年以前，大家就知道大模型非常厲害，而現實中，它的發展比我想象的快很多。

大模型的發展出現了幾個重要的現象：一個就是GPT的進化，從1到2、3、4，參數量是指數級上升的，數據量也不斷的增加。雖然GPT-4沒有公布具體的參數量和數據量，但根據我們大致的估計，可能會是GPT-3的3至4倍左右，甚至更多。對是否出現了智能涌現的現象，學術界還有很多爭論，但至少有一點是肯定的，就是大模型參數量和數據量足夠大以后，它的能力比之前的那些中小模型確實強大了很多。

另外一個現象也很有意思，大模型的參數量呈指數級的增長，增長非?？臁Ｄ柖纱蟾攀钦fCPU的性能每兩年翻一番，但大模型的參數量是每3至4個月就要翻一番，非常的驚人。

第三件事情，對學術來說特別重要，ChatGPT其實在某種意義上具有一定的常識和知識，這種能力大致相當于9歲小孩，而且還在飛快地提高。以前常識、知識對于人工智能研究者來說特別困難，而大模型一下子就解決了。另外有一些惡意的問題，以前的模型都很難回答，但是現在的ChatGPT通過強化學習的手段可以回答得非常好。

雖然從另外一方面看，也有一些評測表明ChatGPT并不是在所有的方面都比現在的最好的模型要強，但現在的最好的模型有可能是針對一個特定的任務，而ChatGPT是一個通用模型。雖然對于一些邏輯和語義理解的任務，它不是我們想象的那么強。

我們可以簡單的分析一下ChatGPT有哪些核心的成功要素。首先，算法當然很重要，但并不一定是最重要的。除了算法之外，它的基礎設施——算力也很重要，還包括它的數據、人才等方面。

我們簡單的估計一下，關于ChatGPT的訓練數據有不同的說法，有的說是45T，也有說法是750G，大概有4000多億的單詞量。這是非常龐大的數字。此外，大致估算，ChatGPT的算力是一年用355個v100 GPU，它每一次訓練成本非常高，大概需要一億人民幣左右，當然現在這方面成本也會趨于下降。

GPT的最新版本——GPT-4已于3月14號推出，它在很多人類的測試上達到了非常驚人的水準。比方說GRE、托福這樣的考試，GPT-4比GPT-3.5強了很多，也就是說GPT-4相比于GPT-3.5主要就強在推理能力和語義理解能力上面。

這就是目前大模型的基本情況，大模型非常厲害，它的誕生基本代表了2023年已經成為通用人工智能的元年，智能時代真的來了。

第一條路線是更多的參數量。參數量毫無疑問會變大，這里就要面臨第一個挑戰——摩爾定律的增長趕不上大模型的參數量的增長，摩爾定律是說兩年翻一番，而大模型3到4個月就會翻一番，我們會很快發現計算能力不太跟得上需求；另一方面，從效果來講，就算參數量是指數增長，但是其效果卻是線性增長的，所以，大模型繼續增大參數量，邊際效果不會像以前那么明顯。

第二條路就是更多的數據，但是，有人認為，GPT-4已經把幾乎所有我們能夠找到的高質量的文本數據都訓了個遍，也就是說，數據量也有可能存在瓶頸。尤其是，高質量的數據總有耗盡的一天，而且可能就在不遠的將來。

第三條路是采取更好的引導和思維鏈的策略，這也是現在大模型研究一個熱點。思維鏈是什么意思？就是我們在對大模型提問題的時候，需要有技巧的去問，在我們人類看起來是差不多意思的問法，大模型可能會給出不一樣的答案，于是，現在有很多研究集中在自動的引導、自動的思維鏈，或者是向量的連續的而非離散的引導方案。

另外，還有一個對于應用來說很重要的問題：目前，ChatGPT主要是做文本，但其實，諸如圖像、視頻、音樂等其他模態，現在都有很多模型在嘗試。關于大模型能否更好的用在各個領域，也是目前大模型研究的一大熱點。要做到這一點，我們需要解決大模型的一些問題，比如，大模型如何與領域知識結合，出錯時如何糾正等。

還有一個值得關注的問題是大模型和隱私的問題：如何確保與ChatGPT的互動不侵犯隱私? 如何確保ChatGPT不會竊取商業機密?這需要更好的監管措施。

還有另外一個有意思的問題，如果ChatGPT可以跟ChatGPT來個機機對話，是不是能夠生成更多的數據，讓機器在沒有任何人類干預的情況下做演化，這也是一種有趣的可能。

大模型很厲害，但是它一定不是完美的，大模型如果要真正走向通用強人工智能，大概沿著什么路徑呢？

目前的大模型還有一些缺陷。

首先，它有時會犯事實性錯誤，也就是大模型的可靠性問題。比如，它會搞錯詩詞的作者。因為，從原理上說，大模型挑選答案是用概率的方式，所以很難保證百分百正確?，F在，很多領域的大模型在這一點上并不能做到特別好。這是大模型最重要的問題之一。

第二，就是大模型的數學和邏輯推理能力。雖然 GPT-4在某些考試上面表現特別好，但面對一些特別有意思的邏輯推理問題時，大模型的回答與隨機答案差不了多少。為什么會這樣？因為在深度推理時，雖然大模型每步的預測準確率可能高達95%，但是如果推理需要20步，最終的準確率就是0.95的20次方，這是一個不太令人滿意的結果。

第三個問題是大模型的形式語義理解能力。雖然大模型能實現一定程度的語義理解，但要想真正意義上形式的、深度的、完全理解語言背后的意義，大模型其實還有很大的改進空間。

最后一點，大模型作為一個黑盒模型，它有一些通用的弱點，比方說它的可解釋性、可調試的能力等。

所以說，大模型雖然很強大，但并非無所不能。從原理上來講，其實還有很多事情比較難解決。

接下來的問題是，如果我們想要解決這些問題，該怎么辦？

有一個路徑——繼續沿著大模型現有路線走。我們知道，人工智能從正式誕生到現在也就60來年的歷史，而GPT真正開始訓練至今也僅僅5年，無法想象，如果給大模型下一個5年、50年、500年，它會變成什么樣子？當然了，沿著這條路走，面臨很多挑戰，是不是真正能夠解決語義問題、推理問題、事情錯誤問題，現在都未可知。

還有另外一條路徑，要解釋這一點，請大家首先考察一下我們自己。我們人有兩套推理系統，一個叫系統一，另一個叫系統二。系統一就是底層的、特別快的、下意識的、不加思考就能得到結論的推理方式，就像在家里面閉著眼睛也能夠找到洗手間的位置；但是如果我們到了一個陌生的地方，想要找洗手間，就要用到系統二的推理——慎思的、比較慢的、能耗比較高，但是相對來說會比較精確的推理系統。

ChatGPT做了很多系統一的事兒，和很少系統二的事兒，只不過，ChatGPT模擬系統二的能力不是以符號的、邏輯的、語義的方式來實現的。于是，接下來我們自然而然會想，是不是可以通過一種方式把系統一與系統二相結合。而這個問題的答案就蘊藏在歷史里面。

人工智能的歷史上，曾有過一個高峰——專家系統的雄起并真實落地。彼時，人工智能的主流，就是用系統二的符號的方式把專家的知識喂給機器，然后機器就能夠像專家一樣自動回答。

現在我們回過頭看，當下大火的ChatGPT和紅極一時的專家系統各有所長，也各有劣勢：ChatGPT長于學習能力，表達能力一般，但是弱于邏輯推理，常犯事實性錯誤；而專家系統推理能力比較強，表達能力也很不錯，但學習能力相對較弱。也就是說，GPT的諸如簡潔、通用、泛化能力強等優勢正好是專家系統的弱點，而專家系統的強邏輯推理、領域知識、可解釋性等優勢正好是GPT的弱項。

所以，二者如果能夠有機結合，正好可以取長補短，我個人認為這可能是一個更好的通往通用強人工智能的方向。對此，我們組進行了一些探索。

既然說到專家系統，我們要問，現在用的專家系統，還是40年前那樣的嗎？顯然不是，現在我們想要的專家系統需要新的革命，需要對知識有新的理解，需要新的表達、推理、學習方案，甚至是新的技術理論。這里面，關鍵在于知識模型，即機器如何解釋知識。我們組已經提出了一個叫做“知識方程（Knowledge Equations）”的模型，我們希望它與以往的知識模型相比，具有獨特的能力，能夠真正服務于實際應用。某種意義上，這就是一種系統一與系統二結合的方案。

我心目中，未來人工智能的面貌隱藏在歷史里。我相信，未來5至10年之內，人工智能會慢慢走進成熟期。所謂成熟期，需要數據和知識相結合，也需要基于深度學習的神經網絡的連接流派與基于符號邏輯的深度推理和語義理解的符號流派相結合。兩方面結合，將使人工智能在各行各業都達到令人驚訝的水準。

人工智能將會對我們產生非常深遠的影響。

今年將是一個特別重要的年份。ChatGPT的出現代表著人工智能可以真正變得非常有用，而人工智能大規模的應用將顛覆很多行業，這種顛覆從現在真正開始。

首先被顛覆的一個領域就是搜索、對話、人機交互。以往的搜索，就是用一些算法，把我們與需要的信息做了一個連接。但是如果ChatGPT可以用更省事的問答的方式，把我們和我們所需要的信息做更好的連接，對以往的搜索工具就是一個大的沖擊。同樣的，很多人機交互的領域，包括智能音箱、智能客服等，都會受到直接的顛覆和挑戰。

第二個領域是內容生產領域?，F在，隨著大語言模型越來越成熟，在文本生成方面，大大提高了我們的效率。除了文本之外，還有很多多模態的生成工具，比如圖像設計等職業，都可能被人工智能顛覆。

第三個領域是程序設計與編碼。大模型雖然還不能很好的完成算法設計，但是有些編碼能力已經令人驚訝，未來將會對整個 IT行業都產生特別大的影響。

第四個領域是計算機輔助建模。未來，如果我們把領域內的真實問題變成數學問題或計算問題，用大模型技術，可以自動生成程序設計語言需要的類圖。

另外，不得不提一個非常深刻的問題——大模型對教育和科研的影響。大模型時代，家長和教育工作者應該教什么，以什么樣的方式去教？學生應該學什么，以什么樣的方式去學？這些現在都沒有特別好的答案，需要整個社會一起思考和探索。除了教育，大模型對科研的很多工作也是降維打擊，比如現在有一個工作，可以直接從一些數據里面生成萬有引力定律等物理學公式。在大模型時代，我們該怎么樣做科研，用什么樣的方式來研究？現在雖然還處在特別早期的階段，但智能時代終會對教育和科研產生深刻的影響。

雖然，從大模型到通用強人工智能仍然有些距離，但我認為，未來，大模型和知識計算結合，通用強人工智能會對幾乎所有行業都產生顛覆性的影響。

我們知道，信息化分三步走——數字化、網絡化、智能化。數字化革命和網絡化革命已經完成，而智能化革命會更加熱烈和重要，也更加值得我們去思考。因為，無論是蒸汽革命、電力革命，還是數字化、信息化革命，他們“革”的更多的是手和腳，以及一點點腦力，但智能革命就是在“革”我們腦子的命，這可能會帶來很多問題。

ChatGPT非常重要，也非常厲害，某種意義上，它出現的2023年代表通用人工智能的元年，也代表生成式AI落地元年，智能時代真正來臨了。

ChatGPT雖然很強大，但現在它并不是無所不能，它在深度推理等方面還有一些缺陷。

我認為，ChatGPT加上知識計算——連接加符號，數據加知識，是通用強人工智能的一個很重要的方向。

ChatGPT以及之后的通用強人工智能技術，會對我們整個人類社會產生深遠影響，第四次工業革命也就是智能革命真的要來了。