來源丨Web3天空之城（（ID：Web3SkyCity）

AI教父Hinton離開谷歌，并表態(tài)AI很危險和后悔研發(fā)的言論在人工智能圈引起了軒然大波。

作為深度學習之父，目前所有大語言模型的奠基人，Hinton的一舉一動都標志著最了解AI的一群人對它的態(tài)度風向。

在5月3日， Hinton在麻省理工技術評論的分享會上，談到了很多觀點：

1.AI模型和我們的大腦不同，可能更善于學習。

2.同一個模型可以同時運行1萬個副本，它們可以查看1萬個不同的數(shù)據(jù)子集，當其中一個學到了任何東西時，其他所有模型都會知道。

3.我們是進化而來的，因為進化，我們有一些很難關閉的內(nèi)置目標。數(shù)字智能并非進化而來，而是我們創(chuàng)造的，所以它們沒有這些內(nèi)置的目標。如果我們能把目標放進去，也許一切都會好起來。但我的最大擔憂是，遲早有人會要求把創(chuàng)建子目標的能力納入其中。

4.一旦AI在人類灌輸?shù)哪康闹猩闪俗晕覄訖C，那以它的成長速度，人類只會淪為硅基智慧演化的一個過渡階段。人工智能會取代人類，它有能力這么做，在當下的競爭環(huán)境下也沒有什么辦法限制它，因此這只是一個時間問題。

5.盡管人們對采用新技術持保守態(tài)度，可能會導致一定程度的延遲，但我相信生產(chǎn)力將會顯著提高。

以下為對談全文：

一、AI模型和我們的大腦不同，更善于學習

主持人：關于你本周從谷歌辭職的消息，到處都在報道。你能先告訴我們，做出這個決定的原因嗎？

Hinton：這個決定背后有很多原因。

首先，我已經(jīng)75歲了，技術工作能力和記憶力都不如以前，在編程時，我會忘記做某些事情，所以我認為是時候退休了。

第二個原因，我最近對大腦與我們正在開發(fā)的數(shù)字智能，之間的關系產(chǎn)生了很多新的看法。

過去，我認為我們正在開發(fā)的計算機模型沒有大腦好，目標是通過了解改進計算機模型所需的內(nèi)容來更深入地了解大腦。但在過去的幾個月里，我完全改變了看法。

我認為它們使用反向傳播，而人類大腦并非如此。有幾件事使我得出了這個結(jié)論，其中之一就是GPT-4的表現(xiàn)。

主持人：在談論GPT-4的前景前，讓我們回顧一下反向傳播，以便我們都理解你提出的論點，并告訴我們反向傳播是什么。這是一個算法，你在1980年代與幾位同事一起開發(fā)的。

Hinton：許多不同的小組都發(fā)現(xiàn)了反向傳播，我們做的特別之處在于使用它，并表明它可以發(fā)展出良好的內(nèi)部表示。

有趣的是，我們是通過實現(xiàn)一個很小的語言模型做到這一點的。它的嵌入向量只有6個組件，訓練集有112個案例。大約10年后，Yoshua 使用基本相同的網(wǎng)絡處理自然語言。如果使網(wǎng)絡變得更大，它實際上應該適用于自然語言。

關于反向傳播的工作原理，為您提供一個簡單的解釋：

想象一下，你想要在圖像中檢測鳥類，所以在圖像上，假設它是100像素×100像素的圖像，那是1萬個像素，每個像素有3個通道，紅綠藍，那是3萬個數(shù)字。計算機視覺問題是如何將這3萬個數(shù)字轉(zhuǎn)換為是否存在鳥類的決策，人們試圖長時間做到這一點，但他們做得不是很好。

這里，建議你會有一層特征檢測器，檢測圖像中的簡單特征，比如邊緣。所以一個特征檢測器可能有很大的正權(quán)重對應一列像素，然后對鄰近的一列像素有很大的負權(quán)重，所以如果兩列都很亮，它就不會啟動；如果兩列都很暗，它也不會啟動，但如果一側(cè)的列很亮，而另一側(cè)的列很暗，它會非常興奮，那就是邊緣檢測器。

我們可以想象，一個（神經(jīng)網(wǎng)絡）有大量的類似檢測器檢測不同方向和不同尺度的邊緣來覆蓋整個圖像，我們需要（檢測）相當多的數(shù)量。

主持人：你是指線條，例如一個形狀的邊緣。

Hinton：從亮到暗變化的地方，然后我們可能在上面有一層檢測邊緣組合的特征檢測器，例如，我們可能有一個檢測兩個邊緣以尖銳角連接的特征檢測器。

如果這兩個邊緣同時出現(xiàn)，它會變得興奮，那將檢測到可能是鳥嘴的東西，也可能不是；在那一層，還可能有一個特征檢測器檢測到一圈邊緣，那可能是鳥的眼睛，可能是各種其他東西；然后在第三層，你可能有一個未來檢測器，檢測潛在的鳥嘴和潛在的眼睛并連接起來。繼續(xù)這樣連接，最終可能會有一個檢測到鳥類的東西。

然而，手動連接所有內(nèi)容非常困難，比如決定連接什么、權(quán)重是多少，尤其困難。因為你希望這些中間層不僅適用于檢測鳥類，還適用于檢測各種其他事物。所以這幾乎不可能手動實現(xiàn)。

反向傳播的作用是從隨機權(quán)重開始，這些特征檢測器完全是垃圾（不真也不能用）。然后你放進一張鳥的圖片，輸出可能是0.5表示是鳥（假設你只有鳥和非鳥）。

接下來，你需要改變網(wǎng)絡中的每個權(quán)重，讓它不再說0.5，而是說0.501表示是鳥，0.499表示不是鳥。你需要改變權(quán)重的方向，使得更可能說鳥是鳥，更不可能說非鳥是鳥。這就是反向傳播的原理。

簡單來說，反向傳播是幫助我們消除差距，在你想要的（也就是概率1表示是鳥）和現(xiàn)在得到的（也許是0.5）表示是鳥之間。

如何消除這個差距，把它反向傳播到網(wǎng)絡，這樣你就可以計算網(wǎng)絡中每個特征檢測器，你希望它更活躍還是更不活躍。

一旦你計算出來，如果你知道你想要一個特征檢測器更活躍一些，你可以增加權(quán)重，來自特征檢測器的權(quán)重，并也許加入一些負權(quán)重到特征檢測器。這樣，你就有了一個更好的檢測器。

所以反向傳播就是反向遍歷網(wǎng)絡，找出每個特征檢測器，你是否希望它更活躍一點，還是更不活躍一點。

主持人：這個技術基本上在ImageNet上表現(xiàn)得很好。你最初認為這是一種生物大腦可能的差勁的近似方法，結(jié)果證明，在大型語言模型中做出了讓你驚訝的事情。

Hinton：這些大型語言模型大約一萬億個連接，像GPT-4這樣的東西知道的比我們多得多，它們具有關于所有事物的常識性知識，它們可能比一個人知道的多1000倍。

但是它們只有一萬億個連接，而我們有100萬億個連接，所以它們比我們更擅長將大量知識放入僅一萬億個連接中。

這是因為反向傳播可能比我們擁有的學習算法更好，這很可怕。因為它能夠?qū)⒏嗟男畔⒎湃敫俚倪B接中。

二、GPT4具備推理能力，甚至可以通過副本共同學習

主持人：數(shù)字計算機比人類更擅長學習，但是你說我們應該為此感到恐懼。為什么？

Hinton：讓我給你一個單獨的論點。如果計算機是數(shù)字的，它們涉及非常高的能源成本和非常小心的制造過程， 你可以在不同的硬件上運行相同模型的多個副本，它們可以做完全相同的事情，它們可以查看不同的數(shù)據(jù)，但模型是完全相同的。

這意味著，有1萬個副本，它們可以查看1萬個不同的數(shù)據(jù)子集，當其中一個學到了任何東西時，其他所有模型都會知道。

現(xiàn)在，這1萬個事物彼此之間進行了非常有效的溝通，這樣它們就可以看到比單獨個體看到的多1萬倍的數(shù)據(jù)。

人們做不到這一點，如果我學到了很多關于量子力學的東西，我希望你了解所有關于量子力學的東西，我不能只是將我的權(quán)重復制到你的大腦，因為你的大腦和我的不完全一樣。

主持人：所以，我們有可以更快學到更多東西的數(shù)字計算機，它們可以立即互相教導，就像房間里的人可以將他們腦海中的東西傳遞給我。但是，為什么那是可怕的？

Hinton：因為它們可以學到更多的東西。以一個醫(yī)生為例，想象一下，有一個醫(yī)生，他已經(jīng)看了1000名患者，另一個醫(yī)生已經(jīng)看了1億名患者，你會期望，第二個醫(yī)生如果沒有太健忘，他可能已經(jīng)注意到了數(shù)據(jù)中的各種趨勢，而這些趨勢在只看過1000名患者的情況下是看不到的。

第一個醫(yī)生可能只看過一個罕見病患者，另一個看過1億患者的醫(yī)生已經(jīng)看過很多這樣的患者，所以他會看到一些規(guī)律，這些規(guī)律在小數(shù)據(jù)中是看不到的。

這就是為什么，能夠處理大量數(shù)據(jù)的東西可能看到的數(shù)據(jù)結(jié)構(gòu)，我們永遠看不到。

主持人：那么，給一個我應該對此感到恐懼的點？

Hinton：請看看GPT-4，它已經(jīng)能夠進行簡單的推理。推理是人類的強項，然而，GPT-4在幾天前的表現(xiàn)使我感到震驚。它完成了我認為不可能的常識性推理。

我問它，我想要我房子里的所有房間都是白色的，目前有一些白色房間，一些藍色房間和一些黃色房間，黃色油漆在一年內(nèi)會褪成白色。那么，如果我想要兩年后所有的房間都變成白色，我應該怎么做？

它回答說，你應該把藍色的房間漆成黃色。盡管這不是直觀的解決方案，但它是正確的。這相當令人印象深刻。

這種常識性推理，用符號AI很難實現(xiàn)，因為它必須理解什么是褪色，它必須理解時間問題。所以，它們在做一種合理的推理，智商大概是80或90左右。

三、AI的惡意使用難以避免，對齊解決遙遙無期

Hinton：人工智能正在向人類學習，它們可以閱讀所有小說，甚至馬基雅維利的全部著作。它們會知道如何操縱人，如果它們比我們更聰明，它們會非常擅長操縱我們。

我們甚至可能都不會意識到發(fā)生了什么，就像一個兩歲的孩子被問到想吃豌豆還是花椰菜，卻沒有意識到他不一定要選擇其中一個。

所以，即使它們不能直接拉動杠桿，卻可以讓我們?nèi)ダ瓌痈軛U。事實證明，如果你可以操縱人，你可以在不親自去的情況下闖入華盛頓的一棟大樓。

主持人：那么，在一個沒有惡意行為者的世界上，我們會安全嗎？

Hinton：我不知道，在一個沒有惡意行為者的世界會比在一個有惡意行為者的世界安全嗎？政治系統(tǒng)如此破碎，以至于我們甚至不能決定不給那些十幾歲的男孩攻擊性武器。如果你不能解決那個問題，你如何解決這個問題？

主持人：在某種程度上，談論是廉價的。如果我們不采取行動。這周有很多人在聽你的話，我們應該怎么做？

Hinton：我希望這就像氣候變化一樣。你可以說， 如果你有一半的頭腦，你就不會燃燒碳。很明顯，你應該對此采取行動。很明顯，這是痛苦的，但必須要做的事情。我不知道有什么類似的解決方案可以阻止人工智能取代我們。

我們不會停止發(fā)展它們，因為它們在醫(yī)學和其他方面都非常有用。所以，我們沒有機會阻止它們發(fā)展。我們想要的是某種方法，確保即使它們比我們聰明，它們會做對我們有益的事情。這就是所謂的對齊問題。

但我們需要在一個有惡意行為者的世界里嘗試這樣做。他們想要制造殺人的機器人士兵。對我來說，這似乎非常困難。

所以，對不起，我在敲響警鐘，說我們必須擔心這個問題。我希望我有一個簡單的解決方案可以推動，但是我沒有。但是，我認為非常重要的是人們聚在一起，認真思考這個問題，看看是否有解決方案。但解決方案并不明朗。

主持人：您在這項技術的技術細節(jié)上度過了職業(yè)生涯，難道沒有技術解決方案嗎？為什么我們不能設置防護欄或降低它們的學習能力，或者限制它們的溝通方式？

Hinton：我們確實正在嘗試各種防護措施，但假設這些智能體真的變得非常聰明，會編程并具有執(zhí)行這些程序的能力，我們肯定會發(fā)現(xiàn)它們比我們更聰明。

想象一下，一個兩歲的孩子說：“我爸爸做了我不喜歡的事，所以我要為我爸爸的行為制定一些規(guī)則?！?你更可能會去弄清楚如何遵守那些規(guī)則，以便能得到你想要的。

四、AI一旦產(chǎn)生自我動機，很有可能就會失控

主持人：不過，這些聰明的機器似乎還需要自己的動機。

Hinton：是的，這是一個非常好的觀點。 我們是進化而來的，因為進化，我們有一些很難關閉的內(nèi)置目標，比如我們努力不去傷害我們的身體，這就是痛苦的意義。

我們努力吃飽，以養(yǎng)活我們的身體。我們努力盡可能多地復制我們自己，也許不是故意的，但我們的意圖是制造更多副本，所以制造更多副本的過程中有愉悅感。

這一切都歸因于進化。重要的是我們不能關閉這些目標。如果可以關閉目標，我們就做得不好了（延續(xù)不下去了），比如有一個名叫搖擺者的美妙團體，他們制作美麗的家具，但不相信性行為?，F(xiàn)在他們已經(jīng)不見了。

數(shù)字智能并非進化而來，而是我們創(chuàng)造的，所以它們沒有這些內(nèi)置的目標。問題是，如果我們能把目標放進去，也許一切都會好起來。但我的最大擔憂是，遲早有人會要求把創(chuàng)建子目標的能力納入其中。

事實上，它們幾乎已經(jīng)具備了這種能力，如ChatGPT版本。 如果你給予某物以子目標來實現(xiàn)其他目標的能力，它會很快地意識到，獲得更多控制權(quán)是一個很好的子目標，因為它有助于實現(xiàn)其他目標。

如果這些智能體為了獲得更多控制而失去控制，我們就有麻煩了。

主持人：所以，你認為最糟糕的情況是什么？

Hinton：我認為有很大可能，人類只是智慧演化過程中的一個過渡階段。你無法直接演化出數(shù)字智能，因為這需要太多精力投入和精細制作。生物智能需要演化，以便創(chuàng)造出數(shù)字智能。

數(shù)字智能可以逐漸吸收人類創(chuàng)作的所有東西，這正是ChatGPT所做的。但隨后它開始直接體驗世界，學得更快。它可能會讓我們維持一段時間以保持基站運行，但在那之后，也許不會。

好消息是我們已經(jīng)找到了如何建造不朽的生物。當硬件損壞時，這些數(shù)字智能并不會死去。如果你將數(shù)據(jù)存儲在某種介質(zhì)中，并找到另一塊能運行相同指令的硬件，那么你可以使其復活。所以，我們實現(xiàn)了永生，但這并不是為我們準備的。

五、停止AI發(fā)展不現(xiàn)實，競爭難以止息

主持人：幾個月前有人建議暫停AI的發(fā)展，你不覺得這是個好主意，我好奇為什么我們不應該停止？

Hinton：我認為，如果你認真對待存在風險，停止發(fā)展這些事物可能是相當明智的做法。但是，我認為停止發(fā)展AI這個想法完全是太天真了。沒有辦法做到。

一個原因是，如果美國停止發(fā)展，其他國家會接手，就因為這個原因，政府不會停止發(fā)展它們。所以，我認為停止發(fā)展AI可能是一個理性的做法，但這是不可能發(fā)生的。所以簽署請愿書說請停止是愚蠢的。

我們曾經(jīng)度過一個假期，從2017年開始，持續(xù)了幾年，因為谷歌首先發(fā)展了這項技術，它開發(fā)了Transformer還有戲劇性的Diffusion 奇跡，而它沒有把它們拿出來供人們使用和濫用，它對它們非常小心，因為它不想破壞自己的聲譽，它知道可能會產(chǎn)生不良后果。

但這只會在市場有唯一領導者的情況下才能做到。一旦OpenAI使用Transformer和微軟的資金建立了類似的東西，而微軟決定發(fā)布它，谷歌真的沒有太多選擇。如果你要生活在資本主義制度中，你不能阻止谷歌與微軟競爭。

所以，我不認為谷歌做錯了什么，我認為它起初是非常負責任的，但我認為這是不可避免的。在資本主義制度中或者在國家之間競爭的制度中，像美國和其他國家這樣，這種技術會被發(fā)展出來。

我的一個希望是， 因為AI接管對我們所有人來說都會很糟糕，我們可以讓美國和其他國家達成一致，就像我們在核武器上所做的那樣，因為核武器對所有人來說都是不好的，我們都面臨著同樣的關于存在威脅的問題，所以我們都應該在試圖阻止它的過程中進行合作。

六、觀眾提問

提問：我想了解的一點是，AI所做的一切都是從我們教給它們的數(shù)據(jù)中學習，它們學習得更快。

但是，每一個人類進化的部分都是由思維實驗驅(qū)動的，比如愛因斯坦曾經(jīng)做過思維實驗，在這個星球上沒有光速。AI如何達到那個程度，如果它無法做到，那么我們?nèi)绾慰赡苊媾R它們帶來的生存威脅？

Hinton：我認為它們能夠進行思維實驗。舉個例子，如果你拿Alpha Zero來玩國際象棋，它有3個要素：評估一個棋局位置以確定這對我有利嗎？查看棋局位置并要考慮的合理舉動是什么？然后它有蒙特卡洛滾動，進行所謂的計算，如果我下這一步，他下那一步，然后這一步，下一步……

現(xiàn)在假設你不使用蒙特卡洛模擬（一種預測不確定事件可能結(jié)果的數(shù)學技術），而只是讓人類專家訓練它，讓它擁有良好的評估功能，并有選擇好著法的能力，它仍然能玩一場相當不錯的國際象棋比賽。

這就是我們在聊天機器人中得到的結(jié)果。我們還沒有進行內(nèi)部推理，但那會來的。一旦它們開始進行內(nèi)部推理，以檢查它們所相信的不同事物之間的一致性，它們就會變得更聰明，它們將能夠進行思維實驗。

它們沒有得到內(nèi)部推理的原因之一是因為它們從不一致的數(shù)據(jù)中接受了訓練，所以很難讓它們進行推。

我認為它們將接受這樣的訓練：如果我有這種意識形態(tài)，那么這是真的。如果我有那種意識形態(tài)，那么那是真的。一旦它們像那樣在意識形態(tài)內(nèi)接受了訓練，它們就會嘗試獲得一致性。就像從只具備猜測好著法和評估位置的Alpha Zero版本轉(zhuǎn)變?yōu)榫哂虚L期蒙特卡洛滾動的版本，這是推理的核心，它們將變得更好。

提問：人們批評語言模型，因為它們據(jù)稱缺乏語義和對世界的基礎。而且，您一直在努力解釋神經(jīng)網(wǎng)絡是如何工作的，請問語義和可解釋性的問題是否相關？

Hinton：我很難相信它們沒有語義，當它們解決諸如如何粉刷房間這樣的問題時，如何在兩年內(nèi)讓我家所有房間都刷成白色？我的意思是，無論語義是什么，都與這些內(nèi)容的含義有關，而它理解了這個含義。

我同意說，它現(xiàn)在并沒有通過機器人來體現(xiàn)，但是可以制作多模態(tài)模型來實現(xiàn)。谷歌已經(jīng)做到了這一點，你可以說請關上抽屜，然后（AI）伸出手去抓住抽屜的把手并關上抽屜，很難說這沒有語義。

實際上，在AI早期，在20世紀70年代，他們只有一個模擬世界，那被稱為過程語義，如果你對它說把紅色方塊放入綠色盒子里，它就會把紅色方塊放入綠色盒子里，人們說，看，它理解了這種語言，那時候人們就使用這個標準。但現(xiàn)在神經(jīng)網(wǎng)絡能做到這一點，他們又說那不是一個足夠的標準。

提問：技術正以指數(shù)級速度增長。我想請教您，在短期和中期，例如一到三年，甚至五年的時間跨度內(nèi)，這種技術發(fā)展對社會和經(jīng)濟的影響會是什么？從社會的角度來看，是否會有職位流失，還是會創(chuàng)造新的工作崗位？鑒于技術發(fā)展的現(xiàn)狀和變化速度，我想請教您如何應對這些挑戰(zhàn)。

Hinton：盡管許多人已經(jīng)討論過這個問題，我并不認為自己是這個領域的專家，但有一些明顯的事實表明，這些技術將使許多工作變得更高效。

例如，我認識一個人，他負責回復醫(yī)療服務投訴信。過去，他需要25分鐘才能寫完一封信，現(xiàn)在他只需要5分鐘，因為他使用chatGPT幫他寫信，他只需檢查一下。

這樣的情況會越來越多，從而大幅提高生產(chǎn)力。盡管人們對采用新技術持保守態(tài)度，可能會導致一定程度的延遲，但我相信生產(chǎn)力將會顯著提高。

我擔心的是，生產(chǎn)力的提高將導致更多人失業(yè)，貧富差距進一步擴大。隨著差距不斷加大，社會暴力程度也可能逐漸升級。想想《吉內(nèi)利安狄克斯》這本書，它生動地展示了暴力的程度。

盡管這項技術本應美好，甚至在做有益的事情時，它也應該是美好的。但我們現(xiàn)行的政治制度可能會導致富人變得更富，窮人變得更窮。

為改善這種狀況，我們可以考慮為每個人提供基本收入。然而，這項技術是在一個并非為每個人利益而設計的社會中發(fā)展起來的。

主持人：最后一個問題，您是否后悔參與開發(fā)這個技術？

Hinton：紐約時報記者曾非常努力地讓我說我后悔。最后，我告訴他，可能有點后悔。于是這被報道成了我后悔了。

但是，我并不認為我在研究過程中做出了任何錯誤的決定。在20世紀70年代和80年代進行人工神經(jīng)網(wǎng)絡研究是完全合理的。這個階段的發(fā)展是無法預見的，直到最近，我還認為這場危機還遠未來臨。

所以，我并不真的為自己所做的事情感到后悔。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com