普通大眾對「人工智慧的智力超越人類，最終統治世界、滅絕人類」這件事充滿了擔憂，而實際上許多已經在從事人工智慧相關工作的研究者也免不了有類似的擔憂。樂觀的人都很想告訴悲觀的人為什麼「人工智慧大爆發」不會發生，但往往沒有好的論據和理論體系。
近日，著名的機器學習研究者、Keras 的作者 François Chollet 就在 Medium 上發出一篇長文「The impossibility of intelligence explosion」，詳細解釋了智力的本質、迭代發展是怎麼回事，最終表明「人工智慧大爆發」是不會發生的。全文翻譯如下：
1965 年，英國數學家、圖靈曾經的同事、後來還擔任了「2001 太空漫遊」的科學顧問的 IJ Good 首次提出了「智力爆發」（intelligence explosion）的想法，這和人工智慧（AI）有著密切關聯：
假定有一種機器，無論多聰明的人做出的智力活動都可以被它超越，我們就把它稱作「超級智慧」。由於機器的設計也是這些智力活動中的一種，一個超級智慧就能比人類設計出更好的機器；那麼毫無疑問地，接下來就會迎來「智力爆炸」，人類的智力會被遠遠甩開。這麼一來，第一台擁有超級智慧的機器就會是人類歷史上的最後一項發明，我們也只能希望超級智慧足夠溫順體貼，能告訴人類一些辦法，避免完全脫節。
幾十年後，「智力爆炸」的想法在人工智慧領域已經落地生根，關於「超級人工智慧」和人類會最終滅絕的擔憂一直縈繞在人們心中。許多知名公司的負責人都認為這是一個重大風險，甚至比核戰爭和氣候變化的風險還要大。機器學習專業的畢業生也大都讚同這種擔憂。在 2015 年的一項面向人工智慧研究者的電子郵件調查中，29% 的參與者認為人工智慧大爆炸是「很可能」和「極有可能」的；還有 21% 認為認為這事有相當的可能性。
人工智慧大爆炸的基本假設是這樣的：在不遠的將來，人們首先創造出一個「種子 AI」，它具有稍微高過人類一點點的通用問題解決能力。然後這個 AI 就會開始設計出更好的 AI，從而啟動一個循環往復的自我升級過程，在短時間內以數量級的優勢超過人類，最終將會讓人類智慧顯得不值一提。
這種理論的支持者把人工智慧看作是一種強權力量，它的擁有者隨之也有擁有了可以改變環境、改變世界的超自然力量，就像 2014 年的科幻電影「全面進化（Transcendence）」裡那樣。超級人工智慧幾乎是全能的，也就會對人類社會產生實實在在的威脅。
關於人工智慧的風險以及如何管控它們的公眾辯論有很強的誤導性，這些科幻電影更是火上澆油。在這篇文章中，我會闡述我的觀點：人工智慧大爆炸是不可能的，這種「智力爆炸」的想法完全是來自於對智力的本質和迭代自我增強系統這兩個方面的深遠的誤解。我會根據對智慧系統和迭代系統的實際觀察提出我的論點。
對智力的誤解引出了有缺陷的層層推理
「智力爆炸」背後的推理過程就和上個世紀六十、七十年代產生的早期 AI 理論一樣，是有些詭辯的：它把「智力」看作是一件完全抽象的概念，從它的內容中剝離開，而且忽略了已有的關於智慧系統和迭代自我增強系統兩個方面的已有證據。但智力並不一定是這樣的。說到底，人類就生存在一個充滿了智慧系統（包括我們）和自我增強系統的星球上，所以我們就可以直接觀察它們、從它們身上尋找現有問題的答案，而不是完全脫離證據地做循環論證。
為了討論智力和它可能的自我增強的屬性，我們需要先介紹一些必要的背景知識和語境。當我們討論智力的時候，我們到底討論的是什麼？即便「精確地定義智力」這件事本身就有不小的困難。關於智力爆炸的論述把「智力」等同於「每個獨立的智慧體身上體現出的解決通用問題的能力」，它可以來自人類大腦，也可以來自未來的電子大腦。但這並不是一個完整的回答，所以我們從上面這個定義出發，開始拓展它。
智力是取決於場景的
我在「智力爆炸」理論裡發現的第一個問題就是它沒有意識到，智力其實是一個更廣闊的系統的一部分，有一種關於智力的觀點「缸中之腦」就認為智力可以獨立於它的場景存在。大腦僅僅是一塊生物組織，本質上來講它沒什麼好智慧的。除了大腦之外，你的身體和感知（感覺到運動的功能）也是大腦中的一個基礎部分。
人類所處的環境是大腦中的一個基礎部分，人類文化是大腦中的一個基礎部分。這些都是人類思維的來源。對智力的考量，不能把它從它用來表達自己的內容中脫離出來。
具體來說，「通用人工智慧」這種東西是不存在的。先從抽象角度來講，我們都知道「沒有免費的午餐」定理，它是說對於所有可能的問題來說，沒有什麼問題解決方法能夠比隨機選擇的效果更好。如果智力的表現是一種解決問題的算法，它只有在某個具體問題的條件下才能夠被人類理解。
更實際地講，可以看到現在我們構建出的各種智慧系統都是高度專用化的。現在我們構建出的 AI 的智力都是高度專用的，專門用來解決非常細分的問題，比如下圍棋，或者把圖像分到一萬個已知的類別中。
這就好像，一隻章魚的智力是專門用來解決「如何做一隻章魚」這個問題的。人類的智力同樣是專門用來解決如何做一個人類的。
如果我們把一個全新的人類大腦放在章魚的身體裡，然後讓它生活在海底，那會怎麼樣？它能學會如何控制這個有著八隻觸手的身體嗎？它能堅持個幾天嗎？我們做不了這樣的實驗，但是根據已有研究中發現的人類固有的基礎行為和早期學習模式來說，很有可能這個章魚中的人類大腦展現不出任何智慧行為，而且會很快死掉。怎麼樣，大腦現在就不怎麼聰明了吧？
如果我們把一個人類（大腦和身體一起）放到一個完全沒有我們熟知的人類文化的環境中呢？一個被狼群養大的狼孩，長大以後會比他的被人類養大的雙胞胎兄弟更聰明嗎？如果我們把這個狼孩和年幼的愛因斯坦換一換，他會不會有機會藉助教育的力量，最終同樣發現關於宇宙的理論呢？
可供借鑒的經驗性證據非常少，但是從我們現有的知識中可以看到，在人類文化環境之外長大的小孩最高也只能發展出基本的、動物一樣的生存行為，當他們長成大人以後都還學不會任何語言。
如果像我們剛才說的這樣，智力在本質上是取決於具體的感知模式、具體的環境、具體的養育方式、具體的需要解決的問題的，那我們就不能指望只依靠調節「大腦」，就能任意地提高一個智慧體的智力水平，就像不能只靠調節工廠裡流水線的速度來提高整個工廠的產量。
想要智力爆發，那麼大腦本身、感知模式和環境都需要跟著進化。如果我們大腦的組成結構是我們問題解決能力的決定性因素，那麼那些 IQ 遠超正常人類範圍的人，也就會以遠超過普通人的方式生活，解決各種以前人們認為解決不了的問題，甚至最終通知世界，就像有的人害怕超過人類智力的 AI 會做出這些事一樣。
然而實際上，具有超常的認知能力的人多數都過著異常乏味的生活，幾乎沒幾個人做出了什麼值得紀念的事情；另一方面，如果我們看看那些嘗試統治世界的人，我們幾乎看不到其中有誰是特別聰明的。
對於那些在真正的難題上做出了真正的突破的人，他們之所以能做出成果是環境境遇、性格、教育背景、智力因素組合的結果，而且他們也是在前人的工作之上一點點做出改進，從而形成突破。
「成功」這種智力的外在表現，是一種在合適的時間遇到一個好的問題的能力。
許多解決了重大問題的傑出人物甚至都不一定有多聰明，他們的技能是專門用於某個特定領域的，他們在自己的主攻領域之外也並不見得就比普通人表現更好。有一些人做出了更多的成就，是因為他們的團隊協作能力更好，或者更有勇氣、工作中有更高的道德、有更好的想像力。也有一些人只不過碰巧就在對的場景裡、在對的時間講了對的話。本質上來說，智力是取決於場景的。
環境給每個個人的智力設定了不可逾越的上限
智力並不是某種超強力量；超常的智力僅憑它自己並不能給某個人帶來同樣比例的額外的力量，從而改善他自己的處境。不過，有充足的研究表明智力的高低（以 IQ 值衡量，不過這也有待討論）跟整個社會的分佈中最接近平均值的一部分的社會成就有關係。
一個 IQ 為 130 的人從統計意義上來講更有可能比 IQ 為 80 的人獲得成功的人生；對單個個體來講其實變數也是很多的，這種關聯只在統計學意義上有效，但它在超過某個點之後還是會失效。沒有任何證據可以表明一個 IQ 為 220 的人能比 IQ 為 130 的人能在某個領域做出更大的貢獻。這是為什麼呢？
這種狀況指向了一個非常直觀的事實：做出高的成就需要有足夠的認知能力，要高出某個閾值，然而接下來在解決問題、在「智力的外在表現」時遇到的瓶頸就並不是隱含的認知能力自己了。
這個瓶頸是人類自己的處境。我們所在的環境決定了我們的智力是如何呈現出來的，它給我們能憑藉大腦做到的事情加上了一個不可逾越的上限：環境決定了我們長大以後能變得多聰明、決定了我們能以何種效率利用我們培養出的智力，以及決定了我們能解決什麼樣的問題。
所有的證據都表明，我們現在的生存環境很大程度上就和人類歷史上過去的二十萬年裡的、甚至更早時候的生存環境一樣，始終不足以讓高智慧的個體完全發展、完全運用他們的認知潛能。
一個一萬年前的具有很高潛力的人類，基本上是在一個複雜度相當低的環境中長大的，很可能只會說一種詞彙量不到 5000 個單詞的語言、從來都沒有閱讀或者寫作過、只接觸到了非常有限的知識、遇到了寥寥幾個認知挑戰。
對於多數的現代人類來說，狀況是要好一些了，但是沒有任何跡象可以表明，我們現在在環境中遇到的機遇和挑戰，增加得比我們的認知潛能更快。
「從某種程度上說，我對愛因斯坦大腦中的權重和卷積的興趣，並不比幾乎一定存在的、具有同樣天分的、在棉花田和工廠流水線裡生活死去的人更多。」— Stephen Jay Gould
一個聰明的人類如果在森林中長大，那他只不過是一隻沒有毛的猴子。類似地，一個具有超越人類的大腦的 AI，如果以人類的身體在現代世界裡生活，也不見得會比一個聰明的現代人學到更多更強的本事。假使它能的話，那麼那些已知的具有高 IQ 的人類就肯定已經做出了與 IQ 成正比的超人般的個人成就；他們對自己的環境的控制力將是普通的人類無可比擬的，也將會解決深遠、重大的問題。然而這一切現在也並沒有發生。
人類多數的智慧並沒有存儲在大腦當中，而是外部化，變成了人類文明
決定我們的大腦會發展出什麼水準的智力，並不僅僅是我們的身體、感知和環境。這裡的重點是，人類的生物學上的大腦僅僅是人類總體智力的一小部分。我們身邊充滿了認知意義上的「義肢」，它們連接到我們的大腦中，拓展了大腦解決問題的能力。
比如你的手機、你的電腦、Google 搜尋引擎、在學校遇到的認知工具、書籍、別的人、數學符號、編程，等等。所有認知意義上的義肢中，最最基礎的當然就是語言本身，它可以說是認知活動用的操作系統，如果沒有它我們就沒辦法做深入的思考。
這些東西不僅僅是餵到大腦中然後被它使用的知識，它們是真正的外部認知過程，用非生物化的方法執行思維路徑和解決問題的算法；它們超越了時間、空間，而且更重要的是，超越了我們每個個體。這些認知義肢並不是我們大腦的任何一部分，但卻是我們大多數認知能力的棲息之處。
我們人類就是由我們使用的工具塑造出來的。單獨的一個人幾乎什麼都做不了；這話可以再說一遍，人類只不過是兩隻腳走路的猴子而已。讓人類脫離了動物本能的，是人類集體的知識和外部系統在數千年間的積累，我們也把這個過程稱作「文明的建立」。
當科學家做出了突破性發現的時候，他們大腦中運轉著的思維過程僅僅是整個方程的很小一部分，問題解決過程中的絕大部分的工作量都是由電腦、別的研究者、紙筆記錄、數學符號等等完成的，他們能夠成功的原因也都是因為他們站在巨人的肩膀上：他們自己的研究成果只不過是一個延續了幾十年的、有幾千個獨立的個體參與的問題解決過程中的最後一個子程序而已。
作為單獨的個體，他們自己的認知成果對於整個流程來說並不見得就比電腦晶片中的一個電晶體起到的作用更大。
單獨一個大腦並不足以實現迭代式的智力增強
有多到數不清的證據都指向了這個簡單的事實：單獨一個人類大腦，只靠它自己，是不足以設計出超越自己的智慧存在的。這完全是一個實證得到的結論：在這地球上出現過、滅亡了的幾十億個人類大腦中，沒有一個做到了這件事。這件事很明顯，單獨一個人的智力，花了一生的時間也設計不出更高的智力存在；假如能的話，在這樣的幾十億次嘗試之後，是肯定要能發生的。
然而，這幾十億個大腦，在數千年間積累了知識、發展出了外部的智慧流程、實現了這個「文明」系統，最終有可能就會帶來智力高於單個人類個體的人工大腦。能創造出超越人類的 AI 的，不是你，不是我，不是任何單獨的人類個體，而是作為一個整體的人類文明。
這個過程中有無數的人類參與、花費的時間我們無法想像；這個過程對書本、計算機、數學、自然科學、網絡等等外部智力的需求要遠高於生物智力。從個體的層次講，我們都只是人類文明中的一個個向量，從前人的工作上開始，向下傳遞我們自己的發現。如果人類文明對應的這個解決問題的算法運行在電腦上，我們就只是短暫參與其中的電晶體而已。
經過幾個世紀的時間，人類集體開發出的超越人類的未來人工智慧，會有可能有能力創造出比它們自己更強大的 AI 嗎？不會的，就像我們人類也不知道如何開發出超越自己的人工智慧一樣。如果你回答「會」的話，就又和我們知道的一切衝突了。
請記住，沒有任何人類，也沒有任何我們知道的具有智力的實體，能開發出任何比自己更聰明的東西。我們人類要做的是，逐步地、共同地構建比我們自己更強大的外部的問題解決系統。
不過，未來的 AI 就會和人類以及其它人類創造出的智慧系統一樣，給人類文明添磚加瓦；而人類文明，反過來也就會不斷拓展它創造出的 AI 的能力。從這種意義上說，人工智慧就和計算機、書本或者語言一樣，是一種給人類文明帶來更強大力量的科學技術，超級人工智慧所代表的技術奇點也就會和計算機的發明、書本的發明、語言的發明所代表的奇點一樣。
人類文明會創造出 AI，然後繼續向前進步。人類文明最終會超越我們現在的存在形式，就像現在的人類文明超越了一萬年前的人類一樣。這是一個逐步發生的過程，而不是一個突然的轉變。
智力爆炸的基本假設，一個「種子 AI」會出現，憑藉比人類更強的問題解決能力，走向突然的、迭代的、不受控制的智力發展循環，是錯誤的。
我們人類的問題解決能力（具體來說，我們設計人工智慧的能力）本來就一直在提高，因為這些能力大部分並不是存儲在我們的生物學大腦中的，而是蘊含在人類身體外部的所有工具中。
這個迭代進化的循環已經運轉了很長時間了，「更好的大腦」的出現也不會對它造成什麼實質性影響，不會比任何以往的智力增強技術影響更多。人類的大腦從來都不是人工智慧設計過程中的重大瓶頸。
說到這裡你可能會問，人類文明本身難道就不是一個可能失控的、能自我增強的大腦嗎？我們的文明所代表的智力會爆炸嗎？不是，也不會。這裡的關鍵是，人類文明這個級別上的智力增強循環，只為人類帶來了隨著時間線性增加的問題解決能力。這樣是沒辦法爆炸的。可是為什麼呢？從數學上迭代增加 X 不就會帶來 X 的指數性增大嗎？不是的。簡單來說，沒有哪個現實世界中的複雜系統可以被「X(t + 1) = X(t) * a, a > 1」這樣的模型描述。這樣的系統在真空中不存在，尤其也不會在智力和人類文明中存在。
對於迭代自我增強的系統，我們又知道多少
當一個智慧系統開始優化自己的智力的時候，我們其實都不需要猜測會不會出現智力的「爆炸」。即便在這之前，多數的系統就都是能自我迭代增強的。我們的生活裡充滿了這樣的系統，所以我們很清楚這樣的系統在各種不同的環境下、各種不同的時間尺度下都有哪些行為特點。
你自己，就是一個迭代自我增強的系統：通過學習讓自己更聰明，反過來又能讓自己更高效地學習。
類似地，人類文明也是自我迭代增強的，只不過是在長得多的時間尺度上。機電一體化也是一個自我迭代增強的過程：更好的工業機器人，就可以造出更好的工業機器人。軍事帝國也是自我迭代地擴張的：帝國越大，就有越多的軍事手段可以繼續擴張。個人投資也是自我迭代增強的，有更多的錢，就能賺更多的錢。不勝枚舉。
讓我們以軟體為例考慮一下，編寫軟體的過程很明顯能幫助寫出更好的軟體：首先，我們編寫出能「自動化編程」的編譯器，然後我們藉助編譯器開發出新的程序語言，從而可以實現更強大的編程範式。借助這些語言，我們開發出了高級開發工具，debugger、IDE、bug 預測器等等。未來，軟體甚至可以自己編程自己。
那麼這個自我迭代增強過程的終局如何呢？同樣在你的電腦上，你今年能做的事情就會比去年翻一倍嗎？下一年還能再翻兩倍嗎？理性地說，軟體的功能是以線性的速度逐漸提高的，但同時我們卻投入了指數增加的精力在軟體開發中。軟體開發者的數量在過去的幾十年裡一直都在指數級增長；同樣地，根據摩爾定律，運行軟體所用的晶片中的電晶體的數目也是指數級爆炸的。然而，我們的電腦只是小步地、小步地比 2012 年的、或者 2002 年的、或者 1992 年的電腦變得更有用那麼一點。
為什麼呢？主要原因是，軟體的功能根本上來講是受限於它的使用過程中處理的內容的，就像智力，一面可以被它用於表達自己的內容所定義，另一面也被用於表達自己的內容所限制。軟體也只不過是人類經濟、人類生活這樣的巨大過程中的一個螺絲釘而已，就像我們的大腦也只不過是人類文化這個巨大的過程中的一個螺絲釘。這些內容給軟體作用的最大潛能設置了上限，就像我們生存的環境給單個人的智力水準設置了上限一樣，即便這個人有天賜的超級大腦也沒用。
除了來自內容的硬性限制之外，即便系統的某一個部分有迭代自我增強的能力，系統裡其它不能迭代自我增強的部分也不可避免地會成為整個系統表現的瓶頸。
作為對迭代增強的反應，反向對抗的過程就會這樣出現，阻撓增強過程的繼續；以軟體的例子來說，功能的增強可能會帶來資源的消耗、特性更新緩慢、用戶體驗方面的問題等等。對於個人投資來說，你自己花錢的速度就是一個類似的對抗過程：你手裡的錢越多，你花出去的錢也就越多。對於智力來說，系統之間的溝通就是對任何內部功能改進的阻礙。
大腦如果遇到了更聰明的肢體，協調它們的時候就會遇到更多的問題；一個社會中的個體如果更聰明了，這個社會也就需要投入更多的資源在網絡和溝通上，等等。IQ 非常高的人有更高的可能性患上某些精神疾病，這可能並不是什麼巧合，歷史上的軍事帝國在超過了一定規模以後都會走向崩塌可能也並不是隨機事件。指數成長的過程，遇到了同樣指數成長的阻力。
有一個值得具體說說的例子是科學技術的發展，因為它從概念上很接近智力本身：科學技術，作為一個問題解決系統，距離一個可能失控的超級 AI 並沒有多遠。科學技術當然是一個自我迭代增強的系統，因為科學技術進步帶來的結果就是我們能製造出新的工具，給科學技術帶來更強的力量，不論是實驗設備（比如量子物理引出了雷射的發現，而後讓許多新的量子物理的實驗得以進行）、思想工具（比如新的定理、新的理論）、認知工具（比如數學符號）、軟體工具、讓科學家們更好地合作的溝通流程（比如網路），等等。
然而，現代科學技術的發展仍然是可見地線性發展的。2012 年的時候我就寫過一篇關於這種現象的文章，標題是「奇點是不會來到的」。在 1950 到 2000 年之間，我們在物理方面做出的重大進步並不比 1900 到 1950 年之間的更多，那時候的科學家們做的就很棒了。如今數學的發展也並沒有比 1920 年的時候快到哪裡去。
幾十年來，醫學的發展從各個指標來看也只不過是線性的發展。而這還是我們在科學技術方面的投入以指數級別增加之後的結果，研究人員的數目大概每隔 15 到 20 年就會翻一番，同時這些研究員們也用著計算能力以指數級別增加的電腦來提高他們自己的產出能力。
為什麼呢？減慢了科學技術自我迭代發展的重大瓶頸和對抗性的反作用力都是什麼呢？因素太多了，根本數不過來。下面簡單列幾個吧。重要的是，以下的每一條都同樣適用於自我迭代增強的 AI 系統。
在某個領域做科學研究的難度會隨著時間指數增加。領域的創始人基本上摘走了所有伸手就能夠到的果實，之後的研究者想要達成可以相提並論的成就，就需要付出指數增加的精力。甚至在資訊理論領域中，沒有任何研究者做出的成果是可以和夏農（Claude Elwood Shannon）在 1948 年的論文中的成果相提並論的。
隨著一個領域變得越來越大，研究人員之間的資訊共享與合作也變得指數級地困難。想要跟上最新的學術文章也變得越來越難。別忘了，一個有 N 個節點的網絡，節點間連線的數目是 N*(N-1)/2；連線增加得要比節點增加得快多了。
隨著科學技術知識越來越多，人們需要在教育和技術訓練中投入的時間精力越來越多，每個研究者自己所能探究的方向也越來越狹窄。
根據實際情況來說，系統的瓶頸、逐漸減少的回報和對抗性的反作用力，會讓我們身邊所有本來可以自我迭代增強的過程最終停滯。自我增強的確可以帶來提高，但是這種提高往往是線性的，甚至最高的情況也只是 sigmoid 函數那樣。
你的第一個「種子美元」投資不見得就會帶來「財富爆發」；相反地，投資收益和逐漸成長的支出之間會達到平衡，你的財富往往只會是大概線性成長而已，而這還只是在一個比自我增強的大腦簡單好幾個數量級的系統裡的情況。
類似地，第一個超級 AI 的出現也只不過是可見的線性成長過程中的一步而已，而這個過程我們已經走了十分久了。
結論
智力的拓展只能來自大腦（生物大腦或者數字大腦）、運動感知、環境和文化的共同演化，而不是單獨拿出來、僅靠調整缸中之腦的某些組成就能達到更高的智力。這樣的共同演化已經持續發生了不知道多久，而且會隨著智力的基礎逐漸轉為數位化的過程不斷地繼續進行下去。不會出現什麼「智力大爆炸」，這個過程只能大致按照線性速度發展。
請記得：
- 智力是取決於場景的，根本沒有「通用智慧」這麼一回事。我們的大腦是包括了我們的身體、環境、別的人類以及總體文化在內的一個更大的系統中的一部分而已。
- 沒有系統可以自己在真空中存在；每個單獨的智力存在都會同時被它存在的內容和環境所定義以及限制。目前來講，我們的所處的環境是我們智力發展的瓶頸，而不是我們的大腦。
- 人類智力在很大程度上是外部化的，它存在於人類文明中，而不是在人類自己的大腦裡。我們就是被我們使用的工具定義的，我們的大腦就是一個遠遠大於我們自己的認知系統中的幾個模組。這個大的認知系統就是能自我增強的，而且已經自我增強了很久了。
- 自我迭代增強的系統，在現實中由於各種瓶頸、逐漸減少的回報和來自它們存在的大環境的反作用因素，並不能真的達到指數級別的提升。根據以往經驗來講，它們往往只能展現出線性或者 sigmoid 的提升而已。尤其，科學研究的進展就是這樣的，而科學研究基本就是我們可觀察的系統裡最接近自我迭代增強的 AI 的一個了。
- 迭代的智力增加一直都在進行著，跟著人類文明的發展一起。在 AI 時代它也會繼續進行下去，而它的發展也大概就是線性增加的。
from INSIDE 硬塞的網路趨勢觀察 http://ift.tt/2AiRWVk
沒有留言:
張貼留言