雷鋒網 AI 科技評論按：近期 Facebook 泄露海量用戶數據，而且這些數據還被利用來針對性地影響 Facebook 用戶的事情已經鬧得沸沸揚揚。除了用戶隱私保護這一話題永遠都不過時之外，「用來分析用戶、影響用戶的 AI 算法應當擔負怎麼樣的責任」這一話題也在 AI 圈中引起了討論。Keras 作者、谷歌大腦研究員 François Chollet 也在 Twitter 上連發好幾十條推文，表達了自己的觀點。這些推文基本構成了一篇完整的文章，而且觀點深刻發人深省。雷鋒網 AI 科技評論把這些推文編譯整理如下。
François Chollet：
Facebook 已經做了一系列「成功」的實驗了，其中的內容包括通過控制信息流裏展現的內容控制用戶的情緒和想法，以及預測用戶未來可能做出的決定，比如預測分手、預測建立新戀情。如果 AI 有什麼重大的威脅需要引起足夠的擔心的話，那它已經在這裏顯現出來了：極爲有效地、可以大規模實行地控制普通大衆。Facebook 非常努力地想要成爲 AI 方面的領軍力量這件事，在看清它背後的全部隱喻之後，開始真正地讓人不寒而慄。
對 AI 研究社區裏的各位，下次你們以任何形式參與到 Facebook 的 AI 生態系統中的時候，你們都需要想想，想想自己又幫 Facebook 增添了哪些能力。我們共同養大的這個怪獸，最終會把我們每一個人都吃掉。很抱歉我把這事說得很誇張，但是這件事的威脅程度值得用這麼嚴重的詞。Facebook 在這件事上體現出的問題，並不僅僅是失去了隱私並被用於泛極端主義。在我看來更值得擔心的是，它把個人的數字信息用作心理控制的手段。
有兩個長期趨勢正在改變整個世界的模樣：一，我們每個人的生活越來越去物質化，越來越多地由「在網絡上享用和創造內容」構成，工作中、下班在家的時候都是這樣；二，AI 也在變得越來越聰明。在能夠影響我們如何享受數字化內容的算法層面上，這兩個趨勢的作用開始疊加。決定我們能看到哪些文章、我們和誰聯繫、我們看到誰的觀點、收到誰的反饋等等無限多的事情的，變成了不透明的媒體算法。基於廣大用戶這麼多年積攢的數據，用算法處理我們能享用哪些數據的做法讓這些系統對我們的生活、對我們要變成什麼樣有了可見的控制力。當我們的生活越來越多地由數字生活組成的時候，我們在這個世界的管理方 —— AI 算法 —— 面前，就越發地脆弱。
如果在某幾年的時間裏，你看到什麼新聞（不論真假）、看到哪個政客的觀點，以及誰能看到你的觀點，等等這一切都是由 Facebook 控制的，那 Facebook 就對你的政治理念和你的世界觀有了相當的影響。而這也並不是什麼新聞，我們已經知道了至少從 2013 年起 Facebook 就進行了一系列實驗，實驗裏他們可以通過關閉信息流裏的某些內容的方式，控制不知情的被試用戶的心情和決定，以及預測這些用戶未來的行動。
簡短來說，Facebook 可以同時測量所有關於我們的信息，同時還控制我們接觸到哪些信息。當你同時可以接觸到感知和行爲的時候，這就變成了一個 AI 問題。那麼你就可以開始爲其中的人類行爲建立一個優化閉環。一個強化學習閉環。在這個閉環裏可以觀察到目標的當前狀態，然後持續改進給他們看到的信息，一直改進到他們開始表現出你想看到的觀點和行爲爲止。
AI 研究裏有相當一部分內容（尤其是 Facebook 一直在投資的這一部分），就是關於如何開發算法，儘可能高效地解決這種優化問題的，以便能達到這樣的閉環，對其中發生的現象有完全的掌控。以 Facebook 這件事來講，在閉環裏被掌控的就是我們自己。
人類的大腦天生就對簡單的社交控制沒有任何抵抗力，這讓達到這個目標變得不知道有多麼簡單。現在當我思考這些問題的時候，我已經不由得想起了一系列有效得令人後怕的心理攻擊手段。其中的有一些已經在廣告業使用了很長的時間，比如正面/負面社交強化，只不過執行得很弱、沒有針對任何特定目標。
如果從信息安全的角度考慮的話，這已經可以稱得上是「脆弱性」，可以通過已知的系統特性掌控整個系統。對於人類心智來說，這些脆弱性永遠都沒有辦法修復，人類就是這樣一種生物。我們的 DNA 就是這樣的，我們的心理特點就是這樣的。作爲人類個體，我們沒有任何有效的方法可以保護我們不受這種控制。AI 算法越來越聰明，它們對我們的所做、所信有完全的瞭解的同時，還對我們接收的信息有完全的控制。人類心智這個靜態的、脆弱的系統，在這樣的 AI 面前只會越來越淪陷。
而很重要的是，對大量人口的控制，尤其對於政治觀念的控制來說，讓 AI 控制我們看到哪些信息這樣的做法其實都不一定需要很先進的 AI。一個沒有自我認識的、沒有超級智能的 AI 就已經可以是顯著的威脅。
所以，如果對大量人口的控制現在就已經理論上可行的話，那爲什麼世界還沒有走向毀滅呢？簡單地說，我認爲是因爲我們做 AI 做得還太糟糕了。不過這可能也很快就要發生變化了。你們可以看到，我們的技術能力就是此處的瓶頸。
直到 2015 年爲止，所有企業使用的廣告投放算法裏使用的都只不過是邏輯迴歸。實際上，直到今天也還有很多公司是這樣做的，只有市場裏最大的玩家才切換到了更先進的模型。這就是我們在網上看到的各種廣告裏，有很多都顯得和自己毫無關係的原因。這些算法沒有那麼複雜。類似地，敵對國家用來散播政治觀點的社交媒體機器人裏面要麼沒有 AI，要麼只有一點點。它們都太初級了，目前來講。
在最近幾年裏，AI 的發展突飛猛進，而這些新的技術成果纔剛剛開始部署在針對性的廣告投放和社交媒體機器人裏而已。深度學習也是在 2016 年左右纔開始滲透到信息流和社交網絡這些領域裏。Facebook 在這些技術上都做了大規模的投資。
接下來還會發生什麼誰也不知道。細想之下，Facebook 在 AI 科研和開發方面一直都有大規模的投資，而且很直白地希望自己成爲這個領域的帶頭人。這告訴了我們什麼呢？當你的產品是信息流的時候，你需要 AI 和強化學習到底是爲了做什麼？
我們現在面對的是這樣一個有着強大力量的實體：它爲超過 20 億人類分別構建了細粒度的心理學檔案，它會做大規模的行爲控制實驗，同時它還有「開發世界上最強大的 AI 技術」的目標。以我個人來講，真的是感到害怕。
如果你也在 AI 領域工作，請不要幫助他們。不要認可他們的遊戲規則。不要參與到他們的研究生態系統中。做人要有良心。
（關於「把個人的數字信息用作心理控制的手段」）有人說谷歌也是這樣的。這算得上是最懶惰的一種思維方式了，僅僅因爲兩件事表面上看起來有一些相似性（它們都是大型科技企業），不代表它們就是相關聯的。根本上，我講的這些威脅並不會發生在谷歌身上。亞馬遜也不會。蘋果也不會。理論上，Twitter 是有可能的，不過實際上它基本上什麼都沒做。
產品是不透明的信息流算法、做大規模的心情/觀點控制實驗、快被操控選舉醜聞淹沒、一次又一次領導力破產的公司只有這樣一個。所以請不要條件反射般地以爲「所有科學技術、所有廣告都是壞的」，請仔細考慮我說的實質內容。
對我個人來說，我是有意識地選擇了來谷歌工作的。如果我開始覺得不舒服了，那我肯定會離開。而如果我當時選擇了去 Facebook 工作的話，我 2017 年就會離開。
我們和這個信息密度越來越高的世界之間的溝通越來越多地依賴算法並不構成什麼問題。隨着互聯網和 AI 的發展崛起，這個趨勢是不可避免的。真正的問題在於控制。我們需要讓用戶決定算法優化的目標是什麼，而不是讓信息流算法控制我們，從而達到它的某些不透明的目標（比如影響我們的政治觀點，或者最大化我們在信息流上浪費的時間）。
讓用戶自己配置他們的信息流，比如儘量幫助用戶自己的學習和個人成長之類的，應當成爲一種可能性。這樣一來，更復雜的 AI 也不再是人類的威脅，而會對我們有許多益處，可以讓我們更高效地達成自己的目標。長期來看，我認爲教育和自我提升將會是 AI 最具影響力的應用領域之一。這個動態發展的過程彷彿是現在這樣企圖控制我們的 AI 系統的一個翻版，但唯一的不同就是誰來給算法設定目標。
對於這個數字信息構成的世界來說，AI 就是我們和它之間的接口。它既可以讓個人和團體有更大的力量控制自己的人生，也有可能引向被完全控制的不歸路。很遺憾的是，我們正在錯誤的方向上前進。
從另一個角度來講，谷歌搜索、Gmail、iOS 和安卓這樣的技術產品對人類有益，而 Facebook 信息流對人類有害的原因正是如此。前者是主動的，它們給了用戶更多力量，讓他們能夠做更多、瞭解更多。後者則是控制你的世界觀，而且試着讓你在它裏面儘可能多地浪費時間。
人工智能作爲一個產業，我們需要開發新種類的產品類別和市場，其中產品的動機是爲了讓人類具有對 AI 的控制權，而不是讓 AI 利用人類的心智獲利或者影響政治。我們需要努力向着「反 Facebook」的技術產品前進。
（完）
via François Chollet @fchollet，雷鋒網(公衆號：雷鋒網) AI 科技評論編譯
相關文章：
Facebook千萬用戶信息泄露引發的另一思考：線下視頻監控用戶數據如何守護？
我在 Facebook 上發了一張小狗的照片，Facebook 應該付錢給我嗎？
實錘！泄漏5000萬用戶信息後，Facebook 成操控美國大選的工具
