最近，谷歌研究員，深度學習庫 Keras 作者 François Chollet 對 Facebook 事件發聲，闡述了自己對於 AI 發展的擔憂和建議。
社交網絡服務正越來越多地控制我們消費的信息，我們從新聞流中看到的東西已經變成了算法的「策劃」。社交媒體算法會越來越多地決定我們閱讀哪些文章、看到哪些電影預告片、我們保持聯繫的對象，以及我們收集到的，表達意見的反饋。——François Chollet
聲明：這些是我個人的觀點，不是替我的僱主發言。如果你引用這篇文章，請如實地陳述這些觀點：它們是個人的、推測性的，是非對錯請自行評判。
如果你出生在 20 世紀 80 年代和 90 年代左右，可能還記得現在已經絕跡的「電腦恐懼症」，在 21 世紀初的一段時間，我親眼目睹過這一現象——隨着個人電腦進入我們的生活，出現在工作場所和家裏，很多人都表現地很焦慮、恐懼甚至出現攻擊行爲。雖然我們中的一些人被計算機所吸引，並對它們潛在的潛力充滿敬畏，但大多數人並不瞭解它們。他們覺得它們很奇怪和深奧，在許多方面會受到威脅。人們擔心會被技術取代。
我們中的大多數人對技術轉變很反感，甚至很恐慌。或許任何變化都會導致這種現象。但很明顯，我們擔心的大部分事情最終都不會發生。
一晃幾年過去，電腦反對者已經學會了生活在電腦的時代並享受它們帶來的便捷。計算機並沒有取代我們，也沒有引發大規模的失業——現在我們不能想象沒有筆記本電腦、平板電腦和智能手機的生活。可能會「帶來威脅」的變化已經轉變成爲帶來舒適的現狀。但與此同時，由於我們不再擔心，電腦和互聯網的出現對我們產生了威脅，這些威脅幾乎沒有人在 20 世紀 80 年代和 90 年代警告過我們。無處不在的大規模監視，黑客對我們設備或個人數據追蹤，社交媒體的心理異化，我們耐心和專注能力的喪失，易受影響的政治或宗教激進化的思想，敵對的外國實力通過社交網絡對西方民主國家的破壞。
如果我們大部分的恐懼都被認爲是荒謬的，相反地，過去由於技術變化而發生的真正令人擔心的發展都是發生前大多數人的不擔心造成的。一百年前，我們無法真正預測到我們正在發展的運輸和製造技術會導致一場新形式的工業戰爭，在兩次世界大戰中摧毀數千萬人。我們並沒有早早意識到收音機的發明會促成一種新的大衆宣傳形式，促進了意大利和德國的法西斯主義的興起。20 世紀 20 年代和 30 年代理論物理學的進展並沒有伴隨着關於這些發展如何能夠形成核武器，使世界永遠處於即將毀滅的威脅之下的報刊文章。而現在，即使數十年來關於我們這個時代最嚴重的問題——氣候——已經迫在眉睫，美國大部分的公衆（44%）仍選擇忽視它。作爲一個文明，我們似乎很難正確識別未來的威脅並對它們有合理的擔心，正如我們似乎非常容易因荒謬的恐懼而出現恐慌一樣。
現在，與過去很多次一樣，我們正面臨着一場根本性變革的新浪潮：認知自動化，可由關鍵字「AI」大致概括。就像過去很多時候一樣，我們擔心這種新技術會傷害我們——人工智能會導致大規模失業，或人工智能會有自己的力量，變成超人，並選擇摧毀我們。
圖片來源： facebook.com/zuck
但如果我們擔心錯誤的事情，就像之前我們每次擔心的一樣呢？如果人工智能的真正危險遠遠不是許多人今天驚慌的「超級智能」和「奇點」觀點呢？在這篇文章中，我想提高人們對人工智能真正擔心的問題的認識：人工智能所實現人類行爲的高效、高度可擴展的操縱，以及企業和政府的惡意使用。當然，這不是認知技術發展產生的唯一的有形風險——還有很多其他的，特別是與機器學習模型在害偏見有關的問題。其他人比我對這些問題更加警惕。我選擇寫有關關於大規模人口操縱的文章是因爲我認爲這種風險很迫切而且不甚明顯。
現在這種風險已成爲現實，並且在接下來的幾十年裏，一些長期的技術趨勢將會進一步放大這種風險。隨着我們的生活越來越數字化，社交媒體公司越來越瞭解我們的生活和思想。與此同時，他們越來越多地通過行爲控制向量，特別是通過算法新聞，控制我們的信息消費。這將人類行爲變成了一個優化問題，一個人工智能問題：社交媒體公司可以迭代調整其控制向量以實現特定行爲，就像遊戲人工智能會迭代改進其遊戲策略來得分升級。這個過程中唯一的瓶頸是循環中的算法智能，正如發生的這樣，最大的社交網絡公司目前正在投入數十億美元進行基礎人工智能研究。
我來詳細解釋一下。
社交媒體作爲心理學監獄
在過去的 20 年，我們的私人和公共生活已經向網上轉移。我們每天花更多時間盯着屏幕，世界正在轉向數字信息消費、修改或創造的階段。
這種長期趨勢的副作用是公司和政府正在收集有關我們的大量數據，特別是通過社交網絡服務。我們與誰交流，我們說了什麼，我們一直在消費什麼（圖像、電影、音樂和新聞），我們在特定時間的心情。最終，幾乎我們感知的所有東西和我們所做的一切都會記錄在某個遠程服務器上。
理論上這些數據使收集它的對象爲個人和團隊建立非常準確的心理模型。你的觀點和行爲可以與成千上萬的類似的人交叉關聯，使你對你選擇的內容產生不可思議的理解，可能比通過單純的反思可實現的預測性更強（例如，Facebook 通過算法評估出的你的個性比你的朋友更準）。這些數據可以提前幾天預測你何時開始新的關係（以及和誰），以及何時結束當前的關係。或誰有自殺的危險。或你在一個選舉中即使在猶豫不決的情況下最終會投哪一方。而且這不僅僅能對個人級別進行分析，而且對大型羣體更有預測性，因爲平均行爲會排除隨機性和個人異常值。
數字信息消費作爲一種心理控制向量
這並不會停留在被動的數據收集消費。社交網絡服務正越來越多地控制我們消費的信息，我們從新聞流中看到的東西已經變成了算法的「策劃」。不透明的社交媒體算法會越來越多地決定我們閱讀哪些文章、看到哪些電影預告片、我們保持聯繫的對象，以及我們收集到的，表達意見的反饋。
通過多年的曝光，我們消費信息的算法處理使算法對我們的生活掌握了相當大的權力，包括我們是誰，我們成爲了誰。如果 Facebook 長時間決定你看的新聞（真實的或假冒的），你看的政治地位的變動，以及看你新聞的人，那 Facebook 就會實際控制你的世界觀和政治信仰。
Facebook 的業務根基在於影響人心，也就是向客戶推銷服務——廣告，包括政治廣告。因此，Facebook 已經建立了一個微調算法引擎來實現。這款引擎不僅能夠影響你下一次購買哪個品牌的智能音箱，還可以影響你的情緒，通過調整給你呈現的內容來隨意地讓你生氣或快樂。它甚至可以改變選舉。
人類行爲作爲優化問題
總之，社交網絡公司可以同時瞭解我們的一切，並控制我們的消費信息。這個趨勢正在加速，當你可以接觸感知和行動時，那就是 AI 問題。你可以開始建立一個針對人類行爲的優化循環，在這個循環中，你可以觀察目標的狀態並不斷調整提供給你的信息，直到開始觀察你想要查看的選擇和行爲。人工智能領域的一大部分，特別是「強化學習」，是儘可能有效解決這些優化問題的算法研究方向，趨向於閉環流程，對手頭的目標進行完全控制，也就是對我們進行完全控制。通過把我們的生活轉移到數字領域，我們更容易受到人工智能算法的影響。
人類行爲的強化學習循環
由於人類的思想非常容易受到社交操作的簡單模式的影響，所以這一切變得更加容易。例如，考慮以下的攻擊向量：
身份強化：這是歷史上最早的廣告就開始利用的老技巧，仍和之前的效果一樣好，包括將給定的看法與您確定的標記相關聯（或希望你做了），從而讓你自動掌握目標的想法。在人工智能優化社交媒體消費的背景下，控制算法可以確保你只能看到它希望你看到的和你自己的身份標記共同出現的觀點，相反地，它不希望你看到算法不想讓你看到的觀點。
消極的社交強化：如果你發表了一篇文章，表達了控制算法不希望你持有的觀點，系統可以選擇只將你的帖子呈現給那些持有相反觀點或極度批判這些觀點的人（可能是熟人，陌生人或機器人）。反覆多次，這種社會反彈可能使你偏離你的初始觀點。
積極的社交強化：如果你發表了一篇文章，表達了控制算法希望傳播的觀點，那麼它可以選擇將它只呈現給「喜歡」它的人（甚至可能是機器人）。這會使你的信念加強，讓你覺得你是支持大多數人的一部分。
取樣偏差：算法也可能向你呈現你朋友（更可能是媒體）發佈的支持算法希望你持有的觀點的帖子。置身於這樣一個信息泡沫中，你會覺得這些觀點獲得的支持比實際更多。
參數個性化：該算法可能會觀察將特定的內容呈現給某些心理屬性與你相近的人，導致它想要的觀點上的轉換。然後，它可能給你呈現一些對於具有你的特定觀點和生活經驗的人而言會最有效的內容。長期如此，該算法甚至可以從頭開始生成這些最有效的內容，尤其對於你來說。
從信息安全的角度來看，你會稱這些漏洞爲：可用於接管系統的已知漏洞。就人類頭腦來說，這些漏洞永遠不會被修補，它們只是我們工作的方式，存在於我們的 DNA 中。人類的思維是一個靜態的、易受攻擊的系統，會越來越多地受到更加聰明的人工智能算法的攻擊，這些算法將同時查看我們所做的和相信的所有事情，並完全控制我們消費的信息。
當前的情況
值得注意的是，將人工智能算法放在我們的信息飲食中引起的大規模人口操縱，特別是政治控制，不一定需要非常先進的人工智能。你不需要自我意識，超級人工智能是一個可怕的威脅——即使目前的技術可能就已經足夠了。社交網絡公司已經研究了幾年，並取得了顯著的成果。雖然他們可能只是試圖最大化「參與」並影響你的購買決定，而不是操縱你的世界觀，但他們開發的工具已經被敵對國家爲了政治目的而劫持——如 2016 年英國脫歐公投或 2016 年美國總統選舉。這已經是現實，但如果現在大規模人口操縱已經成爲可能，那理論上來說，爲什麼世界還沒有被顛覆呢？
簡而言之，我認爲這是因爲我們對人工智能的瞭解還不夠，但可能馬上就不是這樣了。
直到 2015 年，業界的所有廣告定位算法都只是在邏輯迴歸上運行。事實上，很大程度上現在仍然如此，只有最大的玩家轉向了最先進的模式。Logistic 迴歸出現在計算時代之前，是用於個性化的最基本的技術之一。這就是爲什麼你對網上看到的這麼多廣告都不感興趣的原因。同樣，敵對國家用來影響公衆輿論的社交媒體機器人幾乎沒有用 AI。目前它們都非常原始。
近年來機器學習和人工智能取得了飛速的進展，纔剛剛開始部署針對算法和社交媒體機器人。2016 年機器學習纔開始進入新聞傳播和廣告網絡，誰也不知道接下來會發生什麼。Facebook 在 AI 研究和開發方面投入了大量資金，它明確的目標是成爲該領域的領導者，這一點非常驚人。當你的產品是社交新聞推送時，自然語言處理和強化學習有什麼用呢？
我們正在看着一家這樣的公司，該公司可爲近 20 億人類構建細緻的心理特徵模型，作爲其中許多人的主要新聞來源，運行大規模的行爲操縱實驗，旨在開發目前爲止的最佳人工智能技術。對我來說，它令我害怕，而且我認爲 Facebook 甚至可能不是最令人擔心的威脅。許多人喜歡假裝大公司是現代世界的全能統治者，但他們擁有的權力與政府相差甚遠。如果對我們的思想進行算法控制，政府可能會成爲最差的行爲者，而不是公司。
現在，我們能做些什麼呢？我們如何保護自己？作爲技術人員，我們做什麼纔可以通過我們的社交新聞推送來避免大規模操縱的風險？
硬幣的另一面：AI可以爲我們做什麼
重要的是，這種威脅的存在並不意味着所有的算法策略都不好，或者說所有的目標廣告都不好。相反，這兩者都可以起到有價值的作用。
隨着互聯網和人工智能的興起，將算法應用於我們的信息獲取路徑不僅僅是必然的趨勢，而且是一個理想的趨勢。隨着我們的生活越來越數字化和互聯，信息越來越密集，我們需要人工智能作爲我們與世界的接口。長遠來看，教育和自我發展將是人工智能最有影響力的應用之一，這將是動態的，這些動態變化幾乎完全反映了試圖操縱你的惡意 AI 支持的新聞推送。算法信息管理幫助我們的潛力很大，使人們更好地發揮他們的個人潛力，並幫助更好地管理社會。
這個問題不是 AI 本身，問題在於控制。
我們不應該讓新聞推送算法操縱用戶實現不透明的目標，比如動搖他們的政治觀點，或者極大地浪費他們的時間，而應該讓用戶控制算法優化的目標。畢竟，我們談論的是，關於你的新聞、你的世界觀、你的朋友、你的生活，技術對你的影響應該由你自己來控制。信息管理算法不應該是爲了服務與我們自身利益相反的目標而設計的神祕力量；相反，他們應該成爲我們手中的工具，一種可以實現我們目的的工具，比如教育和個人而不是娛樂。
這裏有一個想法——任何大規模採用的算法新聞採訪應該：
透明地傳達推送算法目前優化的目標，以及這些目標如何影響你的信息獲取。
給你設定這些目標的直觀工具，例如，應該可以配置新聞源在特定的方向最大限度地提高學習和個人成長。
具備始終可見的特性，測量你在 Feed 上花費的時間。
具備工具可以控制在優化 Feed 上花費的時間，例如每日的時間目標，算法將通過此目標設計讓你脫離優化 Feed。
在保持控制的同時用 AI 加強自己
我們應該建立人工智能來爲人類服務，而不是爲了利潤或政治利益來操縱它們。如果新聞算法不像賭場運營商或宣傳人員那樣運作，事情會變成什麼樣？如果它們更接近一位導師或一個好的圖書管理員，通過對你的心理以及其他數百萬其他人員的心理的敏銳理解，向你推出一本最能引起你共鳴並使你成長的一本書。一種你生活的導航工具——人工智能可以引導你通過體驗空間的最佳路徑到你想去的地方。你能想象經歷過數百萬生命的系統的鏡頭來看待自己的生活嗎？或者與一個讀過每本書的系統一起寫書？又或者與一個能看到當前人類知識全部範圍的系統合作研究？
在完全控制與你交互的 AI 產品中，更復雜的算法而不是威脅，將會是一個積極的方面，它可以讓你更有效地實現自己的目標。
構建反臉書
總的來說，，未來人工智能將成爲我們與數字信息組成的世界的接口。這同樣賦予個人更大的生命控制權，甚至可能完全沒有機構。不幸的是，今天的社交媒體正在走一條錯路，我們很久之後才能扭轉局面。
而業界需要開發激勵使影響用戶的算法受用戶控制，而不是通過人工智能利用用戶的思想來獲取利潤或政治利益的產品分類和市場。我們需要努力實現反臉書（anti-Facebook）的產品。
在遙遠的未來，這些產品可能會是 AI 助手的形式。數字導師編程幫助你，使你控制與它們交互時想要達到的目標。在目前，搜索引擎可以被看作是 AI 驅動信息界面的早期的、更原始的例子，它爲用戶提供服務而不是試圖綁架他們的心理世界。搜索是查找特定目標時特意用的工具，而不是被動地讓你接收選舉人向你推薦的東西。你應該辨別它可以爲你做什麼。搜索引擎應該嘗試最小化從發生到解決，從問題到答案的時間，而不是最大化地浪費你的時間。
你可能會想，因爲搜索引擎仍然是我們和我們消費的信息之間的 AI 層，它是否可以使它的結果更傾向於試圖操縱我們？是的，每種信息管理算法都存在這種風險。但與社交網絡形成鮮明對比的是，這種情況下的市場激勵實際上與用戶需求一致，使搜索引擎儘可能相關和客觀。如果它們不能最大限度地發揮作用，那麼用戶轉向競爭產品基本沒有阻礙。重要的是，搜索引擎比社交新聞的心理攻擊範圍小的多。我們在這篇文章中描述的威脅需要產品中出現 以下大部分特點：
感知和行動：產品不僅應該控制顯示給你的信息（新聞和社交更新），還應該能夠通過「喜歡」、聊天信息和更新的狀態來「感知」你當前的心理狀態。沒有感知和行動，就不能建立強化學習循環（reinforcement learning loop）。作爲古典傳播的潛在渠道，只讀優化推送有害無益。
我們生活的中心性：產品應該是至少一部分用戶的主要信息來源，典型的用戶應該每天花費幾個小時在上面。輔助和專業性的推送（feed）（如亞馬遜的產品推薦）不會是一個嚴重的威脅。
社會的組成使心理控制向量（特別是社會強化）更廣泛和有效，客觀的新聞推送只佔我們思想的一小部分。
業務激勵意在操縱用戶並使用戶在產品上花費更多時間。
大多數 AI 驅動的信息管理產品都不符合這些要求。另一方面，社交網絡是風險因素可怕的組合。作爲技術專家，我們應該傾向於那些不具備這些特徵的產品，抵制將它們結合在一起的產品，只要因爲他們有可能發生危險的濫用行爲。建立搜索引擎和數字助理而不是社會新聞源，使你的推薦引擎透明、可配置、富有建設性，而不是像投幣口一樣的機器——最大限度地提高「參與度」，浪費人們的時間。公司應該將精力投資在用戶界面、用戶體驗和人工智能專業知識上，爲你的算法構建好的配置面板，使你的用戶能夠按需使用你的產品。
重要的是，我們向用戶普及這些問題，防止他們拒絕操縱產品，導致足夠的市場壓力使技術行業的激勵機制與消費者的激勵機制被迫調整。
結論：前方路上的岔路口
社交媒體不僅足夠了解我們，可以爲個人的團隊建立強大的心理模型，還越來越多地控制我們的信息飲食。它有一系列有效的心理療效，可以操縱我們相信的東西，我們的感受以及我們的所作所爲。
一個足夠先進的人工智能算法，可以連續循環訪問我們的心理狀態的感知和行動，可以用來有效地劫持我們的信仰和行爲。
讓 AI 作爲我們的信息接口本身不是問題。這樣人工智能交互界面，如果設計的好，有可能爲我們所有人帶來巨大的利益。關鍵是：用戶應該完全控制算法的目標，將其用作實現自己目標的工具（與使用搜索引擎的方式相同）。
作爲技術專家，我們有責任推銷抵制不可控產品，並致力構建使用戶控制的信息界面。不要將 AI 用作操縱用戶的工具；相反，使 AI 作爲用戶的工具，使其在很多情況下獲得更多的代理權。
一條路通向讓我十分害怕的地方，另一條會通向更人性化的未來。我們仍有時間選擇更好的一條。如果你使用這些技術，請牢記一點，你可能沒有邪惡的意圖，你可能根本不在乎，或你可以僅僅評估自己的受限股權（RSU），而不關注我們共同的未來。但是無論你是否在意，你掌握了數字世界的基礎設備，所以你的選擇會影響我們所有人。你最終必須向所有這些負責。
原文鏈接：https://medium.com/@francois.chollet/what-worries-me-about-ai-ed9df072b704