一個真實世界模擬器。
當世界模型高度進化後，裏面的「人」都在做些什麼？
有人會進行街頭演說，吸引到了不少聽眾，小孩會和機器狗玩：
有人會當街作案，警察前去抓捕，又有人會在大庭廣眾之下求婚：
本週五，來自馬薩諸塞大學阿默斯特分校（UMass Amherst）、約翰霍普金斯大學、卡耐基梅隆大學的研究者們提出了一個神奇的研究：虛擬社羣（Virtual Community）。
虛擬社羣將真實世界的地理空間資料與生成模型相結合，為多種不同型別的智慧體建立了一個具有社會根基的互動式、可擴充套件開放世界場景。
論文：Virtual Community: An Open World for Humans, Robots, and Society
論文連結：https://virtual-community-ai.github.io/paper.pdf
專案連結：https://virtual-community-ai.github.io/
該工作昨晚提交，立即吸引了一些 AI 圈大佬的關注，紐約大學助理教授謝賽寧表示，這對於智慧體研究來說意義重大。
虛擬社羣提供了一個統一的框架，用於模擬社羣中人類和機器人豐富的社交和物理互動。它建立在通用物理引擎之上，並以現實世界的 3D 場景作為基礎。作者為人類智慧體實現了一個虛擬角色模擬框架，而其中的機器人模擬則主要繼承自 Genesis。
虛擬社羣通過在環境中填充配置機器人、人類角色配置檔案和社會關係網路的智慧體（由 LLM 提供支援）來支援基於 3D 場景的智慧體社羣生成。
這一個個人物，都是有詳細背景資料和活動時間表的，他們也會按照這些設定行事。他們的社會關係以群組的形式構建，每個群組包含一組智慧體、文字描述和指定的群組活動場所，所以這些人物會被連線成一個有凝聚力的社群。
虛擬社羣會基於真實世界地理空間資料生成場景及相應的智慧體。如下圖所示：場景生成元件（A）使用生成模型來增強紋理，並精煉粗糙的 3D 資料，同時精煉地理空間資料以簡化幾何結構。它還利用生成方法建立互動式物件和精細的室內場景。智慧體生成元件（B）利用 LLM 基於場景描述生成智慧體角色和社交關係網路。（C）再基於 Genesis 引擎模擬開放世界場景中的虛擬角色社羣和機器人。
令人感興趣的是，它可以模擬世界任何地方的 3D 場景，為智慧體構建出一個大規模社羣 —— 從紐約到倫敦、阿姆斯特丹、丹佛等等。
現有的 3D 地理空間資料 API 在數量和多樣性方面提供了豐富的資料，但它們通常包含大量噪聲，並缺乏紋理和幾何形狀細節。爲了彌補這一差距，作者提出了一種線上流程，對幾何和紋理進行全面的清理和增強。該流程包含四個步驟：網格簡化、紋理細化、物件放置和自動註釋。
作者使用此流程生成了 35 個全球不同城市的帶註釋場景：
虛擬社羣其中還具有正常執行的交通系統，包括行人移動、車輛流動和公共交通運營。作者開發了基於 OSM 資料的自動化動態交通生成機制，能夠快速重建城市道路網路並在全球範圍內實現自主交通模擬。
作為一個幫助未來人與機器協作進行訓練的平臺，機器人將成為虛擬社羣不可或缺的一部分，它們無處不在並會其中的「人類」進行無縫互動。目前看到已經匯入的機器人就有宇樹的人形機器人、波士頓動力的機器狗，還有四軸無人機、谷歌機器人等。
利用虛擬社羣所釋放的新功能，作者引入了兩項新的具身化多智慧體任務：一項涉及多名人類智慧體的競選任務，以及一項同時涉及機器人和人類智慧體的社羣助理任務。爲了成功完成這些任務，智慧體需要具備在社羣環境中進行規劃的能力，以及與其他智慧體互動的社交智慧。
作為這兩項任務的基礎，如果沒有分配到特定任務，社羣中的智慧體會遵循預設的日常計劃和慣例。在每輪遊戲中，都會選擇多個智慧體併爲其分配一項任務。當智慧體被賦予任務時，它會暫停日常計劃，專注於完成社羣中分配的社交任務。
在「競選」任務中，候選人智慧體必須高效地規劃與社羣內的選民智慧體建立聯絡並進行說服。由於選民的性格和社會關係各不相同，一些選民最初可能傾向於某些候選人，這就要求每位候選人制定適應性策略，以在整個選舉過程中影響和改變選民的意見。
結果如下圖所示，採用 GPT-4o 主幹的候選人比採用 GPT-3.5-turbo 主幹的候選人擁有更高的平均得票率和轉化率，這意味著它更有能力在大多數場景下改變選民的觀點。
社羣助手任務的場景則是兩個異構機器人在開放世界環境中合作協助人類。這些任務要求智慧體進行合作規劃，以協助人類化身進行日常活動 —— 搬運，即智慧體陪同人們外出並幫助搬運物品；以及遞送，即智慧體將物品從源位置（室內或室外）運送到目的地。
實驗結果顯示，兩種基線方法在交付方面的表現均優於攜帶，這反映了在動態開放世界中同時操控物體和跟隨人類的極高難度。
作者希望虛擬社羣工作能夠幫助人們大規模進行未來的社會智慧研究，包括：1）機器人如何智慧地合作或競爭；2）人類如何發展社會關係和建立社羣；3）智慧機器人和人類如何在開放世界中共存。
以下為該研究的團隊成員：
更詳細的內容，可參閱論文原文。