Nature：令人驚歎
白交 發自 凹非寺
量子位 | 公眾號 QbitAI
Nature：「令人驚歎」的通用科學人工智慧來了！
谷歌DeepMind再次甩出一顆重磅炸彈：與陶哲軒等一眾頂尖科學家一起共同打造AlphaEvolve。
它可以設計出更快的矩陣乘法演算法，可以改進晶片設計、提高資料中心、AI訓練的效率，已經在谷歌內部用上了。
它將Gemini架構中大型矩陣乘法運算加速了23%，從而將Gemini的訓練時間縮短了1%，谷歌程式設計師狂喜（bushi）。此外還將FlashAttention提速了32.5%。
幾百年前未曾解決過的數學問題，也都能因為它前進一大步。
比如一個經典的300年前的幾何挑戰接吻數（Kissing Number）問題。它關注的是，給定空間內球面相切的不重疊球體的最大數量。
一維空間和二維空間是這樣的。
AlphaEvolve發現了一個由593個外球體組成的結構，直接重新整理了11維空間中的下限。
wiki百科上已經更新了記錄。
而它的潛力還在釋放當中，陶哲軒表示這個工作還在進行，接下來希望會彙報更多進展。搓搓手期待了~
目前它推出了早期邀測試用，在官網填寫表格，就有機會使用哦~不僅限學術圈的朋友。
AlphaEvolve：谷歌資料中心/晶片設計已經用上
AlphaEvolve是啥？按照官方介紹，這是個LLM驅動的進化編碼Agent，用於通用演算法的發現與優化。
它包括三個部分：
- 大模型：綜合有關問題的資訊以及以前解決問題的嘗試，並提出新版本的演算法；
- 自動評估器：驗證、執行和評分所提出的演算法。
- 進化框架：迭代改進所發現的最佳演算法，並重新組合不同解決方案的想法，以找到更好的演算法。
值得一提的是，這裏的大模型是一系列大模型。
比如主打速度和效率Gemini Flash能夠最大限度地拓展探索的思路廣度；而效能更強的Gemini Pro則能夠提供深刻的深度和富有洞察力的建議。這些模型共同構建了以程式碼形式實現演算法解決方案的演算法。
過去一段時間，AlphaEvolve提升了谷歌資料中心、晶片設計和AI訓練流程的效率，包括訓練AlphaEvolve本身所依賴的大模型本身。它還幫助設計了更快的矩陣乘法演算法，並找到了解決開放性數學問題的新方法，展現出在眾多領域應用的巨大潛力。
具體來看。
優化計算生態系統。
過去一年，他們將AlphaEvolve發現的演算法部署到了谷歌整個計算生態系統中，包括資料中心、硬體和軟體。
改善資料中心排程。
AlphaEvolve發現了一種簡單且有效方法，可以幫助Borg更高效地協調谷歌龐大的資料中心。
（Borg是一種叢集管理器，它執行著來自數千個不同應用程式的數十萬個作業，這些作業分佈在多個叢集中，每個叢集最多包含數萬臺機器。）
該解決方案已投入生產超過一年，平均持續恢復谷歌全球0.7%的計算資源。這種持續的效率提升意味著，在任何特定時刻，相同的計算資源佔用空間可以完成更多工。
除此之外，它還帶來了一些操作上面的優化：可解釋性、可除錯性、可預測性和易於部署性。
協調硬體設計。
AlphaEvolve提出了一個Verilog重寫方案，刪除了矩陣乘法關鍵算術電路中高度優化的、不必要的位。
至關重要的是，該方案必須通過穩健的驗證方法，以確認修改後的電路保持功能正確性。該方案已被整合到即將推出的TPU中。
增強AI訓練和推理。
除此之外，AlphaEvolve還加速了Gemini的效能和速度。
通過找到將大型矩陣乘法運算劃分爲更易於管理的子問題的更智慧方法，AlphaEvolve將Gemini架構中的這一重要核心加速了23%，從而將Gemini的訓練時間縮短了1%。
除了效能提升，AlphaEvolve還大大減少了核心優化所需的工程時間，從專家數週的努力縮短到自動實驗的數天，使研究人員能夠更快地進行創新。
AlphaEvolve還能優化低階GPU指令。AlphaEvolve對基於Transformer的FlashAttention核心實現了高達32.5%的提速。這種優化可以幫助專家找出效能瓶頸，並輕鬆地將改進措施納入程式碼庫，從而提高他們的工作效率，並在未來節省計算和能源。
推進數學和演算法發現的前沿。
基於計算機程式的極簡程式碼框架，它設計了一種基於梯度的新型優化程式的諸多元件，發現了矩陣乘法的多種新演算法。
比如，它發現了一種使用48次標量乘法來對4×4復值矩陣進行乘法運算的演算法，改進了Strassen於1969年提出的演算法，該演算法此前被認為是此類演算法中的最佳演算法。
與之前的AlphaTensor相比，後者專注於矩陣乘法演算法，對於4×4矩陣，僅發現了二進制運算的改進。
他們還將該系統應用於數學分析、幾何學、組合學和數論領域的50多個未解決的問題。
在大約75%的案例中，它能夠重新發現最先進的解決方案。在20%的案例中，它改進了之前已知的最佳解決方案。
陶哲軒與DeepMind合作
2023年，他們的FunSearch首次證明大型語言模型可以生成用計算機程式碼編寫的函式，如今在這基礎之上，已經展現出解決通用演算法/數學問題的潛力。
從團隊上看也新增了不少合作者，谷歌之前的頂尖科學家，比如就有陶哲軒。
他們還與People+AI團隊一起建立了個使用者友好的互動介面。
雖然AlphaEvolve目前正被應用於數學和計算機領域，但其通用性意味著它可以應用於任何問題，其解決方案可以被描述為演算法並自動驗證。
但他們相信，AlphaEvolve可以在材料科學、藥物發現、可持續發展以及更廣泛的技術和商業應用等更多領域帶來變革。
白皮書：
https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/AlphaEvolve.pdf
參考連結：
[1]https://mathstodon.xyz/@tao/114508029896631083
[2]https://deepmind.google/discover/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/
[3]https://x.com/GoogleDeepMind/status/1922669325283942539