關注「FightingCV」公眾號
回覆「AI」即可獲得超100G人工智慧的教程
點選進入→FightingCV交流群
做類ChatGPT產品,組中國版OpenaAI恐怕是先當下最最人盡皆知的創投野心。
有人官宣標榜放話,也有VC開始把視角投向產學研轉換的大模型專案——或許能更有基礎一些,其中,清華大學顯然處於身負眾望的頭一梯隊。
量子位獨家獲悉,背靠清華的大模型研究團隊,計算機系教授唐傑牽頭的創業公司智譜AI,身價水漲船高,在幾近哄搶的狀態中接近完成一輪新融資,估值已超30億元。
唐傑的學生同樣有市無價。其麾下知名弟子楊植麟的NLP創業公司迴圈智慧,也被寄予厚望,一切往大模型方向走,國內最頭部的VC,孵化式提供支援。
唐傑師徒,清華NLP力量冰山一角
唐傑,清華計算機系教授。他剛剛入選2023 AAAI Fellow,也是ACM/IEEE Fellow。研究方向包括人工智慧、資料探勘、社交網路、機器學習和知識圖譜等,曾獲ACM SIGKDD Test-of-Time Award(十年最佳論文)。
△唐傑
這次傳聞中被多家VC哄搶的智譜AI,在2019年由他和同為清華教授的李涓子創立,由清華大學計算機系知識工程實驗室的技術成果轉化而來。
經唐傑手的大模型,都是這幾年裡大家的「老朋友」:超大規模預訓練大模型「悟道」(悟道2.0引數規模達到1.75萬億);2021年與阿里達摩院聯合釋出的中文多模態預訓練大模型M6;已經開源的中英文預訓練語言大模型*GLM-130B。
相同引數規模下,M6訓練能耗僅是GPT-3的1%;ChatgGPT需要8張A100才能跑起來,而GLM-130B僅用4張3090就能驅動。在大模型賽道上的既有產品和效能實績,讓唐傑團隊被VC追逐、哄搶不足為奇。
VC手中的金橄欖枝,還拋給了唐傑的得意門生楊植麟。
楊植麟是誰?以年級第一的成績從清華本科畢業後,他在NLP研究全球排名第一的卡內基梅隆大學語言技術研究所(LTI)就讀,師從蘋果AI研究負責人Ruslan Salakhutdinov和谷歌首席科學家William Cohen,4年即拿下博士學位。
△楊植麟
博士期間,楊植麟和圖靈獎得主Yoshua Bengio合作釋出資料集HotpotQA,又先後以一作身份發表成果Transformer-XL和XLNet——這兩篇分別是ACL 2019和NeurIPS 2019最高引論文之一。現在,他的谷歌學術引用次數突破16000次。
這位90後創業者不僅學術履歷優秀,在產業界的表現也可圈可點。
2016年,楊植麟創立迴圈智慧,公司主要業務是運用NLP、語音、多模態、大模型等人工智慧技術打造「銷售科技」方案。與此同時,智譜AI和清華研究團隊的多個AI專案由他主導,華為的「盤古」大模型也是楊植麟團隊和華為雲聯合推出的。
ChatGPT引爆狂潮,唐楊師徒二人成了VC眼中的香餑餑,但清華大模型NLP方向上的人才富礦不止他二人。
孫茂松、劉知遠團隊算其中一股中堅力量,兩人都來自清華自然語言處理與社會人文計算實驗室(THUNLP)。THUNLP成立於上世紀70年代的實驗室,牽頭人是國內NLP研究領域的泰斗黃昌寧,孫茂松是黃的學生,劉知遠則是孫的學生。
△孫茂松
2021年底,孫茂松團隊釋出了機器中文語言能力評測基準「智源指數」(CUGE),以評測和推動中文NLP的發展。其他成果不多贅述,但此處不得不提的有三個。一個是AI寫詩模型「九歌」,訓練過程中學習了80萬首中國古詩;另一個是語言表徵模型ERNIE(和百度文心大模型同名),可與當時任務最優的BERT媲美;還有以中文為核心的預訓練大模型清源CPM,這是智源「悟道·文源」的前身。
另一支赫赫有名的清華系NLP隊伍,是互動式人工智慧(CoAI)課題組教授朱小燕和其學生黃民烈團隊,他們先後提出過SentiLARE、StoryGPT等預訓練模型。
黃民烈本人不僅參與了「悟道」大模型的開發,還基於大模型和對話系統的學術背景,在前年創辦致力於打造「超擬人大模型」的聆心智慧。去年12月,聆心智慧推出首個產品AI烏托邦,使用者可通過其與定製AI角色對話;在去年年底完成數千萬元天使+輪融資後(投資方包括智譜AI),不到一週前,聆心智慧又宣佈完成Pre-A輪融資。
△黃民烈
至於不久前從京東卸任,迴歸學術界擔任清華電子工程系教授的周伯文(旗下還有一家公司銜遠科技),也在NLP、人機對話打磨了多年的研究和業界經驗。
國內大模型力量百家爭鳴:5大學術重鎮,10大產業巨頭
清華不是這輪浪潮中唯一的寵兒。隨著AIGC和類ChatGPT產品相關話題日益高漲的熱度,國內大模型人才市場好不熱鬧。
為此,量子位梳理了百家爭鳴的國內產學研界大模型重鎮,代表性機構和代表性人物,共計5支學術界團隊和10大產業界力量,排名不分先後。當然極有可能掛一漏萬,歡迎在評論區中補充。
首先是5支學術界團隊:
01:復旦邱錫鵬教授團隊
不鳴則已,復旦大學教授邱錫鵬帶領的NLP團隊沒有絲毫預告,猛然在中國激起類ChatGPT產品第一朵浪花。
產品名稱MOSS,致敬《流浪地球2》裡擁有自我意識的AI,引數量比ChatGPT小了一個數量級,在訓練方式上,直接選擇和其他AI模型進行對話。MOSS即將面向公眾進行內測,還要在3月馬不停蹄開原始碼。
據公開資料,邱錫鵬是復旦大學理學學士和博士,研究方向為中文NLP、開源NLP系統、可信NLP技術、對話系統等,共發表CCF-A/B類論文70餘篇,並主持開發了開源NLP工具FudanNLP 、FastNLP。他與中國計算機學會自然語言處理專委會副主任、教授黃萱菁都來自復旦大學NLP實驗室,二人均在復旦大學取得學士和博士學位。
黃萱菁的研究領域為NLP、文字檢索、雲端計算,復旦博士畢業後留校任教。2008年前後,她以訪問學者身份前往MIT,現在是復旦大學AI、NLP學科方向帶頭人。曾入選入選「人工智慧全球女性」「AI 2000人工智慧全球最具影響力提名學者」及「福布斯中國2020科技女性榜」。
02:哈爾濱工業大學智慧技術與NLP研究室
哈工大智慧技術與自然語言處理研究室(ITNLP Lab)自上世紀80年代初,就開始從事NLP研究,代表性成果是提出了漢字語句輸入的思想,並實現了國內外第一個語句級漢字鍵盤輸入系統。周明、王海峰、張民、荀恩東都出自哈工大NLP一脈。
教授王曉龍是實驗室負責人。王曉龍碩士期間就讀於天津大學,並在哈工大拿到計算機應用博士學位,名為insun的拼音輸入法就是他的研究成果。實驗室教師還包括博士劉秉權、博士劉遠超 、博士孫承傑等教授。
劉秉權,本碩博均就讀於哈工大計算機專業,現為智慧技術與自然語言處理研究室副主任,中國計算機學會高階會員、CCF中文資訊科技專委會委員,作為主要研製人蔘加了「微軟拼音輸入法」(與微軟合作)和「手機作業系統漢字智慧輸入」(與日本富士通合作)專案。
劉遠超主要研究興趣在智慧資訊處理、自然語言處理與理解、資料探勘等領域,多次擔任ACL、EMNLP、COLING、NIPS等CCF人工智慧頂級會議及等學術刊物的審稿專家。
孫承傑在哈工大先後取得碩博研究生學位後,2009年起在留校任教,主要研究方向為NLP、資訊抽取、資訊推薦、文字挖掘和機器學習,承擔和參加多項國家自然科學基金專案和國家「863」專案。
03:清華AIR
清華AIR,全稱清華大學智慧產業研究院,於2020年由多媒體及AI領域的世界級科學家張亞勤建立,張亞勤本人現擔任清華AIR院長,同時也是清華大學智慧科學講席教授,中國工程院院士。
張亞勤本碩畢業於中國科學技術大學,在華盛頓大學取得博士學位,後當選美國藝術與科學院院士,澳州國家工程院院士,IEEE院士。他曾在微軟公司工作16年,1999年和李開復博士等共同創立微軟中國研究院(微軟亞洲研究院前身)並擔任第二任院長。又於2014年9月加盟百度公司擔任總裁。
△張亞勤
清華AIR還聚集了劉洋、馬維英、聶再清、劉菁菁等NLP方向的AI大牛。
劉洋是AIR執行院長,主要研究方向是NLP。武漢大學本科畢業後,劉洋在中國科學院計算技術研究所獲博士學位,曾擔任ACL亞太分會創始執委兼祕書長、Computational Linguistics編委。2010年,他在NLP頂會計算語言學上發表國內第一篇長文,並在ACL上成為國內第一個做tutorial學者。
馬維英,IEEE Fellow,博士畢業於美國加州大學聖芭芭拉分校,AIR惠妍講席教授、首席科學家,他的研究方向包括人工智慧的幾個核心領域,如大資料探勘、ML、自然語言理解與生成、CV等。他擁有160多項技術專利,此前曾任微軟亞洲研究院常務副院長、位元組跳動副總裁兼AI Lab主任。
另一位AIR首席研究員聶再清本碩畢業於清華大學電腦科學與技術系,博士時期在美國亞利桑那州立大學師從美國人工智慧學會前主席Subbarao Kambhampati。2004年起,在微軟亞洲研究院歷任副研究員/主管/高階研究員、首席研究員;2017年至2020年,在阿里擔任天貓精靈首席科學家、達摩院AI Labs北京研發中心負責人。
劉菁菁同樣是AIR首席研究員,擁有MIT電腦科學博士、劍橋大學MBA學位,曾任美國微軟資深首席研究部門經理,帶領科研團隊在視覺加語言多模態機器學習,自然語言處理等人工智慧領域開展科學研究。
04:西湖大學NLP實驗室
西湖大學NLP實驗室團隊核心成員有博士張嶽、藍振忠等人。
張嶽本科畢業於清華大學計算機專業,碩士、博士期間均就讀於牛津大學,2010年3月-2012年6月在劍橋大學電腦科學專業從事博士後研究,現為西湖大學長聘副教授,受邀編寫了劍橋大學的NLP教材。根據統計,2012年-2020年期間,張嶽在NLP領域的頂會發表數量是全球第三。
△張嶽NLP課程可在B站觀看
藍振忠是中山大學校友,博士畢業於卡內基梅隆大學(CMU)計算機學院,多次擔任ACM Multimedia, CVPR, ECCV, ICCV 等國際頂會的論文評審專家。加入西湖大學前,他在谷歌AI工作;加盟西湖大學後,藍振忠組建了一支30多人的團隊,正在嘗試整合多種AI技術,構建虛擬心理諮詢師。
05:IDEA研究院
IDEA研究院,全稱粵港澳大灣區數字經濟研究院,創立人沈向洋。沈向洋是視訊檢索領域的開創者,也是ACM和IEEE院士。他博士畢業於卡內基梅隆大學,是圖靈獎得主Raj Reddy的學生,與李開復、洪小文同門參與建立微軟亞洲研究院(MSRA),曾擔任微軟公司全球執行副總裁。
IDEA研究院下大模型負責人張家興同樣出身MSRA。在獲得北京大學博士學位後,張家興先後就職於百度、微軟、阿里巴巴,曾任微軟亞洲研究院研究員、360數科首席科學家,2021年6月加入IDEA。去年,張家興帶領團隊推出了國內第一個以中文為主的AI繪畫模型「太乙」,被稱為中文版Stable Diffusio。據透露,「太乙」訓練資料量超過了1億中文圖文對。
△太乙根據提示次「小橋流水人家,水彩」生成的畫作
接下來聊聊10家極具代表性的產業界力量:
01:百度
提起百度的NLP技術,最被人熟知的是文心大模型。百度日前已經官宣要在3月把「文心·一言」(ERNIE Bot)向公眾開放,它就是基於文心大模型技術推出的生成式對話產品。
2022年,DALLE-2、Stable Diffusion引領的AI繪畫狂潮中,百度順勢推出同以文心大模型為底座的AI藝術和創意輔助平臺「文心 · 一格」。
百度這方面坐鎮和帶隊的,自然是NLP領域華人第一人——王海峰。百度CTO王海峰畢業於哈爾濱工業大學,博士學歷,博士畢業后王海峰加入微軟亞洲研究院,進行自然語言處理方向的研究,之後歷任http://isilk.com研究科學家,東芝(中國)研究開發中心副所長兼研究部部長等職位。2010年1月加入百度,從NLP應用開始打造了百度NLP核心團隊。
核心團隊成員之一有2006年浙江大學畢業後加入,現任百度集團副總裁、深度學習技術及應用國家工程研究中心副主任吳甜,她整體負責百度AI技術平臺和智慧雲AI產品,百度產業級深度學習開源開放平臺飛槳正是她負責。
吳華,中科院自動化研究所博士畢業,現任百度技術委員會主席,負責百度翻譯專案。她曾擔任自然語言處理領域國際會議ACL 2014年的程式委員會主席,是中國本土企業首位ACL程式委員會主席。
馬豔軍,山東大學、清華大學校友,博士畢業於愛爾蘭都柏林城市大學,百度深度學習技術平臺高階總監。曾任《Machine Translation》雜誌編委,並多次擔任頂級國際會議的 AreaChair等職務,發表論文20餘篇。小度機器人正是馬豔軍基於深度問答技術在2013年孵化。
02:阿里達摩院
阿里達摩院機器智慧技術實驗室下屬的語言技術實驗室,是阿里巴巴負責NLP技術研發的核心團隊。
現任語言技術實驗室負責人黃非,從ACM傑出科學家司羅手中接過重擔。加入達摩院之前,他在卡內基梅隆大學攻讀博士,之後NLP研究工作在IBM Watson和Facebook開展,在NLP和AI的頂會及期刊上發表文章40多篇;另一位團隊負責人邴立東和司羅、黃非同為卡內基梅隆大學校友,曾多次擔任ACL、EMNLP等會議的領域主席。
前文提到的M6是阿里達摩院推出的大模型之一,同樣為人所熟知的還有基於統一學習正規化OFA等底層技術打造的阿里通義大模型,之所以為「通義」,是因它具備搞定多種任務的「大一統」能力。
至於達摩院被曝要推出的類ChatGPT產品,就是在阿里通義大模型體系的基礎上融合升級。
△阿里內測中的達摩院版ChatGPT提前曝光
03:位元組跳動
位元組跳動AI Lab成立於2016年,旨在為位元組跳動內容平臺提供演算法和技術支援,研究領域主要涉及NLP、資料探勘、ML、語音與音訊等,推出的NLP相關產品有為位元組跳動所有產品提供翻譯服務的Byte Translator,以及涉獵體育、金融、時事的新聞寫作機器人Xiaomingbot。
位元組跳動AI Lab團隊總監之一李航,同時當選三大國際頂會(ACL,IEEE,ACM)Fellow。他師出日本,碩士畢業於日本京都大學電氣工程系,後在東京大學取得電腦科學博士學位,主要研究方向包括資訊檢索、NLP等,曾在微軟、華為先後任職。
本月初,位元組跳動AI實驗室被曝有開展類ChatGPT產品和AIGC相關研發。最新訊息爆料,位元組跳動正在佈局大模型,在語言和影象兩種模態上發力。其中,語言大模型團隊由位元組搜尋部門領導,目前規模在十數人左右;圖片大模型團隊由智慧創作團隊牽頭。
04:小冰
2020年,小冰公司從微軟總部拆分,獨立運營。其擁有的小冰框架以NLP為基礎,是目前是全球承載互動量最大的完備AI框架之一。
本週,小冰公司的「小冰鏈」開放了小範圍公測,不同於ChatGPT,小冰鏈將其思考過程完整、透明地呈現在使用者面前,而且還能經過思考實施(某種)行動。
△小冰鏈的文字寫作能力
公司CEO李笛畢業於清華大學,前微軟(亞洲)網際網路工程院副院長,微軟時期創立了微軟AI情感計算框架,現在他領導全球團隊,負責人工智慧小冰框架系統的技術研發、產品革新及商業落地
05:華為
2021年,華為雲釋出「盤古」大模型,這是業界首個千億引數中文語言預訓練模型,預訓練階段學習了40TB中文文字資料,接近人類中文理解能力。
華為這方面的核心人物,當屬國際歐亞科學院院士、IEEE Fellow、華為雲人工智慧領域首席科學家田奇。田奇本科畢業於清華大學電子工程系,碩士畢業於美國德雷塞爾大學,後赴美國伊利諾伊大學香檳分校學習獲博士學位。田奇研究方向本為CV,但近幾年也轉向NLP領域。
△田奇
06:騰訊
騰訊麾下有「混元」AI大模型(HunYuan)。去年年底,騰訊HunYuan進一步推出國內首個低成本、可落地的NLP萬億大模型,並再次登頂自然語言理解任務榜單CLUE。
HunYuan是業界首個可在工業界海量業務場景直接落地應用的萬億NLP大模型,最快用256張卡,1天內就能訓練完成,成本直接降至原來的1/8。
△混元AI大模型支援的對話應用案例
俞棟是騰訊AI Lab副主任,同時當選ACM/IEEE/ISCA三大頂會Fellow,主要研究方向是NLP與語音識別。浙大電子工程學本科畢業後,俞棟在美國印第安納大學計算機系和中國科學院自動化所模式識別與智慧控制拿下兩個碩士學位,最後在美國愛達荷大學計算機完成博士學業。加入騰訊之前,俞棟是微軟研究院首席研究員。
07:京東
本月初,京東雲宣佈,旗下言犀人工智慧應用平臺將整合過往產業實踐和技術積累,推出產業版ChatGPT智慧人機對話平臺,預計引數量達千億級。
京東集團副總裁、IEEE Fellow何曉冬表示,京東ChatGPT領域擁有豐富的場景和高質量的資料,京東雲言犀每天就能和使用者進行1000萬次互動。何曉冬是京東深度學習及語音和語言實驗室的負責人,本科畢業於清華大學後,何曉冬在中國科學院取得碩士學位,後又至美國密蘇里大學哥倫比亞分校攻讀博士,研究主要集中在DL、NLP、語音識別等領域。
08:科大訊飛
科大訊飛是國內NLP行業龍頭。ChatGPT爆火後,科大訊飛在投資者互動平臺表示,在ChatGPT主要涉及的NLP相關技術和方向上,公司具備長期深厚的積累。
科大訊飛公開資料披露,2022年12月,科大訊飛已經進一步啟動生成式預訓練大模型任務攻關,類ChatGPT技術將在今年5月落地公司AI學習機產品中。
科大訊飛副總裁、研究院執行院長是劉聰,於2001 年進入中國科學技術大學攻讀電子資訊工程專業。加入訊飛語音實驗室後,開始了在語音識別領域的研究。現在,他同時擔任語音及語言資訊處理國家工程研究中心副主任。
現任科大訊飛AI研究院副院長劉權,博士畢業於中國科學技術大學電子工程與資訊科學系、語音及語言資訊處理國家工程實驗室,主要研究領域是NLP,2020年至2021年,劉權帶領團隊獲得NLP領域5個國際權威評測冠軍,曾任國際常識知識推理會議Commonsense 2017學術委員會委員。
09:瀾舟科技
瀾舟科技創始人周明是聞名世界的NLP專家,先後就讀於重慶大學、哈爾濱工業大學和清華大學,並在清華大學擔任過副教授。創業前,周明長期在微軟亞洲研究院擔任NLP組的負責人、微軟亞研副院長。周明在NLP領域發表的文章數量居世界前列,2012年至2020年期間,周明在NLP領域頂會發表的論文數量居全球第一。
瀾舟科技給予Transformer的「孟子」大模型,走輕量化路線,僅包含10億引數量,可處理多語言、多模態資料,同時支援多種文字理解和文字生成任務。
△孟子大模型對圖片內容的描述
上週,瀾舟剛剛宣佈與中文線上合作,要基於專用大模型開發一套預訓練模型技術的文學創作輔助演算法。
10:浪潮資訊
去年年中,浪潮資訊推出了4個技能大模型(SkillModel),分別為對話模型「源曉問」、問答模型「源曉搜」、翻譯模型「源曉譯」、古文模型「源曉文」,它們4個都基於「源1.0」大模型生成。「源1.0」是浪潮資訊在2021年釋出的巨量中文語言模型,引數量高達2457億。
△浪潮「源」生成的新聞文字
浪潮資訊在互動平臺表示,公司在AIGC已從算力、演算法和應用三個方面進行佈局和長期研發投入。浪潮人工智慧研究院首席研究員是吳韶華,他同時擔任浪潮資訊AI軟體研發總監。他帶領的團隊除了推出「源1.0」,還研發了深度學習框架Caffe-MPI、人工智慧開發服務平臺AI Station。
ChatGPT珠玉在前,復旦MOSS一聲不吭的出現,在國內掀起了更高一浪。
產學研三方都摩拳擦掌、蓄力待搏,在技術這塊基石之上,能夠壘起堅固高牆的人才成爲了另一個必爭之地,可以說,伴隨著類ChatGPT產品在國內的推進,關於大模型人才的搶奪和競爭遊戲,纔剛剛開始。
往期回顧
基礎知識
【CV知識點彙總與解析】|損失函式篇
【CV知識點彙總與解析】|啟用函式篇
【CV知識點彙總與解析】| optimizer和學習率篇
【CV知識點彙總與解析】| 正則化篇
【CV知識點彙總與解析】| 引數初始化篇
【CV知識點彙總與解析】| 摺積和池化篇 (超多圖警告)
【CV知識點彙總與解析】| 技術發展篇 (超詳細!!!)
最新論文解析
NeurIPS2022 Spotlight | TANGO:一種基於光照分解實現逼真穩健的文字驅動3D風格化
ECCV2022 Oral | 微軟提出UNICORN,統一文字生成與邊框預測任務
NeurIPS 2022 | VideoMAE:南大&騰訊聯合提出第一個視訊版MAE框架,遮蓋率達到90%
NeurIPS 2022 | 清華大學提出OrdinalCLIP,基於序數提示學習的語言引導有序迴歸
SlowFast Network:用於計算機視覺視訊理解的雙模CNN
WACV2022 | 一張圖片只值五句話嗎?UAB提出影象-文字匹配語義的新視角!
CVPR2022 | Attention機制是爲了找最相關的item?中科大團隊反其道而行之!
ECCV2022 Oral | SeqTR:一個簡單而通用的 Visual Grounding網路
如何訓練用於影象檢索的Vision Transformer?Facebook研究員解決了這個問題!
ICLR22 Workshop | 用兩個模型解決一個任務,義大利學者提出維基百科上的高效檢索模型
See Finer, See More!騰訊&上交提出IVT,越看越精細,進行精細全面的跨模態對比!
MM2022|兼具低階和高階表徵,百度提出利用顯式高階語義增強視訊文字檢索
MM2022 | 用StyleGAN進行資料增強,真的太好用了
MM2022 | 在特徵空間中的多模態資料增強方法
ECCV2022|港中文MM Lab證明Frozen的CLIP 模型是高效視訊學習者
ECCV2022|只能11%的引數就能優於Swin,微軟提出快速預訓練蒸餾方法TinyViT
CVPR2022|比VinVL快一萬倍!人大提出互動協同的雙流視覺語言預訓練模型COTS,又快又好!
CVPR2022 Oral|通過多尺度token聚合分流自注意力,程式碼已開源
CVPR Oral | 谷歌&斯坦福(李飛飛組)提出TIRG,用組合的文字和影象來進行影象檢索