以及我們公司的其他同事,我們一開始來做這個公司,初衷是沒有想到說我最後要賺多少錢,要到資本市場上去,要上市,要怎麼樣的,所以我們是沒有這個初衷的。
最開始的幾十個人完全沒有這麼想過。如果他這麼想,他就不會來。所以總體講,我們是懷著一個對這個世界非常大的善意來做這個事情,然後我們覺得這是對人類有用的,這是一個金錢以外的事情。
當然,到了後面,這個事情發現利益非常大之後,又有其他的誘惑,這個是另外的事情。但是我們出發的初衷、我們的願景,以及我們保持到現在的這個願景,不是按照一個商業利益最大化的方式來做的。我覺得這點比較關鍵。
我大概二十年前的時候,在管理上我最崇拜的是傑克·韋爾奇,就是 GE 的前 CEO。現在回來看,他說的大部分東西可能都已經不對了,但是他最重要的一點說對了:一個公司最重要的是它的願景。
管理一個大公司,靠的不是你的規章制度,靠的是願景。願景是什麼呢?願景不是掛在牆上的標語,願景是你怎麼做,不是怎麼說,就是你怎麼實際運行。反正傑克·韋爾奇說的原話我忘了,大概是這個意思。
所以,我們是怎麼管理這麼多人、怎麼組織起來的?其實我們沒有組織,就是願景驅動的,靠一個願景來組織。我們是沒有組織的。
這個有好處,也有壞處。未來我們會想辦法揚長避短,但這個是我們的特色。我們並不是以一個「我要實現什麼 KPI、沒有考核」的方式來做,只有願景。
這個願景甚至也不是成文的,並不是寫出來的,沒有寫出來過任何東西。這個願景是在我們做事情的方法、我們對待這個世界的態度裡。可能我們公司每個人對這個願景的理解也不一樣,可能每一個人的願景也是有差別的,但是在一個大的方向上是一致的。
我覺得還是懷著對這個世界非常大的善意,然後想做一點事情。我們是用這個來組織起來的。
接下來我先講,講完之後大家再提問。我可能會圍繞著這個願景來講後面的事情。這個願景是真的,不是編出來的,我們是真的這麼想,真的這麼做的。否則你沒法解釋我們的很多事情。
這個願景為什麼我們這麼堅持開源?因為這個願景本身就要求開源。你沒有這個願景,你沒法把人組織起來。
比如說,智譜也開源,但是智譜的開源跟我們的開源不一樣。智譜的開源有一種被迫的感覺,他們覺得這不是本意,但是對我們來講,這就是我們的本意。
然後在開源這個事情上面,我們一開始就想得非常清楚。首先,第一個就是願景;第二個,我們認為要把 AI 這個事情在商業上做成,開源是有好處的。
這聽起來有點矛盾,有點違反直覺,因為在歷史上,開源跟商業化都是有衝突的。但我覺得 AI 跟以前不一樣。因為在歷史上,一個軟件公司,它的市場一年可能就幾十億美金,離開源了,它就沒有了,可能就只剩下幾千萬或幾億美金了。
但是 AI 這個事情足夠大,最終它可能得占掉人類社會 GDP 的百分之十,比如說。那麼它其實是一個非常大的數字。一個人獨占這個事情,你不可能獨占這個事情,你一定得跟別人分享,否則你肯定活不下來。
這跟之前開源做一個軟件可能是不一樣的,因為那個軟件的市場就沒那麼大。但是 AI 這個事情實在太大了。如果說我們想獨占這個利益,那麼一定是要被歷史拋棄的。我覺得最主要這是一個客觀的規律,這是一個歷史觀。
並不是說我不開源,我就能夠獨占這個市場,這在理論上就不符合客觀事實。你一定會遇到很多阻力,一定會有其他的方法阻止你實現這個目標。
在這種情況下,我覺得不一定要按照傳統的商業思維。你需要有一套機制來確保你自己能夠獲得的利益是有限的,那麼你才有可能做成。需要克制,我覺得是需要克制。
如果說我們想在我們手上把 AI 這個事情做成,首先第一個,我覺得是需要克制的。不能夠想著人類 GDP 的百分之多少都歸我了,或者說中國 GDP 百分之多少都歸我了。你越這麼想,越做不成。
我真的就是一群平凡的人。如果說喜歡的一個敘事是一群平凡的人做出了不平凡的事情,而不是一群天才做出了不平凡的事情,這個跟我們的克制是很有關係的,跟我們的克制、跟我們的願景是一脈相承的。
那麼,開源跟商業化會不會有衝突?我覺得在 AI 這個事情上面,你不克制,你就不起。開源是屬於克制的一部分,那麼我們的克制不僅表現在開源上面,我們還表現在很多方面上。但總體上來講,我們是不用考慮開源這個事,不用考慮克制這個事情。
你越克制,可能就越容易做成,或者說至少到目前為止是印證的,到目前為止是能解釋得通的。否則沒有辦法能夠解釋為什麼我們能夠做成:我們並沒有什麼武器,起點又非常低,資源又非常少,我們的人其實也就是隨機的一群平凡的人。我自己也就是一個大學畢業的學生,也不是最頂級的那個學校畢業的。
這個克制也是我們願景裡的一部分。AI 這個事情太大了,利益太大了。我們非常克制,只要能夠做成,最後利益都會非常大。你隨便分一點,利益就非常大,所以現在根本不用考慮拿這裡面的哪一部分利益、怎麼拿,我覺得根本不用考慮這件事情,因為這個利益足夠大了。
你只要分一點點,就已經很足夠了。所以我們之前說,我們只賺取一個合理的利潤,只看你的意願,而不是利潤之大,這個是不一樣的。這不是我們的 API 定價。我們 API 定價覺得一個合理的利潤,大概是我們到市場上買一批設備回來,十個月收回成本,我覺得這是一個合理的利潤。
在當前的情況下,考慮到你有風險、還有前期的投入等等,如果一個服務器我們在財務上按照三年或者五年的攤銷,但在商業上,我們覺得大概十個月收回成本,我們覺得夠了,OK,我們覺得夠了。所以這個是我們現在 API 定價的邏輯。我們的 V3.2 Flash 跟其他的,都是十個月收回設備的成本。
這就是我們的標準。它其實不是利潤最大化的,如果利潤最大化,應該把價格設得更高。因為在這個價格區間,用戶的需求是沒有彈性的,就是我價格再翻一半,或者說我價格再抬高一倍,token 的消耗量區別不大的。
如果我價格再貴一倍,我的總收入接近一倍。稍等一下,我對一下。哎呀,太好了。
我跟你們講個故事,就是我們那個 DDCP,是我們那個模型。一開始我們擔心需求太多,所以一開始把價格定得比較高,團隊裡大家不是很高興。後來我把價格又降下來了,降到四分之一,大家就很開心。
我覺得這個才是我們真實的想法。就是我前面說的願景,我們還是讓這個東西對人是有用的,而不是我們賺最多的錢,而是我們在能夠賺到合理利潤的情況下,大家都用得起。我覺得這次我們公司其他人的想法,就是我們那時候降價的時候,公司群裡面很多人是歡呼的,大家都覺得很開心。
因為這是我們花了這麼多精力,這麼用心把這個模型做好的目的。目的就是能夠非常便宜、效果非常好,能夠讓大家都能夠充分地用。我們就覺得這很開心,這是我們的動力,這是我們的願景,這是我們公司能夠凝聚到一起去做這個事情的共識吧,這是我們公司內部的共識。
這點應該是比較特殊的,因為降價這樣對於我們其他的競爭對手來講,肯定不是個好事,他們一定不是歡呼的。因為你的收入、你的 ARR,那個你降一半,ARR 就掉一半。對,這是一個我們不一樣的地方。
我們覺得這就夠了。從我們公司內部來講,我十個月收回成本,這個商業上我已經非常滿意了。對於公司外部來講,我們也覺得這個價格是大家比較開心、比較樂意看到的,大家是雙贏的,公司跟社會、跟所有人都雙贏的。
我覺得,OK,剛刚有人在屏幕上留言說,十個月回本這個利潤太高了。確實是還有降價的空間,確實還有降價空間。在模型的優化上也還有空間,所以整體降價空間還是比較大的。
但是這個成本,十個月回本,我們自己能做到,其他家做不到。像可能阿里或者騰訊,他不是我們的優化,他的成本應該是要比這個高好幾倍的。這裡還是有很多優化的工作。
剛剛說我們為什麼不繼續降價,是因為它沒有彈性。就是我再降價,需求不會更多了,或者我再降價,需求增加得很少了。因為這個價格所有人都用得起了,大家都覺得這個價格是滿意的,不會因為這個價格貴而不用了。
公司收入最高或者利潤最高,不是最出發點的。這是我們克制的一部分,因為從短期來講,你價格高一點,你可能收入多一點;但從長期來講,還真不好說。因為我覺得克制是一種策略。
對我來講,克制是一種戰略。就在於有時候你可以捨棄一些,來換更多其他的東西。不開源這個事,其實也是一樣的,也可以認為是我們的壓力,也可以認為是我們的讓利。
首先,這個讓利對於我們公司內部來講,我們很高興,大家都很開心,員工覺得很有成就感,我們會因此有凝聚力。以及這個讓利對社會是有好處的,社會也很高興,其他同行或者說普通人都會很高興。所以這種克制,我理解是這種克制從長遠上來講,能夠增加我們做成 AGI 的概率。
在考慮一件事的時候,我是毫不懷疑 AGI 會有非常大的商業價值。那麼在這個基礎上,我優先考慮的不是我怎麼多加一點份額,我怎麼多拿一些份額,我優先考慮的是我怎麼增加我能夠做成的概率。
這個克制可能還體現在很多其他的方面。比如說,我們去年春節用戶突然很多,但是我們並沒有去追求我要留這些用戶,或者說拿這些用戶來變現,或者說我要去搶這些商業利益,在用戶上面兌現。
我們沒有去搶用戶,沒有去賺錢,但我們很努力想辦法把用戶服務好。我們並不會有這樣的想法,說我要做成下一個超級 App,然後我要去跟誰競爭,我要做成下一個字節、做成下一個騰訊,完全沒有這樣的想法。
我們是可以這麼做,但是我們沒有這麼做。我的理解是,這也是克制的一部分。你不要想什麼都要賺了,你好像有了用戶之後,好像就能夠做成下一個字節了,然後你就把那個吃了。
我覺得這個在商業上是行得通的,是有可能的。如果去年時候我們用了大筆錢,就跟字節去搶用戶,也是一種打法。但是我們選擇是一種非常克制的做法,就是我不跟你去爭這個東西,因為後面還有西瓜,前面的可能都是芝麻。
我不應該什麼芝麻都搶了。當然,可能這個芝麻比較大,但我覺得後面的 AI 可能前面都不算大。現在來看,去年我們沒有在 C 端去發力,可能是對的。因為能看到後面真的是有更大的西瓜,前面真的只是一些小芝麻。
如果去年我就有很多錢,然後把這個事情做得非常大的話,有什麼好處?你並沒有得到什麼東西。這些是我的真實想法,因為我覺得後面的 AGI 機會應該是非常大的,後面的 AGI 機會永遠是非常大的。
我甚至不用考慮我到時候在裡面是占一個位置,或者說在那裡面我的商業模式是什麼,我們根本就不用考慮。只要有那麼大的商業機會,你一定是有辦法的。那麼前面的芝麻,我們也會撿,但是我們就隨手撿一點,並不會說我停下來,或者說我把它當成重要事情來做。
所以去年的 C 端日活這些,我覺得可能就是個小事。但我們也撿了,我們也用一個比較低的成本維持了用戶的使用,因為有可能以後是有用的。雖然現在不知道這用戶有什麼用,現在它是一個純成本的支出,但是以後可能是有用的。
既然是隨手能夠拿到的,我們就會順手拿到。包括今年來看,很有可能我們在 API 或者 AI 方面的 ARR 收入,也是有一個機會的。就是如果這個需求可以繼續擴大,如果繼續擴大,顯卡可以買到更多的顯卡,那麼 ARR 做到幾個億美金是很有可能的。
如果說 AI 能做到十億美金的話,那麼基本上我公司的現金流可能就能夠回正了,能夠 cover 我的研發費用,能夠 cover 我的所有費用。所以說這個也是有可能的,但是我們沒有把它當一個優先來做。
這個我們會做,但我覺得這個是個重要事情。它不是我們第一優先考慮的,或者不是我們今天真的關心的。更大的機會應該還在後面,前面的機會包括去年的 C 端、今年的 B 端,我覺得這事要做,要把它做好,但這不是我們的目標。
或者說,我們公司大部分人不認為這是一個非常重要的事情,不認為這是一個跟 AGI 比較起來同等重要的問題。
開源那個可以多說一下,因為之前有很多問題問的都是開源。首先,我覺得我們是會開源的,然後我們最強的模型可能也是會開源的。因為我看不到閉源什麼好處,看不到必然的好處。字節它的模型是閉源的,它有什麼好處?我看不到有什麼好處。
哪怕是模型開源,你把所有東西都告訴別人,這個門檻也非常高。別人要用起來,這個門檻也非常高。他要用起來,就很難;其次,他要用起來,還要成本做得很低,也很難很難,沒有那麼容易。
並不是我開源了,他就能夠輕易地做到跟我一樣的部署成本。這裡邊還是有很多工作要做的。雖然說這些工作原理都明白,但是不是每一家公司都願意,或者都有這個意願和能力來組織人力去達到這個目標的。
這點我也很習慣。它可能就不擅長做這個事情,因為它阻力太大了。它要控制這個成本很難,它有很多管理上的以及物理上的制約。這也是創業公司的優勢,因為創業公司如果太小的話,你沒有這個力量來做這個事情;如果你是大公司的話,你很難組織。
這個事情都有難點,所以這是屬於我們這個規模的公司的一個甜區,sweet point。然後如果我們更大了,可能我們沒有其他問題;如果更小的話,朋友們力量又會不足。
所以,至於開源,我覺得我們應該定價。目前我們應該認識到,不會逼人。因為定價的模型,我也不會收一個非常高的費用,我也是可能按照十個月回本來收這個費。按十個月回本,就已經能夠把競爭對手……
我按十個月回本這個,就能夠讓獨立部署的第三方無利可圖。第三方他做不到,他做不到這個成本,他肯定做不到。
所以開源並不會影響我的收入。當然,如果說我要賺一百倍的利潤,那麼開源是……
聽到你的話,但視頻好像掉了,老闆。
剛剛可能是電話接來了。
就是開源,我覺得對我們的商業模式是沒有任何影響的。前提是我們只賺六倍的利潤,十個月收回成本,大概對應的是六倍的利潤。我們只賺六倍利潤的情況下,開源是不會有什麼影響的。
但如果說你要賺一百倍利潤,那麼開源確實會影響你賺一百倍利潤,因為第三方會部署,他可能是二十倍成本,就比你低了。
這個模式是不是長期可以持續的?我覺得是可以的。就在我們這個願景下,我覺得開源是長期可以持續的,或者我們是打算這麼做的。你可以認為,就是有克制,也是有讓你比較長利。
這個策略是能夠在技術前面讓我們有更多的機會,我們能夠做成 AGI 的概率也是更大的。我們更從容。
你想,我們根本都不用加班,因為就沒那麼難。但是對其他家來講,可能就很難,因為你想的也太多了。
其實不難的,根本就不難。才開始是一個……外面可能看起來,我們選了一個很難的模式,我們要做研究,我們去做最難的事情,好像是個 hard 的模式。但其實我們在外地方捨棄了很多,使得我們還是非常有力的,我們還是做得非常輕鬆的。
所以對開源這件事情,實際上我的判斷是,它是持續的。開源和商業付費之間沒有衝突,前提是六倍利潤的情況下沒有衝突的。
六倍利潤看起來很高,但其實不高。因為現在 AI 的效率這麼高的情況下,現在一個合理利潤可能就是這麼多。未來它可能會降到,比如說四倍、三倍,我覺得這已經是……再到底也不可能再降了。但就是它還是會有很大的利潤。
就光是看賣 API 這個事情,但我並不覺得賣 API 這個事情有那麼大吸引力。但是就這個事情,你可以說明,沒有,我沒有看到有什麼衝突。
然後我也不擔心別人部署我們的模型,然後跟我們來競爭,一點都不擔心。我們還希望他們能夠部署起來。
我們盡可能給開源社區提供幫助,協助大家能夠把我們的模型部署起來。我不擔心他會跟我搶這個生意,因為這個市場足夠大。我只擔心他部署不起來,他有些細節沒做對,效果變得比較差,或者說他的成本會比較高。
對,這裡是沒有衝突的。
然後去年的時候,我問的,去年有 To B 這個生意的時候會問得比較多的是:我們那個 C 端,我開源,那麼 C 端是不是跟我這個 C 端又會衝突了呢?因為我沒有流量的優勢,或者說騰訊自己流量很多,他部署我們的開源模型,他就把所有的 C 端用戶都接過去了,就把我的 C 端用戶都搶走了。
但其實並不會,這個還是有很多原因的。
然後問題是:我們給的開源模型,跟我們自己部署的模型是不是一樣?是一樣的。我們不會說開源一個差點的模型,然後我們自己部署的時候用一個更好的模型,是不會的,是一樣的。
這也說明它其實沒有衝突。我們去年一整年,在 C 端我基本就是開源了,然後 C 端的服務沒有看到衝突,真的沒有看到衝突。所以,這是開源的這部分。
然後下面還有就是,公司的長期 vision,我覺得我們目標應該是 AGI。每個人對 AI 定義不一定一樣,但是不妨礙我們把 AGI 當做我們的目標。
從技術路線上來看,其實 AGI 這條路線圖是比較清晰的。跟目前的這一代 AI 技術,如果說你能夠把一個問題描述得很清楚,給它完整的上下文和指令,它已經超過人類了。但這裡有個定義,有個前提是:你給它完整的上下文,你給它完整的指令。
然後這個定義是很難達到的。比如說我們今天開會,其實我們前面有很長很強的上下文,可能大家有幾十年的上下文,然後這是 AI 不具備的。那麼現在 AI 能具備的是,在一個局限的上下文裡面,它能做得比人更好。
但它還是替代不了人類。這裡面還差一個地方,是持續學習。因為人也能夠持續學習。你招一個員工,他可能花兩個月時間來熟悉這公司的環境,熟悉他的工作,他談兩個月的,你這樣他就可以上手了。
他就能做很多事情。他能夠聽懂你說的話,比如說你說,叫那個小王來,他就知道小王是誰。但如果 AI 的話,因為這個上下文,他前面沒有這兩個月的學習。
你跟他說,叫小王過來,你得告訴他小王是誰、什麼職務、他在哪裡、要怎麼去找他、要找他的時候注意什麼。你得給 AI 所有的上下文。那麼在這種情況下,AI 是能做的,但是你不可能給他所有的上下文,也不現實。
所以 AI 並不能夠替代你的員工。但如果說 AI 具有持續學習的能力,它跟你的員工一樣,到公司學習兩個月,那麼
但就可以替代天下的人了,所以我們離下一步還差一個學習去學習。
AI 的發展,我們可以理解成它是一個階梯。去年走的階梯是 CoT,就是思維鏈。因為我們發現,通過思維鏈的方式,可以讓智能達到一個更高的水平。通過它自己思考,可以讓這個上限,可以讓這個 AI 能做更多的事情。
那麼我們又跨過了一個階梯。今年的階梯就是 Agent,因為我們發現,用 Agent 的方式,即便多有事情也可以做,它的能力範圍會更大,它的智能上限會更高。
為什麼是階梯呢?因為後面的每一步都是基於前面的基礎上的。Agent 要用到 CoT,然後 CoT 也要用到前面的階梯,前面的階梯就是語言模型,所以它並沒有一步是白走的。
所以,AI 的發展,智能的走向是有迹可循的。說今年走的這個階梯是 Agent,但是 Agent 這個階梯,它也是會走完的。就是它把所有可能解決的問題都解決完之後,但是它還是不能替代你的員工,但是它已經到它能力的上限了。
就好像 CoT 一樣,CoT 到它的上限之後,它已經超過最頂尖的人類了,在做奧數題、寫程序上面已經超過最頂尖的人類了。但是它還是停在那個地方,它那個技術並沒有能夠到達 AGI。
所以你看,AI 這個智能的走向,它是有迹可循的。然後在 Agent 之後,我們覺得應該要解決的問題是持續學習,就是怎麼讓模型可以持續地學習,而不是說你要給它一個很強的訓練,它應該能夠像人一樣做一個比較長時間的持續學習。
這個問題跟完成任務等等是同一回事,它們相關,解決的是同一個問題。我們現在站在 Agent 這個地方,能看到的是下一個瓶頸,就是持續學習。下一個要解決的問題,就是解決怎麼持續學習,這個是看得到的,是相對來講比較明確的。
就是卡在前面的這個障礙,你必須要跨過去,而且一定是有辦法能跨過去的,但需要時間。持續學習之後,可能我們就會來到一個奇點。這個奇點就是,當這個模型能夠持續學習之後,它已經能夠做人類能做的所有事情了。
它就能夠自己開發自己的版本,能夠自己再研究,然後開發自己的下一個版本,開發更前的人工智能模型。所以它就會到一個奇點,能夠實現自己的迭代。
但這個奇點,它並不是一個奇點,它也是一個漸進的過程。這個過程可能也是一個比較長的漸變,它不是個突變。但是習慣性地,我們都認為它可能是個奇點。
因為在很早之前,那些預言家認為這裡會有個奇點,但其實它不是一個奇點,它是一個連續的過程。然後這一步走完之後,我覺得才是具身智能。
這是我們的推測,這是我們覺得這個時間表應該是:先解決學習去學習,然後再到那個智能的奇點,能自我迭代的奇點,然後才是具身智能。到具身智能之後,它就走進現實世界,可以給你做家務,可以給你養老。
我們覺得這是一個比較理想的路線圖,但每個人的觀點不一樣,沒有對錯之分。只是我們覺得,這個路線圖是最輕鬆的。
這個路線圖是因為每一步你要做新的都很少。這個路線圖我們可以不用加班。但是如果路線圖是反過來的,比如說它要先實現具身智能,那麼這裡自己做得很累,這是一個很苦的活。我們不希望是這樣的路線圖,我們希望做得輕鬆一點。
如果說我們先解決持續學習,再解決那個自我迭代的奇點,再解決具身智能,這個路上就很輕鬆。因為到後面之後,你可以用前面的技術來幫助開發後面的技術。奇點之後再做具身智能,那個就不用人來做,就不用我們來做了,那個模型自己就可以出來了。
所以這個是回答我們的長期目標是什麼。我就跟他說,這就是我們的長期目標,就是我們說的 AGI。
大家回到現實。去年最重要的現實就是,大家都要做 Chatbot,要搶 C 端的流量。那麼今年的現實是,大家都要搶 To B 的收入,要參與到這裡面去,因為如果不參與的話,根本就不在牌桌上,對不對?
但我們並不認為它是一個重要事情,或者說,在我們公司內部,我們真正關心的,其實是剛剛我說的這些 AGI 的路線圖,以及下一步這個技術怎麼突破。
但是有一點很奇怪的是,最想得到的東西,反而你就得不到。那個並沒有那麼在意的事情,反而是還蠻容易能夠得到。
這裡邊有一個戰略上的優勢,就是我們心裡面想著 AGI,我們做的是 AGI。那我們再做那個應用,再做那個 C 端、B 端的時候,根本就不用太多的心思去做那個事情,其實花很少的精力就可以了。
我覺得是說,你站在一個技術的高位上來做相對低一級別的技術,是有這樣降維打擊的。至少在去年的 C 端,我們看到確實是這樣。我們沒有在 C 端上花很多力氣,甚至一度我們都不想維護那些用戶了,但是用戶趕都趕不走。
因為真的是趕不走,所以最終都還在。但稍微……然後今年 B 端的這個收入,現在看起來這個增長還比較樂觀。我覺得可能這個數字跟同行比的話,應該也是比較好的,我估計。但是我們並沒有花很大的精力去做這事情,我們根本就沒有
做一件事情,就是順便做的。
做互聯網智能的上線,走的時候,AGI 這一步是我必須走的,是個台階。通往 AGI 的路上,我要經過這個台階。那麼我把這些技術都通過 API 給大家服務,我沒有幹額外的事情。
我們還是在做 AI,這是一個副產品。我只要搞幾個人維護這個 API 就可以了,甚至客服都沒有,也不用銷售,什麼都不需要,用戶自己就會來。
或者說,被認為是 C 端的用戶,C 端和 B 端,都是我們做 AGI 路上的副產物,都是一個中間的產出,跟我做 AGI 沒有衝突。我並不是為了做 C 端,或者為了做 B 端而去做它,而是我們做 AGI 是為了做 AGI,剛好能產出這個東西,我就把它拿來做商業化了。
這跟其他公司不一樣。其他公司就是為了做這個,為了服務 C 端用戶,或者服務 B 端用戶而去做這個模型。但對我們來講,初衷不是這樣的,我們初衷還是去追求 AGI。
我覺得這個在一定程度上是一種降維打擊。AGI 是更大的願景,這個願景能夠凝聚起更多優秀的人,它有更強的凝聚力。所以我在組織上有優勢,然後我利用這個優勢去……它就是一種降維打擊。
但如果你是一個商業公司,你的願景就是服務好 C 端用戶,那麼是另外一個故事。他有其他的優勢,在產品上、用戶服務上、流量上會有優勢,但是在技術上沒有優勢。
現在比較有利的形勢是,模型技術是最重要的。你要將模型做好,其他……對,然後這個可以解釋我們之前發展的軌跡。我們真的是選擇 AGI,然後我根本沒有想著說要做很多的用戶。
去年春節我們突然火的時候,那不在我們的劇本裡面,我們完全沒有想過那個東西。我們就是想把這個技術做好。但是那時候我發現,其實我們這個組織相對於完全商業化、以產品為目標的組織來講,在人才跟組織上是有額外優勢的。
這也很神奇。那時候 C 端大家都搶得頭破血流,結果被一個沒有去搶的人牽走了。這個也確實說明我前面說的邏輯是有道理的,確實是有人才和組織上的優勢。
這個人才優勢不是說我的人比他更聰明,而是這些人才我怎麼組織起來,怎麼激勵他,然後怎麼合作。這個東西是有優勢的。因為你把聰明的人聚在一起,並不是說他自然而然就能夠合作,自然而然就能夠非常有激情地去奔一個目標、去完成的,所以你需要一個願景。
我們前面的經歷給我的啟示是,AGI 這個願景是很強大的。
OK,這是問題。然後下一個問題是,核心利益的重要性是什麼?
我前面說,我們在很多方面都要非常克制。但是我們的核心利益是什麼?其實我們的核心利益只有一點:我們最大的核心利益是要保持團隊的穩定性。這是我們最大的核心利益,甚至可以認為是唯一的核心利益。
在這個前提下,我們是很願意協助、幫助任何人,甚至我們的競爭對手,包括阿里、智譜、月之暗面,去做得更好。因為我們並不損失什麼東西,我們本來也是開源的,開源也是沒有把邊界盡可能說清楚,對怎麼做,希望你能夠復現;你如果復現不了,你講,我告訴你怎麼復現。
這本來就是開源的一部分,不會因為你是競爭對手就怎麼樣。當然,如果是合作夥伴,我會做更多的事情。但是在大的利益上面是沒有衝突的。
在對外面打交道的時候,我們的態度是:我們只做 AGI 的主線。這就是我剛剛說的這個 GPT、CoT、Agent 等等,就只做主線。AI 領域很廣泛,有很多東西我們覺得它不在這個主線上面,比如說 3D、視頻生成,我覺得可能跟智能的主線沒有太大的關係,我們不會去做。
還有一些,比如說世界模型,我覺得現在跟智能的上限也沒有太大的關係,所以我們也不會去做。但是其他人做,我們也很樂意幫忙。有沒有時間是一回事,但是利益上是沒有衝突的。
我們也希望這些 AI 技術能夠用到各種生產環境裡面去,能夠提高社會的生產效率,能夠幫助各行各業去提高生產效率。我們是非常有動力做這個事情的。
我有沒有時間、有沒有人手,或者我們的同學自己感不感興趣,那是另外一回事。但是在利益上是沒有衝突的,我們是希望能夠達到這個目的。並且我們認為,這個跟商業沒有任何衝突,我該拿到的利益還是沒有少。
我覺得我們之前秉持這種態度,其實我們並沒有因此而少拿到任何東西,並沒有因為我開源,並沒有因為我們的善意或者說我對其他人提供幫助,而導致我們少拿了任何東西。比如說去年的 C 端用戶,我們現在 C 端用戶還是比較多的,也還是比較穩固的。
我們今年的 B 端,我覺得也是比較樂觀的。我並沒有因為我們的善意而影響到我的商業利益,完全沒有影響,反而可能還有加分。這個看起來違反直覺,但它確實是這樣的。或者我們反過來想,如果違背它,也是必然的,我能夠拿到更多東西嗎?沒有。
有個問題是,怎麼理解世界模型和 AI 智能上限提高沒有關係?我說的是在現在這個階段,這是我們的判斷。我們有看到,這是我們自己的 AI 路線圖,不是唯一的路線圖。
從我們的理解、從我們的判斷來看,當前最重要的是把 AI 訓練做好。把 AI 訓練做好,並不需要世界模型,甚至不用多模態。因為你把 AI 訓練範圍縮小一點,沒有多模態,只是有一部分任務你做不了,但是不影響這個算法的成立。
多模態最終還是要做的。現在重要的是訓練,然後下一步要解決的是持續學習的問題,再下一步要解決的是它自己問問題。但是這個路線圖裡面沒有世界模型,沒有視頻生成。
視頻生成一開始出來的時候就很火,好像這是必須要做的,如果你不做,你就不是一個 AI 公司一樣。所以我就很奇怪,這個其實你只要仔細去想一下,它跟智能的路線圖是沒有什麼關係的。
事實上,你也發現,那個視頻生成一開始 Sora 出來之後,所有人都做,大公司、小公司都做。但是小公司後來都把它砍掉了。它跟智能的上限沒有關係。
但在商業上,它是個好生意,在商業上是個好生意。但是這跟智能沒有什麼關係。我們不會因為它是一個好商業而去做它,我們只會因為它是智能路線圖上的東西,才會去做。
視頻生成那個,因為那個相對比較清楚,就拿它舉例。然後世界模型,世界模型這個含義就沒那麼清楚,因為很多東西都可以說它是世界模型。
從我們的判斷,世界模型和智能還不是現在這個階段最重要的事情。最重要的才是 AI 訓練,以及 AI 訓練之後怎麼解決持續學習。這是我們公司的判斷,當然每個公司它的判斷是不一樣的。
我剛說的是,我們公司對公司來講最重要的問題,就是人員的穩定性。從另外一個維度來講,我們缺什麼呢?我們跟美國的差距是什麼?其實差距只有一點,就是資源。
我們沒有那麼多卡,我們的卡的數量還是比較少的。我們現在大概是兩萬張 H 等效算力,這其中大部分是剛到,最近一兩個月剛到,可能還有很多機器還沒有來。
我們總的算力去年比較少,今年我們在非常激進地擴充這個算力。我們現在大概是兩萬張 H 等效,接下來幾個月我們還會有大批量的機器買過來,基本上都是英偉達。
我們需要多少卡?現在肯定是越多越好。在我們能夠承受的範圍內,肯定是卡越多越好,這是毫無疑問的。所以我們現在策略是,在合理的價格裡面,能買到多少卡就買多少卡。
如果說這筆融資用完之後,我能買多少卡,我就買多少卡。花錢的速度不在計劃裡面,而是只要價格合理,有多少我都買。那麼如果說我在半年之內就把錢花完了,我覺得是個好事。如果說我在半年之內把錢都花完,那這個太幸福了,這太理想了。
實際上,要把這麼多錢花完非常不容易,買不到那麼多卡,很難買,而且價格也很高,也不能說花非常高的價格去買,還得確保這個價格是合理的。
如果我半年之內就把這個錢花完的話,可能是最理想的。因為我把錢變成英偉達卡,肯定是比放在銀行裡面好。放銀行裡面,我現在已經可能是存兩個點,好像就要。但是買英偉達卡,十個月的社會成本。
所以肯定是你能買到多少就買到多少。最先如果買了卡之後,後面我有很多空間,我通過提供服務或者我怎麼樣,我總是能夠有現金流的。我有現金流我就可以活,我就不需要在我賬上面放很多很多錢。
所以說,我們只擔心買不到那麼多卡。如果能夠把錢都變成卡的話,那我們會毫不猶豫把所有的錢都變成卡,並且在這裡面我們是願意付一定的溢價的。就是我們願意付一定的溢價去把它變成卡,因為這太划算了。
哪怕我們在付完溢價之後,其實我們也很難實現這個目標。那麼客觀上來講,如果說我今年能夠花掉兩百億,那麼就屬於我們的採購部門業績超級好了。
我們跟美國的差距主要在資源上面,然後人上面差距不是很大的。人上面幾乎沒有差距,因為就是同一批人,可能是中國人。中國人出去的時候,有一些人留在國內,有些人留在國外,有些人去國外,他並沒有說是聰明的人去國外,沒有的。
其實它是比較隨機的。最聰明的那些人,可能不是說一半多一點去國外的,但有一半少一點留在國內。國內人才是不缺的,而且我們的基數大,我們每年有那麼多人的補充。
人才不是瓶頸,資源是最大的瓶頸。資源首先影響到人才培養,因為算力少,我們能做的實驗機會比較少,所以我們的人才整體上比美國有差距。人才的差距,本質上也是因為算力的差距。
在現在最大的模型上,我們其實訓不起的。我們哪怕把五百億全花掉,其實也訓不起。哪怕能堆起來也用不起。現在最大的模型,它激活大概是八百 B;國內的話,我們還在幾十 B 的這個規模,國內最大模型可能就幾十 B 激活,那麼差一個數量級。
如果我要訓練跟 AI 同樣大的模型,應該需要五萬張 GB300,或者華為 950,二十萬卡。這只是訓練,還沒有考慮做研究。所以我們跟美國之間最大的差距是在資源上面。
我們現在的資源,以及我們今年之內、接下來幾個月的資源,包括馬上大資源,也只足夠我們在十 B 激活的這個規模裡面去做更多的實驗。因為我在幾十 B 激活的這個規模裡面,還有很多實驗要做,還有很多事情需要搞清楚的。我們應該離能夠訓八百 B 的模型還比較遠,時間還非常多,沒有那麼多卡。
所以我們跟美國的區別,我認為就是資源上的區別。我們可能會認為,我們看到的所有區別,包括人才的區別、模型能力的區別、應用的區別,可以認為都是因為算力資源上的區別。
算力資源一方面是國內本身卡就買不到,另外一方面是我們的資本投入比美國要少。我們在資本投入層面上少了很多,基於人才的工資在這裡面占的比重是很低的。你看他們開的薪水一個億美金這種,但算起來,人才的薪水還是占比很少,大頭還是算力。
這個問題目前基本上無解,因為華為的產量也是有限的。因為我要訓八百 B 的話,我就得二十萬張華為最新的卡,這只是訓練,還沒有考慮做研究。
所以我們現在根本就不會考慮,到這麼大的一個規模上去跟美國競爭。我們現在輸,還是在我們能夠訓練得起、能夠用得起的規模上,就幾十 B 激活的規模上要先把它做好。再等下一步有更多的資源的時候,再把它做到一百五十 B、一百五十六 B,或者兩百五十 B 激活的這個規模。
所以我們跟美國在這裡面有一個目前看起來很難彌補的差距。你要硬要訓那麼大模型也是能訓,但是你沒法做充分的研究。就是你在訓之前,沒法做充分的研究。
還有個大家比較關心的問題是,所有大模型競爭,它終局的差距會體現在什麼地方?就是當大模型最終差距會體現在哪裡?我覺得這個差距最終可能是沒有太大差距的。
最終的差距應該是三方面:一方面成本,一方面時間,一方面用戶體驗。除此以外,可能是沒有什麼差距的。
成本比較好理解,你提供同樣的服務、同樣質量的服務,你能夠以什麼成本來提供。同樣一件服務,不如說比亞迪的電池,在同等技術量的情況下,其他家是不是能夠按照這個價格來提供,我覺得這個是個較難的事情。不是那麼容易做到的,肯定是壁壘。
所以成本肯定是一個差異,我覺得可能成本是排在第一位的區別。然後第二個就是時間,你什麼時候能夠做到。你早幾個月、晚幾個月,它就不一樣了。
第三個可能是體驗,用戶體驗還是有些不一樣的。這個用戶中間還是會有一些用戶粘性和用戶壁壘的,但它可能不本質。本質還是第一個成本,第二個時間。你先做出來還是後做出來,你做到同樣東西,是快點還是慢一點。
長期商業化路徑和產品線進一步豐富後,怎麼定價?我們覺得現在最值得做、最值得花精力的,還是做 AGI。現在要把 AGI 往前再往前推,就是把智能的下限往上推,往前推。
這個應該是在現阶段,比做更多的產品線、考慮更多商業化路徑更划算,或者說它是一個收益更大的路徑。我覺得在未來的一段時間,以及過去的任何一段時間,可能都是這樣的。就是說,如果說我們梁文鋒
我們花了很多時間去思考,豐富我們的產品有什麼用嗎?
半年前討論出來的商業化是什麼?一定是我要去做廣告,然後我要去做電商,我要去在產品裡面植入電商,然後要跟本地生活什麼很大一體。肯定沒用的,因為變化太快了。你這個產品,如果說你在前面,或者我們現在這個階段,去花很多時間做商業化考慮、商業化路徑,產品線它生命週期很短。
我覺得沒有到這個時候。這是我們的判斷,或者至少前面的這些經驗都是支持這個判斷的。在過去三年,任何一個時候你來跟我說商業化路徑、產品線,都是浪費時間,因為你並不能夠預測、不能夠預見未來。你能夠預見的是很少的。
因為我看時間,不知道大家要中場休息一下嗎?要先吃點東西嗎?還是我們繼續聊?大家沒有意見,我就繼續說。
在做全球領先的 AGI 研究,並在適當時候進行商業化。我覺得我們一直在做商業化,我認為一直在做商業化,只是沒有以商業化為目標。我們是以 AGI 為目標,但是我們一直在做商業化,所以我們才有 C 端的用戶,才有 B 端的收入。
從歷史經驗來看,這個策略是成功的。然後我覺得,我們離徹底轉向商業化的時間點,應該是很遙遠的。所以最大的還是技術的延伸,然後做下一代的技術,更多地解決現在的問題。這些收益比,我個人覺得,就在現在能看到的未來,在任何一個時候你聚焦在產品上都太早了。
所以這也是我們克制的一部分。我希望這些商業機會能夠讓其他人來做,我們希望這些商業機會、怎麼用這個 AI,是整個社會、我們所有的合作夥伴一起來做,大家一起來分享這個收益,而不是我想獨吞,這不可能。而且我們沒有那麼多精力,我們的組織也沒有那麼多人去做這個事情。
對於合作夥伴,其實我們這個融資是精心挑選的。具體怎麼合作的這個提議,但首先我覺得,利益是比較一致的,就是跟我們利益最一致的、對我們最沒有敵意的,或者說最希望我們能夠做成功的。不是所有人都希望我們能做成功的,因為我們還是損害了很多其他人的利益的。
公司重大戰略、技術業務決定的流程和決策機制。我們公司整體上是建立在共識的基礎上的,我並不是說我一個人決定所有事情,而是我要尋求共識。我在公司內的權威以及在公司內的影響力,是建立在共識的基礎上的。
比如說我要做一個事情,我肯定是先看我們大家的共識是什麼,大家想不想做。然後有可能我會有一些引導或者傾向,但是這引導的作用是有限的,引導的作用是非常有限的,還是建立在一個共識的基礎上。這個決策機制其實是一種尋求共識的機制,這並不是說我能夠推動一個什麼事情,它一定是共識,我才能夠推得下去,然後我才會去推。
目前主要精力基本上都在 DeepSeek 這邊。我們休息五分鐘。我快點寫。大家可以開麥,給我一點反饋。我們這邊沒問題,要不然先休息五分鐘。
各家模型最終效果拉開差距,應該是一個綜合上的。比較模型效果,肯定是得在相同的成本上來比較,這個才是有意義的。因為你比較兩輛車,也是同價位的車來比較。
做得好的模型跟做得差的模型,這個差別應該不是在具體某個環節,它應該是整體上的。Anthropic 跟現在超過 OpenAI,這是不是長期的?我覺得這不是長期的,這肯定是極端性的。OpenAI 和 Google,未來大概率還是會交替上升,應該是會交替上升。其實現在 Anthropic 在 Code Agent 上的優勢沒有那麼大,其實並沒有說它碾壓 OpenAI。
我們公司可能有一半的人,平時有一半的人覺得 OpenAI 是更好的。其實 Anthropic 它有先發優勢,但這先發優勢應該很快就沒了,並不是一個它能夠長期占得住的優勢。大家這三家都很厲害,這三家裡面的效率是最高的,它花的成本、它花掉的、它燒掉的錢應該是最少的。
在全球 AI 中主導分工的時候,中國公司很有可能扮演的一個角色還是產量最大。常理來講,我們的產能最大,包括芯片,芯片可能我們的產能最大,我們的電力最多,所以我們的 AI 最終很有可能我們是三體之一。
中國人會把這產品做到最便宜,然後再在效果上,畢竟國外的商品,現在很多商品中國產跟美國差並沒有太大的區別。未來可能 AI 也是這樣,但是中國產的 AI 可能價格會更便宜。這個便宜可能是系統性的低,就跟其他行業中國提供的服務更便宜可能是一樣的。
我要做事情的時候,我習慣的思考是:我現在這個時候做什麼收益最大?如果說我覺得現在做產品收益最大,我覺得去做產品;如果說我覺得現在把 AGI 先實現收益最大,那我就是先去做 AGI。顯然,我覺得現在做產品不是收益最大的。
如果你是國產卡適配的問題,國產卡現在其實是有一個歷史性的機遇的。因為之前國產卡適配有一個難題,叫生態不好。就買了卡之後,但是用不起來,它沒有英偉達那個生態。所以說英偉達的護城河是很強的。
但是這個事情在發生變化。英偉達 CUDA 的護城河在快速地被瓦解,快速被瓦解的原因可能是有三方面。一方面是現在有了 AI,然後有了 AI 之後,我要建立起這個生態比以前容易很多了,因為 AI 可以寫代碼。
我可以用 AI 來構建這個生態,就可以把跟英偉達一模一樣的生態構建出來。第一個,因為有 AI;第二個,有一些新的技術。比如說,我們家出了一個技術,叫 TileLang,是一種高級語言。
用這個高級語言來寫 CUDA 的算子,可以很快地把英偉達的整套生態全部都寫一遍,再結合 AI,這個看起來沒有什麼障礙。但是現在還沒有完成,還沒有做完,不過這個技術路線看起來是沒有什麼障礙的。
還有一點,因為 CUDA,英偉達它是從遊戲卡演變出來的,所以它在很多地方,遊戲卡的設計跟遊戲卡的設置是一脈相承的。CUDA 是兼容遊戲卡的。以前因為 AI 計算是一個很小的領域,比遊戲卡的市場要小,所以這樣是合理的。
但是現在計算卡的市場已經比遊戲卡更大了,就沒有理由這兩個還需要耦合起來。現在的趨勢是,以後就不再耦合了。那麼專用芯片,不管是華為還是英偉達自己,以後都是專用芯片,都不是之前的這些東西了。
在這個背景下,原來英偉達生態的作用就大幅度減少了。因為對於一個專用芯片來講,跟 CUDA 沒有什麼關係,它跟 CUDA 是不綁定的。或者說,這個芯片在設計的時候,就已經考慮到怎麼建立這個生態了。
有點複雜,但 anyway,國產 AI 芯片替代現在是有個歷史性機會的。我們認為,未來一年之內,我們能夠看到有一個事情被驗證:國產芯片的生態完全沒有問題。之前認為是有問題的,認為是用不起來、不好用,但是未來我覺得一年之內,我們能夠扭轉這個認知,或者會用事實來扭轉這些。
國產 AI 芯片的硬件和生態都沒有問題,唯一有問題的是產能不夠。國產卡適配這一點,沒有障礙,英偉達擋不住。如果是在一個正常的商業環境裡面,我能買到英偉達的卡,那麼國產替代是比較難的;但是在英偉達的卡買不到的情況下,所有人都迫不得已,都要去做國產芯片。
在這個背景下,國產卡的適配是沒有任何障礙的。國產卡建立起跟英偉達一樣、甚至比英偉達還好的生態,我覺得沒有障礙,但還需要時間。
我們現在主要是跟華為有合作。華為他們自己適配,但我們自己會參與這個生態,會深入參與到華為這個裡面去。華為的問題還是產能不足。像華為給我們的大概是一萬六千張卡的產能,互聯網大廠可能是十幾萬張,我們一萬多張,我覺得這個比例也是比較……但這已經可能是華為就這麼多產能了。
所以我們也沒法指望在華為上面訓後面那個更大的模型,或者說訓練幾百 B 參數激活的模型,有時就有說在今年。但是明年、後年說不定是有機會的。
華為卡適配,我們主要做的工作是把它的高級語言編譯器做好,把 TileLang 做好。把 TileLang 做好之後,問題可能就迎刃而解了。這個事情說起來比較複雜,但是我們在做,做完之後再來解釋會清晰比較多。
你可以理解,V3 訓練的時候,它用的還是英偉達的卡,但是已經不用英偉達的生態了。V3 用英偉達的卡,但是沒有用英偉達的生態,而是我們先寫一個高級編譯器叫 TileLang,然後基於 TileLang 的生態來完成其他所有的事情,就已經幾乎不依賴英偉達的生態了。
只要我把這一套東西,把這個過程重新在華為卡上做一遍,那麼就完成了。我覺得這裡可能是一個歷史性的使命,即可以完全扭轉之前大家對國產卡生態不好的認知。現在有些天時地利基本上都全了,就差時間。我覺得一年之內,應該會有很多人在上面都有,或者說都明白這問題算是解決了,剩下就是產能的問題。
我對國產算力是比較樂觀的。我覺得在這一點上,英偉達是在掘自己的墳墓。華為的超節點,華為的 950 超節點,在性能和價格上可以完全平替英偉達的 GB200、GB300。價格肯定要貴,但貴得有限。價格貴百分之五十、百分之一百,貴百分之一百無所謂,貴百分之兩百都無所謂。
比如貴百分之一百,我覺得已經可以認為在價格上可以平替了。在任務上也是可以平替的,所有 GB300 能做的任務,華為超節點都能做,延時什麼都一樣。唯一的代價是,四張華為卡頂一張英偉達的卡,同時落後兩年。
四張頂一張這個可以理解。落後兩年的意思是,四張華為 950 能頂一張 GB300。落後兩年是時間上落後兩年。華為 950 超節點是今年 Q3 還是 Q4 的貨,英偉達 GB200 是兩年前 Q3 的貨,差兩年。
英偉達今年 Q3 可能已經有新一代了。所以我們跟美國在芯片上的差距,我認為生態上以後不會再有差距,但是在芯片上是四倍加兩年。
還有問題是,我們會不會向上游進行垂直整合?我希望不要。所以有個問題是,我們是不是會往上游應用進行垂直整合?我們希望不用這個,我希望是其他人來做這個事情。我不希望我把所有東西都吃了,我只要吃一塊就好,我只要吃我最擅長那一塊,或者我覺得我們自己認為最核心那一塊,然後跟用戶直接相關那一塊,我覺得可能對於我們的很多產業夥伴來講,他們比我們更關注類似……應該是別人的意義,不應該我把它詮釋了。
未來我們會不會自建大型的集群?我覺得自建大型的集群是肯定要的,我們自己一直在做這個事情,我們所有的集群都是自己建的。但是未來要不要自研芯片,我覺得取決於這裡的收益有多大,取決於收益有多大。
Tesla、培育……這個事情。假如說你是運營發電廠的,你並不一定需要去造發電機,對不對?發電設備可以是別人造的,只要它的價格合理,你為什麼要自己造?
所以,我希望不用去做芯片。我希望能夠以合理的價格買到芯片,這樣我就不用去做芯片。我覺得這個很有可能是這樣的,就是最近英偉達芯片的利潤,不見得是可以……雖然……
我們希望只做一塊。我覺得 AI 這個事情很大,並不需要我……我只做一塊。如果聚焦,並且我認為這裡的生意利益已經足夠大,就如果是 AI 時代會產生很多家萬億級別的公司,我覺得我們是其中一家。
我們一直做其中一小塊,我們是其中一家已經沒有什麼問題了,並不需要我……我並不是信心勃勃要做地方。我覺得最可能是比較難變,且你真的想做別的話,你還是會有更多的主意,這個會……這是我們的態度。
譬如說,至少在 To B、To C 這兩個業務上,目前能看到的,真的想做 To C 閉環的,反而我們做得好;真的想做 To B 閉環的,說不定也沒有我們做得好。你想要得越多……
然後還有,To B 這個可以多說幾句。To B 業務的上限應該還是需求,在現在這一代 AGI、AI 技術的背景下,To B 的需求應該是有限的。它會快速增長,但並不是一個無窮大的事情,最終還是受制於需求,不是算力。
在當前技術的條件下,收入有多大,最終還是取決於需求。因為你這樣想,我十個月就能收回成本,我肯定是如果有去處,我一塊買,是因為沒有那麼多事情。對,需求應該會越來越大,如果隨著技術持續有突破,這個需求會越來越大。
多模態佈局,我們一直在做。對產品來講,它很重要;對 C 端用戶產品來講,它很重要。但是對智能的上限,它是一個組件,它不是主線本身。
但是它作為一個組件,多模態我們肯定會做,而且我們也在做。我們應該會上相關的模型,就是我們 V4、V4 的後續版本會支持原生的多模態。但是我們對多模態、對智能來講,它是個組件,我們不把它當作智能本身,它的主線跟搜索一樣。
搜索也是一個組件,多模態也可以,我們的理解它也是一個組件。Scaling,我們是信 Scaling,肯定是規模越大,效果越好,能夠解鎖更多的功能。阻止我們 Scaling 的其實就是算力,並不是我們不想 Scaling,是我們沒有那麼多的算力去做這個 Scaling。
我們沒有觸摸到這個上限在哪裡。我們訓練這麼大的模型,並不是因為我覺得這麼大的模型就夠了,而是我剛好有這麼多資源。我是按照我的資源來算,我能夠接受、能夠訓練的模型是多大,是這樣算出來的,並不是這個模型就夠了。
目前來看,模型收益還是非常明顯的。我們還沒有機會碰到這個 Scaling 的牆,這離我們還很遠。矽谷在說 Scaling 到頭的時候,那是對矽谷來說;對中國人來講,我們離那個還很遠,我們根本就沒有 Scaling 到那個程度。
這個 Scaling 包括數據的 Scaling、模型規模的 Scaling,然後訓練成本。我們離探索這個 Scaling 的上限還比較遠,就是沒有那麼多算力。但我們也會不遺餘力地去推進這個 Scaling 的上限。
包括我們融資完之後,我們有更多的算力,可能訓練更大的模型。時間內買到,就在越短時間內買到;如果能半年精力全花完,那麼這是最好的,實際上做不到。
下一代模型的核心能力,我覺得它必須要有持續學習的能力,它才能叫下一代模型。在那之前,我們能做的就是成本,然後效果做得更好,速度做得更快。但是要有大突破,它應該是具備持續學習的。
然後還有一個問題,就是為什麼好像我們特別在乎這個模型的計算效率?因為我確實發現,不是所有人都很在乎這個模型的效率。一個商業化公司來講,沒有動力去追求模型的效率,因為模型效率高一點……
所以,它沒有那麼大的動力去追求模型效率要非常高。所以幾個創業公司,他們自己並不會……你沒有聽到他們說低成本是他們追求的東西,因為那個不符合他們的利益。低成本了,你還賺什麼錢?低成本了,你就收不到什麼錢了。
從成本或者從商業角度講,這不是第一優先級。
對於不管是創業公司來講,還是大公司來講,這個服務成本根本就不高。但是我覺得我們希望它是比較輕的,我希望它是一個負擔得起的,特別是在中國算力緊缺的這樣的背景下,是負擔得起的,能在國產卡上用的。
我覺得低成本首先是一個結果。我們的模型確實一直在模型架構上往一個更低成本的方向走,這跟我們的願景有關係。我們還有很多在算法上的方法,成本還可以往下走。
成本往下走還有一個原因是,成本越低,我就越能訓練更大的模型,我就越能承擔起更大的模型。在同樣算力上,在算力有限的情況下,如果我的計算效率更高,我就能夠承擔起更大的模型。
對大公司來講,他不一定會這麼考慮。對大公司來講,資源是可以加的,可以通過加資源來解決。但是我們會優先考慮成本效率。
數據類模型的價值,數據這個範圍比較廣,數據應該幾乎就等於模型的一半。為什麼我會覺得,如果我想要那個,或者假如設 AI 能夠占 GDP 的百分之二十,然後如果說我想要在這裡面占百分之五,絕對行不通。因為我肯定會被另外一個人打敗,如果另外一個人說我只要占百分之一,那麼肯定就會被他打敗。
如果說我的目標是,我要占 AI、全人類 GDP 的百分之五,理論上算這個帳還是成立的。你看 OpenAI,他算這個帳好像是能算得過來的,理論上是沒問題的。但是他有個問題,他會被另外一個願意只占百分之一的人打敗。
因為另外一個人說,我做得這麼好,但是我只要拿全球 GDP 的百分之一就可以了,那麼就會把他打敗。這時候如果又出來另外一個人,說我只要百分之零點一就可以了,那麼又會把前面的人給打敗。
從宏觀上來講,不管這百分之幾是從哪裡拿,彼此之間沒有區別,都是一樣。拿得多的人會被拿得少的人打敗。甚至你還不用真的拿得多,願景如果是拿得多的話,你就會被願景是拿得少的人給打敗。
其實大家都沒有拿到錢,然後只是一個願景。你願景是拿得多,你就先輸了,你就會面臨著更大的困難。這個世界就是這樣。
OpenAI 從一開始覺得他真的能夠壟斷這個世界,但是實際上他會遇到很多很多挑戰者。他會遇到挑戰,他就不會那麼輕鬆。美國會遇到過的挑戰,那麼他在未來可能還會遇到中國的挑戰,因為中國人願意拿得更少,就可以給你提供這個服務。
在中國,也會有人願意拿得更少一點。但最後這裡會有個平衡,因為你拿得太少之後,公司商業邏輯就不成立,就活不下去了。所以你拿得太少了,你活不下去;你拿太多了,你會被拿得少的人打敗。
所以對我們來講,我們並不是利潤要拿最多的錢,或者說算收益最大化的定價,而是只賺一個合理的收益。這是一個解釋。
我是相信這個事的,我並不是去為這個事情找理由,因為沒必要找理由。我本來就這麼做的,我這麼做肯定是有理由的。這個理由可能不是非常慣常,但是我覺得公司本來就不慣常。
我們公司的管理其實是兩條線:一條線是從上到下,一條是從下到上。從下而上,就是每個人自己想做什麼,自己做,沒有人管他,沒有 KPI。
從上到下,就是正式的,我們要集體做一個什麼事情,需要全公司的人一起來配合。比如說我們要發 V4,那麼就得分工,每個人得做一部分。那個是從上到下,然後從上到下這個我們叫做正式。
一般我們希望這正式不要占用員工所有時間的一半,就正式不要超過一半。他還有一半的時間,是不被安排的,他想做什麼就做什麼。這是一個研究的範圍,讓他可以自己去探索,按照他覺得什麼重要,他去探索什麼,沒有前置的要求。
只要公司能夠支持,公司算力能夠支持他做,或者說他不需要算力,他需要做得很少,那麼他根本就不用來協調。所以我們現在是這樣的一個組織方式。
有些人覺得我們是從上而下的,有些人覺得我們是從下而上的,我覺得兩個都對。我的一個標準是,正式最好不要超過一半。
我們一般也不太加班。加班有兩個原因。第一個是,做研究是需要一個比較鬆弛的環境。你如果逼得很緊,就沒法做研究。因為既然就是要你自己有這個興趣,你自己平時要去想這些問題,所以得是在一個比較鬆弛的環境裡,才有可能能夠探索。這是一個出於研究文化的需要。
第二個是,我們非常聚焦。我們非常聚焦,就意味著我們要做的事情很少。那我就沒那麼多事情要做,我就不需要加班。
這個跟前面的克制是一脈相承的。因為我克制,所以很多時候我就不做了。那麼我要做的事情少了,每個人分到的工作就少了。你看到我們的產品很多都不完善的,我們也沒有去補它。
這也是我們的一種文化。
OK,因為問題很多,我大部分都掃了一遍。大家還有什麼問題,大家提問。
請各位投資人自由開麥交流吧。我稍微提醒一下,梁文鋒講了很多一些比較敏感的信息,請大家千萬不要外傳一些數字或一些情況,包括卡量什麼的。同時也千萬不要錄屏對外做分享。很感謝各位,請各位有問題的話,自由開麥交流。
楊哥,您能分享更多關於持續學習什麼時候帶來突破的時間線嗎?包括如果實現持續學習,還需要哪些架構、算法的創新,以及其他關鍵要素?
人少,需要研究。現在全世界都在研究這個問題。或者說,對投資人來講,現在投資人看到的最多的是 AGENT;但對於我們這些研究的人來講,現在看到更多的是學習,以及怎麼解決學習這個問題。
其實學習可能不是一項技術,它是一個問題。怎麼解決這個問題,可能有很多種技術,不是一項技術,它不是一個東西,會是很多東西。或者說,AGI 是由很多東西組成的,需要模型,然後還需要很多其他東西。
其實它也是一個工程和算法問題。這個問題比較專業,但有很多方法,也有很多研究。
梁總,謝謝。非常感謝今天這個機會。我首先非常想回應和感激一下,您最開始說的讓我非常感動,也給我們很多啟發。您提到,這個團隊帶著最大的善意,希望能夠在這個行業裡面,對這個社會、人類智能的發展有所推動,做一點點貢獻。
並且在這個裡面,是帶著這種使命感和願景。我覺得這跟我們所服務公司的企業文化非常相近,就是「修己達人」。我深刻地理解了為什麼您會帶領團隊做開源的事情。
我會形象地感覺,像我們去做一個榕樹這樣的小鳥天堂生態,利萬物而不爭,但這樣它就會被大家接納,萬物共生共存,最終就會無處不在。所以,我們會以這次投資,同樣表達我們對這個使命和願景的認可、支持和尊重。
同時,我們也希望能夠在這個產業未來,我們所擅長的一些領域等,去貢獻一些力量。在這塊也想跟您繼續請教和探討。比如在未來生態的共建當中,現在開源之後,這個行業裡有多少夥伴、人才、團隊,能夠比較好地復現咱們開源目前的一些模型和成果?
未來在下一步想讓這個生態進一步發展的時候,您感覺在哪幾個方面,需要更多高質量的人才能夠銜接到我們的模型,把它復現?還是說現在 GPU 的算力相對有一些稀缺?大家未來會不會是一種模型矩陣的方式?
比如咱們把大模型基模做得越來越好,各行各業的夥伴和團隊去做一些模型矩陣裡面的垂直行業模型,或者一些應用模型。這塊目前的發展怎麼樣?未來一步一步,兩年、三年,您感覺會長成一個什麼樣的生態?
這是我第一個想跟您請教的。第二個,您剛才也跟很多夥伴分享了很多關於 AI 硬件方面的觀察。像 AI 全球大公司,可能單體都會做千億美元級別的投入,中國目前看起來在硬件算力上有些短板。
您感覺這個多長時間可以解決,並支撐咱們 AI 的發展,讓算力和硬件短板不給 AGI 拖後腿?您覺得這是不是中國人未來使命必達,我們肯定能做出來,只是時間和資金投入的問題?
但同時,可能它會是兩方面的。一方面,模型的進步會讓模型智能化的提升,導致單一任務或者某些智能化單體對硬件、對算力的消耗逐漸遞減,不再需要那麼大算力的運算,因為模型的進步會讓它巧算。我不知道我理解得對不對。
另外一方面,硬件的技術進步會讓算力的算能效能更強大。這會不會是兩邊相向而行的路徑?現在如果是在這個時點,用現在的 960 也好,還是 H200 也好,去做千億美元級別的算力投入,您剛才提到說您是給它按三年攤銷,那它的實際生命週期,您覺得技術迭代是四五年?
或者直白地說,會不會現在算力中心按現在的卡去建了萬卡集群,可能三年之後它其實就是相對不那麼先進的算力了?會不會有現階段是 under construction、不夠用,三年之後變成相對不那麼優質的算力有冗餘的情況?我不知道會不會有這樣一種現象。以上兩個問題請教您,謝謝。
謝謝。第一個問題是生態的問題。
我們現在覺得,可能每個企業都面臨的問題是人才不夠。但我覺得這個人才短缺會是階段性的。我們在每個行業發展的初期,人才都是不夠的。
包括以前做網站,剛開始做網站的時候,做網站的人很少,人才很缺。後來互聯網要做服務端,人才也是很缺的。但是這種人才短缺都非常快會被解決,也就兩三年,因為會培養出大量的人。
AI 人才的短缺也是階段性的,並且我們已經看到,大幅度被緩解了。因為 AI 人真的不缺,每個公司很快會把人培養出來,培養人是很快的。所以,AI 這個行業整體上,不管是生態、模型公司還是什麼,人才都不缺。
人才缺肯定是一個短期現象。歷史上從來沒有出現過長期缺某一類人的情況。我還記得十幾年前說飛行員很缺,飛行員的培養週期很長,但也很快被解決了。
每一家都要做同樣的事情,但美國只要三家做,資源只集中在這三家。中國資源分得很散,每一家拿到的資源就更少。我覺得這個肯定是會收斂的,一定會,但這需要過程,最終一定會收斂。
不需要那麼多家,因為現在可能大家覺得做這個事情的利潤率非常高,所以一定要自己做。但當他發現這個事情可能沒有那麼高利潤的時候,可能就不做了。最近肯定是沒有那麼高利潤的,我不相信有那麼高利潤,因為這不符合客觀規律。
這意味著我們是處在一個階段上:如果有一個非常高的利潤率,這一定不符合客觀規律。我們應該是一個合理的利潤。所以這是產業的一個現狀,我覺得肯定會收斂。
就是大家做大模型的那一部分,其中不要說某一家獨占,說「我要拿走全部利潤」,這個肯定不行。如果說每一家都只拿合理的利潤,那麼其實不需要那麼多人去做大模型。中國最後有個三四家競爭,競爭就很充分了,價格絕對已經夠打價格戰了。
大模型可能不說兩家大公司、兩家小公司,可能就已經比較夠了。
至於生態上的,我沒有什麼太多的想法。我們希望能夠扶持更多的人,但是我們並沒有那麼多的精力。我們是有這個意願,並且不會有利益衝突,但是我們有沒有去做是另外一回事。
但至少這裡邊是沒有利益衝突的,我們是希望合作共贏的。首先,我絕對不認為大模型公司可以拿走大部分利潤,這個不可能,因為這麼多家大模型公司,現在差距不用那麼大。
差距只有兩個東西:一個是時間,一個是成本。所以不至於哪一家有暴利,我覺得不至於有暴利。成本控制得好的人就多賺一點,成本控制得差的人就少賺一點,僅僅此而已。
是不是有回答了?第一個問題是不是回答完了?
大家能……你相信以後肯定是有很多人可以……未來其實會……大家數據應用這些的循環迭代……
現在可以聽到嗎?謝謝。對,感謝您的回答,也非常深刻地理解和尊重您的這種行業裡面的生態戰略定位。比如說數據這一塊,現在公開的數據,相信模型公司都已經可以有渠道獲取,這個方法應該都不成問題,只是時間和成本的問題。
那麼後續比如說將到真正到 AGI 的時候,有可能大家一個設想或者理想的狀態是,模型可以自我迭代、自我學習,就是自己訓練自己。那麼這一塊的話,目前這個數據,您感覺仿真數據是不是可以用起來,還是說真實數據的質量最高?
如果說還是需要來自於真實數據,那會不會是限制這個 AI 的智能還是在人類的過往……這個層面,因為它依賴的是人類真正曾經有過的真實數據?還是說可以突破這個上限,通過模擬數據、仿真數據、創造數據等等的方式,讓這個模型能力去超越人類過往的所有真實……
我覺得是能超越的。我覺得有兩點超越的,比如說圍棋,AlphaGo 他下了一手人類從來沒有見到過的棋。就是說,他肯定是在一定的範圍內超越人類的。
但是他可能也有上限,他可能也是有局限性。但是這個局限性我們現在看不到。我們認為,所以籠統地認為,它是可以基於人類已經有的、我們已經能說出來的知識上,予以超越的。
那這塊後續是靠真實數據還是仿真數據?它會 work 嗎?
不可能就有很多方法。
好了,我簡單快速地重複一下。就是想請教,對於 AI Infra 這一塊,未來相信算力現在大家都是千億美元級別地在投入。那麼這塊的話,有可能我們相信中國人未來在硬件上是使命必達,有一天可能會有高效率的算力,但有可能這個在實踐的過程當中,目前還是一個掣肘。
那麼未來會不會是兩方面向下而行?一方面是模型的能力迭代之後,它其實對於算力從硬算變成巧算,所以單位模型或者任務對算力的要求和消耗會逐步地邊際降低。另一方面,比如說硬件像卡的能力提升,會讓迭代速度越來越快,單卡效率提升。
那麼這個在過程當中是怎麼樣的一個現象?會不會是說,現在去建了萬卡集群,去買了 H200 或者 960,但是過個兩三年,它就變成了一個相對沒有那麼優質的算力,相對又變成了一個陳舊的器件?
英偉達的卡基本上你可以按照五年折舊。華為的卡最多按三年折舊吧。華為 950 今年能用還挺好的,明年用我覺得還可以,後面再用我覺得可能就真的太費電了。
華為卡生命週期肯定是會短一點,因為它本來就已經比英偉達晚兩年了。但是我覺得差距沒那麼大。
如果說 B200 現在能買到多少,我覺得都划算。假如說對於騰訊來講,阿里巴巴能買到的話,再看量;如果合理價格能買到,肯定都是划算的。但不是一個算成本的時候,相信買不到。
明白。我們算力落後,這是一個事實。這個事實通過三方面來消解。第一方面是我們承受模型落後,我們只能夠用比他們更小的模型,小多少問題就是訓練。我們要承受一定的模型落後,以及模型的尺寸更小。
這落後有一個好處,落後意味著你有更多的時間,你有一定的技術,然後這樣的話你就可以用巧妙的方法
謝謝。
所以我們跟美國的差距可能是落後美國 12 個月,落後美國可能 12 到 18 個月,或者說 6 到 12 個月。反正簡單說,就是落後美國兩年,然後只用美國二十分之一的算力把這個事情做出來。
這個敘事就是落後一到兩年,但是只用它二十分之一的算力。那麼未來我們要把這個敘事改寫,就是我們用它幾分之一的算力,但是把這個時間縮得更短,縮到 6 個月、3 個月,我覺得這是一個目標。
以及我們甚至可以在某一些方面超越他們。但是在總體算力還是有數量級差距的情況下,全面超越是不現實的;但是在某一些重點、有取捨的地方,我們有一些地方超越可能是可以的。
明白,謝謝梁總。信心滿滿,一起努力。時間也留給其他的夥伴,謝謝。
感謝剛才的分享。我這邊有兩個快速的技術問題。在剛才聊技術路線當中,提到了我們這一階段要解決的核心問題是持續學習,也是目前國外研究的熱點,叫 Recursive Improvement。想請教一下,目前來看,從技術上最大的難點是什麼?從您的視角來看,這個什麼時候可以解決?這是第一個問題。
第二個問題,同時您剛才提到,先解決持續學習,然後再去做智能。我也想理解一下,您這麼提背後的技術根源是什麼?是不是意味著解決完持續學習問題以後,DeepSeek 後續也會做通用智能?這兩個問題請教一下。
技術問題其實解釋起來有點……它的難點在於,我們現在還沒有找到非常 work 的方法。全世界都還沒有找到好的方法,大家都在摸索。所以現在還在摸索階段,就是不知道誰能摸到下一個解決這個問題的方法。
現在還在探索階段。我們有很多思路,有很多現在看起來有前途的一些想法,但是都還沒有做通。對,這是第一個。
第二個是,現在我們內部比較看重這樣一個敘事:訓練我們的下一版模型,我們希望它能夠幫助我們自己的開發。它能夠提升 DeepSeek 的效率,我們的模型最首先是提高 DeepSeek 自己的工作效率,讓我們開發下一版模型的時候,它能夠提供更多的幫助。
或者說簡單一點,我們做的模型,第一目標不是大家用得好用,而是我們自己用得好用。首先是對我們自己有用。對我們自己有用之後,我在開發下一版模型的時候就會更快。
我們內部很多人的想法是這樣的:首先要對我們自己有用,首先是給我們自己用。然後這是實現 AGI 最快的方法。當我們自己好用,那意味著可能別人也好用,但是首先得保證我們自己好用。
這個敘事有點奇怪,但是確實很多人就是這麼想的。而不是說用戶用得好用,我是希望對我們自己幫助更大,這樣我們可以實現 AGI,會快很多。所以這個敘事的邏輯是,來幫助我們實現 AGI。
但首先是幫助我們實現。我們實現 AGI 需要這個幫助。現在是非常確定,我們確實需要人工智能來幫助我們實現 AGI。雖然說它還不是自主地工作,它還是只是跟人搭配,但是已經很有用了。
第二個問題,就是剛才提到了,先解決持續學習的問題,然後再進入通用智能。這是您對後續的一個預期嗎?想理解一下這背後的技術根源是什麼?為什麼先要解決持續學習,然後再進入通用智能?您對這塊後續的理解。
因為解決持續學習這個問題,可以大大加快我們的研發進度。如果我先解決了持續學習這個問題,那麼通用智能這個問題就不在話下了。我有了 AI 的輔助,如果 AI 能夠持續學習,它的能力應該是非常強的。
現在的 Agent 的能力受限,是因為它不能持續學習,它不能有效地持續學習。如果說能夠先把持續學習做完,那 AI 的能力是非常強的,它能夠非常大地提升我們自己研究的效率。
持續學習先做出來,通用智能可能就很容易了,用它來做就很容易。所以我說這是一個我們比較希望看到的結果,我們比較省力,我們就輕鬆。否則現在你要去人工做通用智能,它是一個比較累、比較苦,是一個數據密集、人力密集的事情,性價比也不高。
感謝分享。小問題,線上的問題你看一下聊天群。覺得 AGI 還需要多久?國內硬件在這個時間能追上嗎?
在 Zoom 會議的那個聊天窗口裡面。
好,這個我看了。
華為 950,現在華為是給我們一萬六千卡,這應該是可以公開說的。應該是比互聯網大廠少一個數量級。華為也只能給我們這麼多,因為這個價格也不便宜。
互聯網大廠的追求會更大,對互聯網大廠來講,它更需要。對我們來講,我們可以買一些不合規的卡。所以我們買華為 950 的目的,還是希望幫華為把這個生態做好。
一萬六千卡的華為 950,只相當於四千卡的 B 系列。所以說不是一個很大的量,意義不是很大。不夠訓一個下一代的模型,它只夠訓我們現在這一代模型,不夠訓下一代模型。但是可以讓華為把這個先做好,就是關於華為 950。
然後,AGI 還需要多久?國內硬件在這個時間能追上嗎?
我覺得在 AI 這個事業上面,在 AI 這個事情上,應該國內一兩年是能夠做到跟國外差不多的,或者可能今年就能做到平替國外的模型。在 AI 這個事情上,就現在的一個方式、現在這個範式,不是很難的事情,所以今年應該就能做到的。但它還不是 AGI。
我至少覺得,它得能夠持續學習吧。
國產硬件在這個時間能追上嗎?我覺得國產方面可能需要一個幾年的時間。國內首先得解決生態的問題,因為生態是一個信心的問題。解決生態的問題,然後再解決產能的問題,我覺得應該是能夠逐步解決的。
我不太相信未來五年之後,我們還卡在產能的問題上。現在肯定是卡在產能問題上,今年、明年、後年,我覺得可能都還是卡在產能問題上,但五年之後,我覺得可能不一定,我還是比較樂觀的。
然後第二個問題是,思考未來的組織架構,對人員的規劃規模。首先,我們之前的組織架構是非常分散的,因為沒有組織架構。但是我們人在進一步擴大之後,這些肯定是需要做出一些改變的。
現在只能說,這裡會需要做很多改變,但現在很難一下子全部表達出來。最後應該還是要分不同的部門,應該有些部門是我們需要建立起比較嚴謹的層級結構的。另外一些部門,可能還是會維持一個比較鬆散、比較扁平的結構。
隨著人員的增加,我們會做這個調整。應該是我們馬上就得做這個調整,因為我已經在做這個調整。已經不做這個調整的話,很多事情是沒法推進下去的。確實有很多部門,是應該有組織架構的。
然後大家還有問題是,CV 是先於它的哪個版本是吧?我覺得我們現在,線上發了這個 GCV4 這個版本,還是比較粗糙的,然後能力方面還很多都需要時間。
我們一般,對我來講,一個比較舒適的發版節奏,大概是兩三個月發一版。上次發版可能是四月底,那麼下次發版可能是六月底,大概是這樣子。如果沒有意外的話,應該還是會一版比一版好的。
在 50B 激活的這個尺度上面,我感覺最終我們跟現在的這波開源不會有太大差別。就在推理速度跟效果上,我感覺可能就不會有太大的差別。
但是跟它那個大尺寸的模型,就它一個沒公開的模型,應該差距還是比較大的。那個差距應該是,我們這個激活參數應該是做不到的,這就肯定得是一個更大尺寸的模型,可能比如說是 150B。
那麼 150B,我覺得按照我們現在訓練的進度,今年,樂觀的是今年年底可以開始去訓練,至少是明年四……差距還是比較大的。對,這是跟 OCE 的差距。
你好,我其實有一個問題,就是經常您說到這個 AGI,它實現的過程是一個漸進式的過程,而不是會有一個突變。所以我可以理解,這是一個沒有臨界點的過程嗎?
它沒有臨界點,但是它是非線性的。我們現在比較相信一個敘事是,AI 可以加速 AI 的研究,AI 可以加速 AI 的研究。就是說,它不是線性的,因為你可以用 AI 來加速你自己的研究,所以它到後面可能是非線性的。
明白。所以當下您的這個,我理解前面的結論可能就是,語言模型繼續 scaling 是夠的,是足夠的,做到這個狀態。
只能說語言模型的 scaling,我現在沒有看到有上限。我們現在的智力水平,或造成美國的智力水平,都沒有看到上限。
明白。因為我非常好奇,就是你說,對美國來講,800B 激活這個模型,說比它能訓練起,但它也用不起來,所以它只能訓練出來,它也很難拿出來給大家用了,因為確實有點貴。
我之前其實很好奇的一點就是,人類其實擁有語言能力就是近十萬年的事情,然後前面可能進化了三十七億年。但在訓練 AI 這個事情上,可能是可以,你說那個順序是可以反過來的,但最終可能還是會進入到所謂,也不一定叫世界的模型,還是要進入到物理模型或者具身的那部分,是吧?就是在這個上限之後。
對,我覺得具身肯定還是要進入,最終具身。所以對我們公司來講,自然而然,可能終點都是具身。因為對一個正常人來講,他的需求並不是電腦,對不對?因為正常的人,他吃喝玩樂、衣食住行,他不需要電腦。
他需要的是,所以他還是需要具身智能來解決具體人力的需求。如果說目標是解約人力需求的話,所以具身我覺得就是繞不過去的。
明白。所以階段性地講,假如說到達類似,也不一定是臨界點,就是可以自進化、可以比較好的自進化,或者接近這個與 SV 的這個上升的到那個時間點上,我很好奇會希望這個狀態的 AI 落地的第一個讓是……
可能跟現在不一樣。我們是希望它能夠,就是直接假如說沒有具身,那麼我們對 AGI 的定義,或者我們希望 AGI 能做什麼呢?它能幫我迭代下一版模型,能幫我迭代下一版模型一樣。
然後如果有了具身之後,我們希望它做的也是,讓它來迭代下一版的具身,它來做下一版機器人。
我還是很好奇一點,就是因為我看之前 DeepSeek 的採訪等等,應該是在一些重要的方向的選擇和研究的選擇上面,品位和直覺是很重要的,而不是簡單的工程優化。那如果之後 AI 可以自進化的話,這個品位、taste、直覺這些東西還重要,或者說重要的會是什麼?
AI 現在不缺品位和直覺,它缺的是持續學習的能力。AI 的品位和直覺沒有問題。你讓它寫個文章,它的品位和直覺,我覺得沒有什麼問題。
前面還有幾個問題,我看一下那個問題。我看屏幕上談了幾個問題,但是我這邊看不到了。
梁總,我屏幕上留了個問題,我給您再念一下。其實是想請教一下,continuous learning,就是持續學習,您也提到,很多研究員也提到是一個還沒解決的研究問題。然後那個 coding agent,尤其是追上 MILES,就是 Scaling 到這個 Office 水平、MIS 水平是一個比較確定的目標。對於一個還沒解決的研究目標和一個比較確定的 Scaling 目標,您認為應該怎麼分配研究資源,尤其是研究員這塊的人才資源,怎麼樣才能達到最好的平衡和效果?
模型 Office 是一個比較確定的目標,但是模型 MIS,我覺得還不好說是確定的,只能說是一個目標。模型 Office,我覺得應該是比較確定的。
CoT 不占資源。做朋友任意研究,他不消耗卡,只需要很少的卡,他需要的是想法;他也不消耗人才資源,因為不需要有人一直在那裡做。他不是一個項目,而是需要有很多人都在那裡想這個問題。
所以並不需要給它分配什麼資源,因為它不需要資源。你要訓模型,要做模型、發模型,做模型的效率實驗才需要資源。剛才講的,對人、對卡的資源消耗都不多。
所以我們叫這個叫「摸獎」。門檻很低,誰都可以去摸,但是誰能摸出什麼來,這個可能我也不知道是看天賦還是看什麼。
所以這裡並不需要我們去分配資源。只是說,我們跟其他公司不一樣的地方,就是我們會花時間去討論這個問題,會去想這個問題,然後把它當做一個重要的事情。
在公司裡,它是一個重要的問題,是一個我們會花時間去思考的問題,但是並不需要花很多資源去做。
然後下面我還看一個問題:大模型的幻覺問題比較影響用戶的體驗。幻覺問題也是有一個方法可以解決的,但是這是一個長命題。幻覺問題可以認為是一個可以通過更好的 Post-training 解決的,是一個能解、能夠改善的問題。
只是大家沒有花很大的力氣去做。或者說,對我來講,幻覺是一個問題,但我們歸結可能是產品問題。我們會去解決它,但是不是重點的問題。
前面還有一個標數據的問題。我們在數據標注方面,這跟我們的資本投入有關。以我們這個資本投入的結構,支撐不起那麼多高質量數據標注的成本,因為成本很高。
美國數據標注的成本跟中國數據標注成本沒有什麼區別。中國去標數據並沒有成本優勢,尤其是標高端數據上並不會有成本優勢,使得我們很難投入去像美國這樣標數據。這條路在中國是很難的,因為標數據實在太貴了,不管是我們外標還是我們自己標,都很難受。
所以現在基本上是兩條腿走路。並不是說我們完全不能標,而是因為標數據有一些成本低,有一些成本高。我們先標成本低的。
所以你也可以認為,現在我們公司有一半的人在標數據。有一半的核心研究員,最重要的人,有一半在標數據。我們就集中在標數據。解決 AI 這個問題,在現在這個階段靠的就是標數據。你只要看就是一個數據。
梁總,謝謝你。你講得特別地,我們非常有感受,非常好。感謝你。我請教幾個問題。
第一個問題,您剛才講,中國的模型比美國的模型在效率上肯定是強的。你講的還有一些其他方面,未來也有可能會比美國強。你覺得是哪些方面,我們在智能或者在其他方面會比美國強?
我覺得在很多體驗方面,有可能我們是能比美國做得好的。即不說自己的體驗,自己的產品體驗覺得挺好的,我覺得我們在用戶體驗方面不一定會比美國差。
在產品方面,產品能力上不一定會比美國差。成本應該也會比美國低,所以有可能中國還是會有競爭力的。
其他方面,如果說有結構性的優勢,我覺得可能也沒有。但是在成本和產品這兩方面,我覺得確實是有一定的結構性優勢的。
成本這個很好理解,是因為他們都不用做,所以他們就不發展這個能力。他們肯定沒有我們重視這個事情。我們可以把它當做一個非常重要的事情,但對於他們來講,這個是不重要的。
產品也是,原生通過很多公司,產品能力還是可以的。所以我覺得這兩方面可能是有結構性優勢的。
好的。第二個問題,請教您,您剛剛講到後訓練,我們投入相對成本又高,像 Anthropic 和 OpenAI 都投入巨大的金額。這次融資以後,您覺得我們會在後訓練方面加大投入嗎?
差距主要是在高質量數據的標注上,然後主要是在 AI 研究裡面。肯定會加大投入,但是像高質量數據的標注,典型不是資本投入。
高質量數據標注的瓶頸,我覺得是時間,就是需要時間。因為對 OpenAI 來講、對國外來講、對 Anthropic 來講,他們都更早,然後資本更多,卡也更多。
這種情況下,我們國內可以認為是最近半年才開始做,所以在時間上,我覺得是需要更多時間的。這個跟資本投入關係不太大,因為哪怕沒有更多的資本投入,原來的資本也夠它以最快的速度在擴張了。
但是這個速度是有上限的,瓶頸不是說我能夠馬上有更多的人,並不卡在錢上,也不卡在卡上。但是它確實是在一個快速擴張的過程。
所以我們覺得一年之內,高質量數據這個問題做得比較好,我覺得國內應該是可以預期的。我覺得面可能沒有那麼冷,但它確實是需要時間。
謝謝。然後第三個問題,就是我們看到 Anthropic 他們用自己的模型做自己的產品,推出了很多縱向的金融、法律……甚至未來要往醫療方向走,您覺得在這種縱向應用方面,某個階段我們也會考慮嗎?
我還沒有想得很明白,未來我們國內的商業模式是怎麼樣的,或者說最順利的路徑是怎樣的,我們還沒有到那個階段。國內情況和國外情況不一定一樣,國內到時候是什麼樣,我覺得現在還比較難判斷。
國內我們現在以目前的情況來看的話,我覺得最合理的做法應該是全力做通用的 Agent,其他的 Agent 優先級應該更低,包括金融、醫生這些 Agent。要先做 Coding,因為 Coding Agent 能夠做到很多,還有很多垂直的 Agent。現階段我們覺得最重要的,應該還是 Coding Agent。
講得很清楚,謝謝您。還有一個問題,我們也想請教您。其實我們做 DeepSeek,也很佩服您,一直在以一個非常純粹的科研方式來做 DeepSeek。
但現在這個行業確實也走到了資本市場,走到了資本化這條路上。您又是一個非常負責任的人,無論是對小伙伴還是對投資人,您也都是非常負責的。那麼,在純粹科研、純粹做 AGI 的方向和資本市場之間的平衡,您未來肯定還要走資本市場,肯定還有公眾股道,您覺得以後怎麼 balance?這個您是怎麼考慮的?
我現在覺得應該是能夠做到的,就都要。假如說我今年能夠有幾個億美金的 B 端收入,再加上我們 C 端有用戶,那麼這本身就已經有一定的商業基礎。以明年我們 B 端有收入,如果這個需求可以再增大的話,公司離淨利潤已經不遠了,可能就已經是淨利潤了。
可能就已經不是一個純燒錢的階段了,所以我感覺後面能做的、能操作的動作應該還是比較大的。或者說,最壞情況賣 API,可能都能夠支撐一個上市公司。就如果說技術後面沒有新的進步了,我們的技術就凍結在這裡了,那麼最後我們就全力賣 API,把這些服務做好,我覺得也夠的。
所以我覺得還是有信心的,確實沒有那麼難。因為確實是在一個槓桿高的地方,又在一個發展非常快的領域,它可能就是沒有那麼難。只能講,我們希望有更大的夢想,但是我們也有保底可以拿出來的業績。
謝謝您,講得很好。問題問完了,謝謝。
感謝您分享。前面提到一些問題,想跟您再問一下。因為我覺得 DeepSeek 其實最大的和其他公司的區別在於,我們的組織跟其他人不一樣,或者說組織形式不一樣。
但組織形式既跟我們的目標相關,可能也要去考慮組織自身的邊界和效率。我不知道,從宏觀的角度考慮,我們這個組織形式會有一個好的學習對象嗎?歷史上可能 Bell Labs,還是一個什麼樣的形態可能是比較理想的?還是說我們自己覺得也沒有理想的,更多還要靠我們逐漸去探索?
可能在一個新的時期,只能靠我們自己來做探索。因為我們的組織形式其實跟美國的幾家公司肯定都不一樣,對吧?三家公司自己也不一樣,但他們至少會從一個商業公司的角度出發去探索。
我可能主要想再問一下組織這個問題。
首先,我們沒有模仿的對象。每一步都是我們從實際情況出發,實事求是,根據實際情況來做決策,找到我們應該怎麼做。所以它是一個時代的產物,或者說是現實情況的一個反應,它並不是一個模仿的結果。
就是說,在這個情況下,我確實最優解可能就是這樣,或者說我自己認為,我們自己選的路就是這樣。每一步我們肯定都是思考過的,肯定都是選過,反正選的結果就是這麼選的。它並不是因為看到誰這麼選,我們這麼選,而是因為我們分析了利弊而這麼選。
那麼在未來可能也是一樣,我們並沒有去模仿誰。我覺得我們跟 Bell Labs 還是不一樣的,因為它明確是不需要有商業化的,因為它是個……但是我們明確是要有商業化的。我們最終還是要能活下去,我們畢竟是一個公司,政府不會給我一分錢。
所以我們可以有非常遠大的使命,但我們歸根結底是一個公司,我們要考慮怎麼活著。所以 B 端對我們肯定是重要的,因為可能以後可能得靠它活著。只是說現在不重要,因為它現在是個成本線。
所以我覺得這個還是不一樣的,跟 Bell Labs 還是不一樣的。我們本質上還是一個公司。歷史上也有很多公司,它也有利潤以外的追求,但並不能說它有利潤以外的追求,它就不是個公司。
很多公司做得很偉大,因為它有一種利潤以外的追求。那個追求最後不但沒有影響到它的商業化,反而能讓它商業化得更好。我們本質上還是一個公司,只是說我們在考慮賺哪些錢、什麼時候賺錢、賺多少錢、靠什麼賺錢,只是說我們有取捨。
梁總,我有兩個小問題,快速跟您請教一下。一個是說,您剛剛其實有提到 MILOS 的這個,可能不是一個很確定的目標,但是肯定會往這個方向去做。然後您也提到激活參數可能比如說……下一代可能會是在 150 到 250 B 左右的一個情況。這種情況下,您覺得 150 到 250 B 是對標 O4.7,還是可能會對標到別的?這是第一個問題。
第二個問題,您前面也提到了,我們現在在整個 inference 上面用了一些除了 CUDA 以外的編譯語言。我理解原來咱們基於英偉達的生態,可能會用 PTX 這些比較多。現在用上更多類似您剛提到 TileLang 這些的話,是不是會大幅降低我們在 inference 上面的一些效率,或者短期降低效率?
我不知道您會怎麼看編譯語言的這種變化帶來的效率損失,還是說長期其實是一個可以補充的狀態,是提高效率?
是提高效率,是大幅提高效率。
OK,反倒沒有什麼負面的影響?
對,是大幅提高效率。所以說這是一個機遇。相當於以前你是離不開 CUDA 的生態的,現在我們可以拋棄它的生態,用一個更簡單的方法,就用 TileLang。它是高級語言,寫那個程序也是很快的,要寫的代碼量很小了,我可以把它重寫一遍。
明白。所以這兩個都其實是一個,像您提到的 AI 帶來的比較大的機會,不是一個可能短期需要去彌補的缺點。
對,它是技術發展的大機會。它不是 AI 的機會,因為我們還有一個項目,我們在用 AI 來寫 TileLang。
那是不是更快?
現在所有 TileLang 都是人寫的,但是它已經比原來寫 CUDA 的要快很多了。
明白。所以哪怕是對於硬件底層的執行效率,您覺得也是沒有影響?
損失 1% 到 2%,我覺得是可以接受的。
OK,明白,理解了。好的,謝謝您,很清晰。
其他人還有沒有什麼問題?
沒問題,我們今天就先這樣。
好的,謝謝。
非常感謝大家的時間,謝謝梁總,謝謝。
拜拜。
拜拜。