電話會(huì)議的主要內(nèi)容: DeepSeek的創(chuàng)新來自于多個(gè)模型優(yōu)化,包括專家混合(Mixture of Experts)、模型架構(gòu)(如多頭潛在注意力)、FP8的使用等。DeepSeek R1似乎不是一個(gè)獨(dú)立的基礎(chǔ)模型,而是可能建立在其他開源模型(如Lambda)的開發(fā)基礎(chǔ)上,隨后在專門的數(shù)據(jù)集上進(jìn)行訓(xùn)練,包括其他大型語言模型(LLM)的輸出。 DeepSeek的訓(xùn)練成本約為600萬美元并不能完全反映真實(shí)情況,因?yàn)檫@個(gè)成本沒有考慮其他間接費(fèi)用、開發(fā)其他基礎(chǔ)模型的成本等。似乎MoE模型已經(jīng)被訓(xùn)練并優(yōu)化以應(yīng)對(duì)一些關(guān)鍵任務(wù),如編程和數(shù)學(xué),這使得它在這些任務(wù)上接近甚至超過OpenAI的性能。 這并不代表范式的轉(zhuǎn)變,而更像是LLM模型、算法和技術(shù)的持續(xù)創(chuàng)新。如果這些效率被廣泛實(shí)現(xiàn),將導(dǎo)致推理模型成本大幅下降,從而加速Agentic AI的發(fā)展。目前,專家認(rèn)為,Agentic AI可能在2025年仍然處于炒作階段,實(shí)際部署可能會(huì)推遲到2026年,原因在于企業(yè)對(duì)于授權(quán)和信任的需求。專家對(duì)AI模型未來的演進(jìn)持樂觀態(tài)度,認(rèn)為我們?nèi)蕴幱贏I發(fā)展的初期階段,類似于互聯(lián)網(wǎng)普及周期的1996年,而非1999年。 前沿模型的開發(fā)影響尚不明確。他一直認(rèn)為,LLM模型可能會(huì)迅速商品化,特別是在蓬勃發(fā)展的開源生態(tài)系統(tǒng)中。同時(shí),他認(rèn)為大型云服務(wù)提供商(CSPs)將繼續(xù)追求前沿模型,作為區(qū)別化競爭的手段,并開辟生成式AI(如視頻、現(xiàn)實(shí)世界AI、物理AI等)新的領(lǐng)域。 AI資本支出和能源使用預(yù)算可能會(huì)保持強(qiáng)勁,但如果R1的效率在所有新模型中得以實(shí)現(xiàn),最終可能會(huì)對(duì)這些方面進(jìn)行重新思考。然而,計(jì)算需求可能依然會(huì)非常強(qiáng)勁,因?yàn)楸阋说耐评磉^程將推動(dòng)更多AI的普及。專家認(rèn)為,500美元的推理成本可能會(huì)繼續(xù)下降,從而進(jìn)一步推動(dòng)AI的普及和應(yīng)用。 專家認(rèn)為,對(duì)于中國的限制措施大多是徒勞的,且可能會(huì)使中國的更多AI發(fā)展對(duì)外界保持隱蔽。專家認(rèn)為,更多的開放合作和信息共享有利于整體AI生態(tài)系統(tǒng)的發(fā)展,并能避免潛在的陷阱。紀(jì)要私享圈 |
|