在最新的播客訪談中，小扎又做了一把「開源英雄」，大方表示：花費100億美元研發(fā)的模型，如果對人類安全且有益的話，他會選擇開源。此外，他還表示是個悲觀主義者，因為能源瓶頸，我們離AGI還有幾十年的距離。

　　如果你手頭有一個價值100億美元的AI模型，通過了安全測試且讓所有人受益，你愿意將它開源嗎？

　　此外，這期干貨滿滿的談話中，他還曝出了不少內(nèi)幕消息，比如Meta為何會未卜先知，在2022年就大量買進H100；為何自己會篤信元宇宙等等。

　　而且，跟Sam Altman、馬斯克等高歌猛進的樂觀主義者不同，小扎對于AGI的短期實現(xiàn)是持悲觀態(tài)度的。

　　在他看來，人類根本不可能在2025年之前實現(xiàn)AGI，因為最大的瓶頸就是能源限制。要解決能源問題，我們還需要幾十年時間。

　　當(dāng)主持人Patel問道：如果Meta砸了100億美元開發(fā)出一個模型，它完全安全，甚至評估值還可以對模型微調(diào)，你會開源嗎？

　　小扎表示，Meta會對此進行評估的，畢竟公司一向以開源英雄著稱，在開源方面有悠久的歷史，擁有PyTorch、React和開放計算等項目。

　　在開放計算項目中，Meta將所有服務(wù)器、網(wǎng)絡(luò)交換機和數(shù)據(jù)中心的設(shè)計都開源了。這樣，整個行業(yè)都以他們的設(shè)計為標準，直接讓供應(yīng)鏈圍繞這種設(shè)計建立起來。

　　而且，開源就能集思廣益，如果有人能找到更便宜的運行方法，提升10%的效率，那就能直接節(jié)省數(shù)十億甚至數(shù)百億美元，這本身就是很值錢的，因此開源好處多多。

　　不過，他也承認：如果模型成為產(chǎn)品時，情況就變得復(fù)雜了。此時，就需要仔細權(quán)衡開源在經(jīng)濟上的利弊，不過，目前Meta并不處于這種情況。

　　- AI朋友將更多、更友好、更易于獲取，超越你的現(xiàn)實朋友（目前被FB、Ins和WhatsApp等「控制」）

　　- 但Meta目前還不能直接下場，因為這會讓人感到不安，尤其是在技術(shù)還未完善時，會產(chǎn)生一種怪異的不自然感

　　- Meta曾嘗試過Tom Brady和Snoop Dogg風(fēng)格的AI朋友，但為了安全，有趣的互動受到了很高的限制

　　- 他希望其他人能夠開發(fā)出有趣的社交創(chuàng)意，并進行復(fù)制（此前就曾將Snap的創(chuàng)新融入Instagram）

　　我之前以為，面向社交、商業(yè)或媒體領(lǐng)域的這些工具，只需解決AI挑戰(zhàn)的一個子集就能交付。但現(xiàn)在看來，為了提供我們設(shè)想的最佳服務(wù)，模型必須具備推理、規(guī)劃、編碼、記憶等多種認知能力。

　　雖然坐擁至少數(shù)萬塊英偉達GPU，但小扎卻覺得，單純把計算集群造大，早晚會遇到邊際效應(yīng)的那一點，感覺有點在內(nèi)涵Sam Altman。

　　在采訪中，他表示如今世界上最棘手的事情就是：雖然Llama-3的8B比Llama-2 的70B更好，但指數(shù)曲線還能持續(xù)多久？

　　盡管如此，他也認為投資100億美元，甚至1000億美元，來建設(shè)基礎(chǔ)設(shè)施是值得的，或許會讓我們得到一些驚人的東西。

　　但300兆瓦、500兆瓦甚至1吉瓦的數(shù)據(jù)中心，需要花費數(shù)年時間才建成，如果是1吉瓦，就需要一個核電廠的能源。

　　小扎認為，如果持續(xù)給Llama-3 70B提供更多數(shù)據(jù)，或者通過token進行優(yōu)化，它會持續(xù)改進。

　　也就是說，小扎基本陷入了漸進主義的陷阱，他不相信GPT-4的性能可以提升100倍，或AGI在短期內(nèi)能實現(xiàn)。

　　如果GPT-5的性能是GPT-4的10到100倍，那當(dāng)前的MMLU之類的基準測試，根本就不起作用。

　　總之，放出這種言論的小扎，現(xiàn)在并沒有在籌集資金。而Sam Altman、馬斯克、Dario Amodei等瘋狂籌資的大佬，都預(yù)計AI模型能力將大幅提高。

　　在采訪中，小扎解釋道，「當(dāng)時Meta正大力發(fā)展短視頻工具Reels，因此需要更多的GPU來訓(xùn)模型」。

　　「這也是我們提供服務(wù)的一次重大轉(zhuǎn)變，我們不再針對你所關(guān)注的人或頁面的內(nèi)容進行排名，而是開始大力推薦『非關(guān)聯(lián)內(nèi)容』的內(nèi)容」。

　　「因此，我們要訂購足夠多的GPU，以滿足我們在Reels、內(nèi)容排序和信息流等方面的需求。還要額外多購買一倍」。

　　他透露了更多的細節(jié)，這將是一個非常大的艦隊。Meta內(nèi)部將為訓(xùn)練LLM打造兩個單集群，一個配備22,000塊H100，另一個集群配備24,000塊。

　　因為模型推理對Meta來說，是至關(guān)重要的一件大事，需要為Facebook、Ins等自家應(yīng)用的用戶提供服務(wù)。

　　我們所需的推理計算與訓(xùn)練的比率，可能遠高于其他從事這一領(lǐng)域的公司，這是因為我們所服務(wù)的社區(qū)用戶量非常龐大。

　　小扎還提到，對于Llama 3，主要專注于使用大量代碼進行訓(xùn)練。在代碼中訓(xùn)練模型，有助于其在不同的領(lǐng)域中進行推理。

　　其實，整個AI圈更加期待的是，媲美GPT-4級別的開源模型Llama 3-405B能夠發(fā)布。

　　小扎稱，4050億參數(shù)的Llama 3將具備更強的多模態(tài)能力，支持多種語言，以及更大的上下文窗口，并計劃在今年晚些時候推出。

　　就目前訓(xùn)練結(jié)果而言，405B已經(jīng)在大規(guī)模多任務(wù)語言理解的基準測試（MMLU）中，取得了大約85分的成績。

　　HF的創(chuàng)始人Clement Delangue非常期待，下周結(jié)束前，或許會有1萬個開源Llama3變體上線。

　　目前，最小版本的額Llama-3 8B已經(jīng)在改變世界，不僅能在消費級設(shè)備上運行，還開辟了大量領(lǐng)域的應(yīng)用。

　　那么，未來的Llama模型，或許是能夠解決用戶所有用例的Llama 10發(fā)布那天，是否足以取代現(xiàn)實中的程序員？

　　小扎表示，「我不確定我們是否正在取代人類程序猿，因為Meta正在給人們提供工具來做更多的事情」。

　　而且衡量人類智力不僅只有單一的閾值，因為每個人都有不同的技能。我認為，在某種程度上，人工智能可能會在大多數(shù)方面超過人類，這取決于模型的強大程度。但這個過程，是循序漸進的。

　　主持人提出了一個尖銳的問題：就是市場對你大加指責(zé)，你也要堅定去做元宇宙。這種篤定，究竟來源于什么？是什么樣的價值觀或直覺，讓你如此篤信元宇宙？

　　他喜歡圍繞人們的交流、表達和工作來構(gòu)建產(chǎn)品，這跟他大學(xué)時的專業(yè)有關(guān)。他學(xué)的是計算機科學(xué)和心理學(xué)，而建造元宇宙，就是兩門專業(yè)的交叉點。

　　而且，在為AI投資1000億美元，或者為元宇宙投入巨額資金時，商業(yè)計劃就能表明：如果產(chǎn)品奏效，這是很好的投資。