北京商報(bào)訊（記者 魏蔚）1月29日，百川智能發(fā)布超千億參數(shù)的大語言模型Baichuan 3。Baichuan 3在多個(gè)英文評(píng)測(cè)中，表現(xiàn)接近GPT-4的水平，在CMMLU、GAOKAO、HumanEval和MBPP等多個(gè)中文評(píng)測(cè)榜單上，中文任務(wù)的表現(xiàn)超越了GPT-4，在MT-Bench、IFEval等對(duì)齊榜單的評(píng)測(cè)中，超越GPT-3.5、Claude等大模型。超千億參數(shù)模型在訓(xùn)練過程中對(duì)高質(zhì)量數(shù)據(jù)，訓(xùn)練穩(wěn)定性、訓(xùn)練效率的要求都高出幾個(gè)量級(jí)。為更好解決相關(guān)問題，百川智能在訓(xùn)練過程中針對(duì)性地提出了動(dòng)態(tài)數(shù)據(jù)選擇、重要度保持以及異步CheckPoint存儲(chǔ)等多種創(chuàng)新技術(shù)手段及方案，有效提升了Baicuan 3的各項(xiàng)能力。