【資料圖】

3日，美團(tuán)自研大模型 LongCat-Flash系列再升級。全新家族成員LongCat-Flash-Omni正式發(fā)布并開源，LongCat官方App同步上線公測。目前，新App已支持聯(lián)網(wǎng)搜索、語音通話等功能，視頻通話等功能會稍后上線；Web端則增加圖片、文件上傳和語音通話等功能。

據(jù)介紹，LongCat-Flash-Omni以LongCat-Flash系列的高效架構(gòu)設(shè)計為基礎(chǔ)，集成了高效多模態(tài)感知模塊與語音重建模塊，在總參數(shù)5600億的龐大參數(shù)規(guī)模下，仍實現(xiàn)低延遲的實時音視頻交互能力，為開發(fā)者的多模態(tài)應(yīng)用場景提供了更高效的技術(shù)選擇。

美團(tuán)稱，新模型也是業(yè)界首個實現(xiàn)“全模態(tài)覆蓋、端到端架構(gòu)、大參數(shù)量高效推理”于一體的開源大語言模型，首次在開源范疇內(nèi)實現(xiàn)了對標(biāo)閉源模型的全模態(tài)能力，并憑借創(chuàng)新的架構(gòu)設(shè)計與工程優(yōu)化，讓大參數(shù)模型在多模態(tài)任務(wù)中能實現(xiàn)毫秒級響應(yīng)，解決行業(yè)內(nèi)推理延遲的痛點。

據(jù)介紹，全模態(tài)模型訓(xùn)練的核心挑戰(zhàn)之一是“不同模態(tài)的數(shù)據(jù)分布存在顯著異質(zhì)性”。LongCat-Flash-Omni采用漸進(jìn)式早期多模融合訓(xùn)練策略，在平衡數(shù)據(jù)策略與早期融合訓(xùn)練范式下，逐步融入文本、音頻、視頻等模態(tài)，確保全模態(tài)性能強勁且無任何單模態(tài)性能退化。綜合評估結(jié)果表明，LongCat-Flash-Omni在綜合性的全模態(tài)基準(zhǔn)測試（如Omni-Bench, WorldSense）上達(dá)到了開源最先進(jìn)水平（SOTA），并在文本、圖像、音頻、視頻等各項模態(tài)的能力位居開源模型前列，實現(xiàn)“全模態(tài)不降智”的結(jié)果。

9月1日，美團(tuán)正式對外發(fā)布并開源了自研大模型LongCat-Flash-Chat。這是美團(tuán)首次將大模型作為完整產(chǎn)品開放給行業(yè)與開發(fā)者。

關(guān)鍵詞：