MEXMA是由Meta AI推出的一種新型的預(yù)訓(xùn)練跨語言句子編碼器?；诮Y(jié)合句子級(jí)和詞語級(jí)的目標(biāo)提升句子表示的質(zhì)量。在訓(xùn)練過程中，MEXMA用一種語言的句子表示預(yù)測(cè)另一種語言中被遮蔽的詞語，支持直接更新編碼器中的句子表示和所有詞語。MEXMA在多個(gè)任務(wù)上展現(xiàn)優(yōu)越的性能，超越現(xiàn)有的預(yù)訓(xùn)練跨語言句子編碼器，如LaBSE和SONAR。MEXMA支持80種語言，在句子分類等下游任務(wù)中表現(xiàn)出色。
MEXMA的主要功能跨語言句子編碼：MEXMA將不同語言的句子編碼成固定大小的向量，向量在一個(gè)共享的多語言空間中進(jìn)行比較和操作。句子和詞語級(jí)目標(biāo)結(jié)合：基于同時(shí)考慮句子的整體含義和句子中各個(gè)詞語的貢獻(xiàn)，MEXMA提高句子表示的質(zhì)量和對(duì)齊。多任務(wù)性能提升：MEXMA在多種下游任務(wù)中表現(xiàn)出色，包括句子分類、文本挖掘和語義文本相似度任務(wù)。80種語言支持：MEXMA支持多達(dá)80種語言，適用廣泛的多語言應(yīng)用場(chǎng)景。MEXMA的技術(shù)原理結(jié)合句子級(jí)和詞語級(jí)目標(biāo)：MEXMA用句子級(jí)目標(biāo)訓(xùn)練模型，引入詞語級(jí)目標(biāo)。在訓(xùn)練過程中，模型學(xué)習(xí)句子的整體表示，和學(xué)習(xí)句子中每個(gè)詞語的表示。交叉語言遮蔽任務(wù)：MEXMA用一種語言的句子表示預(yù)測(cè)另一種語言中被遮蔽（masking）的詞語。交叉語言的遮蔽任務(wù)迫讓模型學(xué)習(xí)能捕捉句子核心信息的句子表示，確保信息在不同語言之間是可對(duì)齊的。直接更新編碼器：在MEXMA中，句子表示能更新編碼器，每個(gè)詞語的表示直接更新編碼器。雙向更新機(jī)制讓模型更有效地學(xué)習(xí)到高質(zhì)量的句子和詞語表示。對(duì)稱架構(gòu)：MEXMA基于對(duì)稱架構(gòu)，同時(shí)對(duì)兩種語言的句子進(jìn)行遮蔽和預(yù)測(cè)，確保模型在兩種語言之間是平衡的，能生成兩個(gè)干凈的句子向量，對(duì)于語言之間的對(duì)齊至關(guān)重要。非對(duì)比性損失函數(shù)：為避免模型崩潰（collapse）并提高表示的質(zhì)量和對(duì)齊，MEXMA用非對(duì)比性損失函數(shù)，如均方誤差（MSE）損失，加強(qiáng)不同語言中語義等價(jià)句子的空間接近性。MEXMA的項(xiàng)目地址GitHub倉(cāng)庫(kù)：https://github.com/facebookresearch/mexmaHuggingFace模型庫(kù)：https://huggingface.co/facebook/MEXMAarXiv技術(shù)論文：https://arxiv.org/pdf/2409.12737MEXMA的應(yīng)用場(chǎng)景跨語言信息檢索：用MEXMA將不同語言的文檔轉(zhuǎn)換成相同的嵌入空間，進(jìn)行跨語言的搜索和檢索。機(jī)器翻譯：MEXMA改善機(jī)器翻譯系統(tǒng)，基于提供更準(zhǔn)確的跨語言句子表示增強(qiáng)翻譯質(zhì)量。多語言文本分類：在處理多語言文本數(shù)據(jù)時(shí)，MEXMA能分類文本內(nèi)容，如情感分析、主題分類等。語義文本相似度評(píng)估：MEXMA評(píng)估不同語言句子之間的相似度，適用比較和匹配相似的文本內(nèi)容。跨語言問答系統(tǒng)：在多語言的問答系統(tǒng)中，MEXMA幫助理解不同語言的問題，在相應(yīng)的語言中找到答案。 
