AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報(bào)道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文的主要作者來自上海交通大學(xué)和上海人工智能實(shí)驗(yàn)室智慧醫(yī)療聯(lián)合團(tuán)隊(duì)，共同第一作者為上海交通大學(xué)博士生邱芃鋮和吳超逸，共同通訊作者為上海交通大學(xué)人工智能學(xué)院王延峰教授和謝偉迪副教授，這是該團(tuán)隊(duì)在繼 PMC-LLaMA 后，在持續(xù)構(gòu)建開源醫(yī)療語(yǔ)言大模型的最新進(jìn)展。該項(xiàng)目受到科創(chuàng) 2030—“新一代人工智能” 重大項(xiàng)目支持。

在醫(yī)療領(lǐng)域中，大語(yǔ)言模型已經(jīng)有了廣泛的研究。然而，這些進(jìn)展主要依賴于英語(yǔ)的基座模型，并受制于缺乏多語(yǔ)言醫(yī)療專業(yè)數(shù)據(jù)的限制，導(dǎo)致當(dāng)前的醫(yī)療大模型在處理非英語(yǔ)問題時(shí)效果不佳。

為了克服這一挑戰(zhàn)，近期一篇發(fā)表在《nature communications》的論文全面地從數(shù)據(jù)、測(cè)評(píng)、模型多個(gè)角度考慮了多語(yǔ)言醫(yī)學(xué)大語(yǔ)言模型的構(gòu)建，做出了三項(xiàng)貢獻(xiàn)：

1. 創(chuàng)建了一個(gè)包含 25.5 Billion tokens 的多語(yǔ)言醫(yī)療語(yǔ)料庫(kù) MMedC。

2. 開發(fā)了一個(gè)全新的多語(yǔ)言醫(yī)療問答評(píng)測(cè)標(biāo)準(zhǔn) MMedBench, 覆蓋了 6 種語(yǔ)言，21 種醫(yī)學(xué)子課題。

3. 推出了一款名為 MMed-Llama 3 的全新基座模型，以 8B 的尺寸在多項(xiàng)基準(zhǔn)測(cè)試中超越了現(xiàn)有的開源模型，更加適合通過醫(yī)學(xué)指令微調(diào)，適配到各種醫(yī)學(xué)場(chǎng)景。

所有數(shù)據(jù)和代碼、模型均已開源。

• 論文標(biāo)題：Towards building multilingual language model for medicine

• 論文地址：https://www.nature.com/articles/s41467-024-52417-z

• 項(xiàng)目地址：https://github.com/MAGIC-AI4Med/MMedLM

• Leaderboard: https://henrychur.github.io/MultilingualMedQA/