醫療圖像大模型“華山論劍”：上海人工智能實驗室發起“一刊一賽” | 活動預告

大模型是下一代人工智能技術的突破口，上海人工智能實驗室在推進多模態大模型研究的同時，在醫學圖像等垂直領域的探索銜枚疾進。

模型是否越大越好？如何滿足醫學圖像多領域、多場景的復雜需求？實踐出真知！即日起，實驗室面向產學研界廣發“英雄帖”，以“一刊一賽”雙擎驅動，匯聚前沿學術思想和突破性應用成果，集結學術界與產業界創新力量，為醫學圖像人工智能模型的探索發掘有效路徑。

通用AI技術的創新，已經成為發展下一代人工智能技術的核心和焦點，各行業專家和業界人士在這一點上已達成廣泛共識。依托大規模AI模型，開發人員可以僅依靠下游場景的少量數據，針對不同任務低成本、高效率地訓練出高性能的應用模型，從而輕松應對各行業場景中小數據、零數據等樣本缺乏的細分場景難題。

智慧醫療作為人工智能技術的重要應用，能夠為醫生提供更加快速、準確的醫學圖像分析以及診斷治療方案，也使得醫療機構的工作流程更高效。當前，“大數據+強監督”依然是醫學圖像人工智能模型的主流研究范式。然而這樣的方法存在著數據標注代價大、模型開發訓練成本高、模型功能泛化性差等等難題。針對智慧醫療領域的專用基礎模型的開發面臨著很多類似的挑戰：公開可用的醫學圖像數據相對匱乏，高質量的精細人工標注非常稀缺。因此，面向醫學圖像分析的預訓練基礎模型的正確應用范式亟待行業共同探索研究。

【實踐出真知】

【“一刊一賽”共探醫療基礎模型圖景】

作為人工智能領域的新型研發機構，上海人工智能實驗室致力于開展戰略性、原創性、前瞻性的科學研究與技術攻關，突破人工智能的重要基礎理論和關鍵核心技術。實驗室在基礎模型方面已取得豐碩成果，2022年推出的人工智能模型“書生2.0”，通過持續學習實現通用視覺領域的融會貫通，實現靈活高效的模型部署。

醫學圖像分析基礎模型的可行性探索，需要產學研共同協作。對此，上海人工智能實驗室面向全球智慧醫療領域的研究人員和機構發出“英雄帖”。實驗室將在基礎模型方面相關積累的基礎上結合行業趨勢，發起《〈Medical Image Analysis〉基礎模型特刊》與醫學圖像分析基礎模型應用挑戰賽，通過 “一刊一賽”，推動醫療基礎模型的研究和應用。

“一刊”，是指醫學圖像領域頂級期刊《〈Medical Image Analysis〉基礎模型特刊》：

該特刊將與挑戰賽緊密結合，挑戰賽中排名前列的參賽團隊或個人將有機會被邀請投稿分享其創新算法，進而促進基礎模型構建和其他應用算法上在醫療領域中的發展。

《Medical Image Analysis》雜志主頁

“一賽”，是指“醫學圖像分析基礎模型應用挑戰賽”：

賽事旨在邀請參賽者在不同實際任務中，僅使用少量數據樣本驗證大規模預訓練基礎模型在醫學圖像分析領域的應用，并評估算法的實際性能表現，由此探索基礎模型在解決各類臨床應用問題中的能力。

【《Medical Image Analysis》特刊】

由Dimitris Metaxas教授擔任主編《Medical Image Analysis》特刊（影響因子13.8），已得到該雜志創刊者及MICCAI創始人INRIA Nicholas Ayache教授和耶魯大學James Duncan教授的大力支持。Metaxas教授現為美國羅格斯大學計算機系特聘教授、計算生物醫學成像和建模研究中心（CBIM）主任，是醫學圖像分析領域的頂尖專家。其他客座編輯分別來自于牛津大學、英屬哥倫比亞大學、上海交通大學、電子科技大學及上海人工智能實驗室。

特刊主旨

特刊將匯聚新穎的方法和計算解決方案，促進創新基礎模型的研發與應用，以穩健、高效的方式解決各種極具挑戰性的開放臨床問題，從而為醫學圖像分析領域中全新的學習范式提供寶貴資源。

參與方式

本特刊采用邀請與推薦投稿兩種方式。推薦或自薦請發送電子郵件至 dnm@cs.rutgers.edu（Metaxas教授），并抄送zhangshaoting@pjlab.org.cn（張少霆教授）。投稿如被接收，所使用的醫療基礎模型需開源，以便于未來的相關研究。目前已確認的貢獻者們來自清華大學、北京大學、上海交通大學、復旦大學、香港中文大學、廣州實驗室、之江實驗室、瑞金醫院、華西醫院、鄭州大學第一附屬醫院等機構。

接受投稿時間

2023年7月15日~2023年12月15日。

針對醫學圖像分析基礎模型的研究，將進一步促進智慧醫療技術的發展，使其更好地解決臨床應用中復雜多樣的問題。與此同時，對探索多模態數據、長尾場景下人工智能基礎模型的研究也有著重大意義。上海人工智能實驗室希望通過不斷促進產學研領域前沿思想碰撞，與各界共同深入實踐，探索人工智能基礎模型的應用潛力和價值

【“醫學圖像分析基礎模型挑戰賽”】

“醫學圖像分析中基礎模型的應用挑戰賽”將匯集醫學圖像分析和機器學習領域的專家，共同開發和評估將基礎模型應用到醫療中分類任務的方法。該競賽將為參賽者提供極具挑戰的任務，促進醫學實際應用模型的發展。

比賽主旨

本次挑戰賽旨在促進技術創新，探索醫學圖像分析領域中全新的學習范式，即使用少量數據樣本將大規模預訓練通用基礎模型遷移應用于醫學圖像分類任務。

舉辦時間及方式

2023年4月至7月，挑戰賽將在Grand Challenge（grand-challenge.org）上舉辦。

主辦機構

本次挑戰賽由上海人工智能實驗室與美國羅格斯大學、英屬哥倫比亞大學、香港中文大學、上海交通大學、中國科學技術大學、上海交通大學附屬瑞金醫院、四川大學附屬華西醫院和鄭州大學第一附屬醫院聯合主辦。

參賽規則

在訓練階段，參賽者需使用少量私有數據進行初始訓練（使用數據中的少數樣本）和驗證（使用數據集的剩余部分）。挑戰賽將設立胸部疾病篩查、病理腫瘤組織分類、結腸鏡病灶分類等應用任務，參賽者需要在這些任務中取得盡可能高的性能分數。

結果評估

最終評估將在保留的私有數據集上進行，即隨機選擇少量樣本用于訓練，其余用于測試。最終指標將在相同的提示/測試條件下進行5次單獨運行，并對結果取平均值作為最終的評價指標。該挑戰旨在展示基礎模型對于醫療下游任務的重要作用，即減少對高質量標注的依賴并提高尾部類別的分類精度。

比賽獎勵

大賽前三名將獲得主辦方提供的獎金，同時有機會被邀請投稿至《Medical Image Analysis》特刊（取決于其方法的創新性），前十名將參與大賽綜述文章的撰寫及投稿。此外，獲勝隊伍中的學生代表將有機會獲得攻讀主辦方所在機構博士學位的資格。

主辦方現對本次挑戰賽參賽意向進行收集，請掃描下方二維碼填寫：

更多賽事信息，請持續關注“上海人工智能實驗室”微信公眾號消息。

基礎模型參考文獻：

[1] Qin, Ziyuan, et al. "Medical Image Understanding with Pretrained Vision Language Models: A Comprehensive Study." ICLR (2023).

[2] Willemink, Martin, et al. "Toward Foundational Deep Learning Models for Medical Imaging in the New Era of Transformer Networks.” Radiology: Artificial Intelligence, 2022

[3] Rasmy, Laila, et al. "Med-BERT: pretrained contextualized embeddings on large-scale structured electronic health records for disease prediction." NPJ digital medicine 4.1 (2021): 86.

[4] Bommasani, Rishi, et al. "On the opportunities and risks of foundation models." arXiv preprint arXiv:2108.07258 (2021).

[5] Wang, Zifeng, et al. "Medclip: Contrastive learning from unpaired medical images and text." arXiv preprint arXiv:2210.10163 (2022).

[6] Liu, Jie, et al. "CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection." arXiv preprint arXiv:2301.00785 (2023).

[7] Yi, Huahui, et al. "Towards General Purpose Medical AI: Continual Learning Medical Foundation Model." arXiv preprint arXiv:2303.06580 (2023)