顧全全：理解深度學習中的專家混合模型 | 首期“星河Talk”活動預告

10月27日，“上海人工智能實驗室學術論壇”第1期“星河Talk”將正式開講。本期活動邀請到加利福尼亞大學洛杉磯分校副教授顧全全，帶來主題為《理解深度學習中的專家混合模型》的報告。

“上海人工智能實驗室學術論壇”為此前“青年學術論壇”的全新升級版論壇。新版論壇分設“星河Talk”與“星啟Talk”兩個主題系列活動，將分別邀請全球頂尖教授和青年研究者作為嘉賓，線上線下分享學術成果、探討科技前沿。名家云集“星河”燦爛，新秀冉冉“星啟”未來，兩大系列活動將陸續帶來更多精彩內容，敬請期待。

【第1期“星河Talk”】

活動詳情

分享主題：理解深度學習中的專家混合模型

分享嘉賓：顧全全 美國加州大學洛杉磯分校副教授

主持人：李怡康 上海人工智能實驗室雙聘青年科學家

活動時間：北京時間 10月27日（周四）10:30-11:30

參與方式：騰訊會議 443 238 513

講座簡介

專家混合模型（MoE）是一種由路由器控制的稀疏激活模型，它在深度學習中獲得了巨大的成功。然而，要理解此類架構其實是比較困難的。在此次論壇中，顧全全將著重分享專家混合模型是如何提升神經網絡學習性能的，以及混合模型為何不會坍塌為一個單模型。實證結果表明，潛在問題的聚類結構和專家的非線性是專家混合模型成功的關鍵，這促使團隊考慮一個具有內在簇結構的分類問題。團隊從理論上證明，這個具有挑戰性的分類問題很難由單個類似雙層卷積神經網絡（CNN）的專家來解決，但使用MoE，每個專家都是兩層CNN，可以成功地解決問題。據了解，這是第一個正式理解深度學習MoE機制的理論成果。

本期嘉賓

顧全全 美國加州大學洛杉磯分校副教授

顧全全現任美國加州大學洛杉磯分校副教授，2014年博士畢業于伊利諾伊大學厄巴納-香檳分校，長期從事人工智能和機器學習相關研究，重點開發和分析機器學習中的非凸優化算法，以理解大規模、動態、復雜和異構的數據，并為深度學習奠定理論基礎。

顧全全是2022年斯隆研究獎獲得者。此前，他曾于2015年獲得“雅虎學術職業發展獎”，并于2017年獲得美國自然科學基金委的“杰出青年學者成就獎”。

主持人

李怡康 上海人工智能實驗室雙聘青年科學家，上海交通大學博士生行業導師