春雨直播app

発表者

今泉　允聡（東京大学 大学院総合文化研究科 広域科学専攻　准教授）
Johannes Schmidt-Hieber（University of Twente, Professor）

発表のポイント

• 深层学习が过学习を起こさない原理を、ニューラルネットワークがエネルギー曲面上で滞留する数学的理论を开発して説明した。
• 深层学习が大自由度にも関わらず过学习しない原理は长年の未解明点であり、これを説明する理论を开発した。
• 深层学习を効率的に制御するための理论の発展や、アルゴリズム开発?ネットワーク设计などへの工学的応用が期待される。

発表概要

　東京大学大学院総合文化研究科の今泉允聡准教授、University of TwenteのJohannes Schmidt-Hieber教授による研究チームは、ニューラルネットワークがエネルギー曲面上で"滞留"という現象を起こすことを数学的に記述し、深层学习が過学習を起こさない原理を説明する新理論を開発しました。深层学习が大量のパラメータを持ちながらも過学習をしない理由は、近年多くの仮説が提起されつつも未だに十分には明らかにされていません。今回の成果は、滞留の概念を用いてアルゴリズムの確率的挙動を記述することで、深层学习が汎用的な知識を獲得する現象への新しい理論的基礎づけを与えました。今後は、より具体的な深层学习の理論の発展や、深层学习の高速化につながるアルゴリズムの開発などにつながることが期待されます。

　本研究成果は、2023年1月20日（米国東部時間）に米国科学誌「IEEE Transactions on Information Theory」のオンライン版に掲載されました。

発表详细はのページからご覧ください。