春雨直播app

証明の模式図 

论文で用いられた数学的証明の模式図。深层ニューラルネットワークが、データが持つ潜在的な低次元构造上のデータ関数を、超立方体を用いて近似していく様子が描かれている。© 2021 今泉 允聡
 

东京大学大学院総合文化研究科附属先进科学研究机构の今泉允聡准教授、アメリカ?ラトガース大学统计学科博士课程の中田竜明氏による研究チームは、深层学习による予测误差の大きさを数学的に解析しました。その结果、深层学习がデータの中に隠れているフラクタルなどの低次元构造に适応し、その次元の大きさに応じて误差を减少させられることを数学的に証明しました。なお、深层学习以外のデータ解析手法も、データのシンプルな低次元构造に适応できることが既に証明されていますが、本研究が构筑した理论では、深层学习ならば通常の构造だけでなく、フラクタル构造などの复雑な形状にも适応できることが明らかになりました。

深层学习は高い性能を発挥するデータ解析法ですが、その原理には不明な点が多く残っています。この原理を明らかにする上で重要なのが、データの持つ「隠れた低次元构造」です。深层学习が扱うデータの多くは、表面上からは発见できない低次元构造を隠し持っています。现代的なデータ解析手法の多くはこの低次元构造に适応することで、予测精度を向上させていることが経験的に知られています。理论的には、深层学习以外のデータ解析手法もシンプルな低次元构造には适応できることがすでに証明されています。しかし、深层学习はこれらの方法より高い性能を実験的に発挥するため、この実験结果を説明するにはより発展的な理论が必要でした。

研究チームは、深层学习による回帰问题（教师あり学习の一种）の予测误差を数学的に解析し、データ数の増加による予测误差の改善スピードが、データの表面的な次元には影响されず、代わりにデータ固有の低次元构造の次元（固有次元）によって决まっていることを数学的に証明しました。すなわち、どんなに高次元なデータであっても、そこに隠れている构造が低次元であるなら、深层学习はデータが低次元の场合と同様の高い精度を発挥することが証明されました。さらに、深层学习はこの低次元构造がフラクタルなどの复雑な形状を持っている场合でも、それに応じた固有次元に适応できることが明らかになりました。これは、深层学习以外の方法では示されておらず、深层学习が低次元构造への适応という文脉で、他手法に対する优位性を持つ可能性が示唆されました。

深层学习は优れたデータ解析手法ですが、计算コストが大きいなどの実用上の问题点が残っています。本研究の成果は、データの构造に适応したコンパクトなニューラルネットワーク设计を行うなどの、计算コストを削减する运用法の开発に役立つと考えられます。

「深层学习の性能について未解明の点はまだまだ多く、今后も多くの研究を続ける必要があります」と今泉准教授は话します。