読者です 読者をやめる 読者になる 読者になる

オモンパカリスト

深層学習、計算論的神経科学に興味あります

情報幾何学の参考書2つ。

機械学習 情報幾何

情報幾何学を勉強中。
目的はDeep Neural Networkの解析。

情報幾何学

  • Fisher情報量(情報行列) 確率変数がパラメーターに関して持つ情報量
  • Riemann計量 微分幾何学ででてくる計量

若き頃のC.R.Raoが「Fisher情報行列とRiemann計量って一緒じゃね?」と言い始め、
いろいろな可能性が湧き出てきて、甘利先生、長岡先生たちが理論体系としてまとめあげた。
情報幾何学のはじまりはじまり。

確率分布空間を多様体構造で幾何的に捉える。
狭義では「双対アファイン接続の微分幾何学」。

参考書を二冊。

情報幾何学の基礎 (数理情報科学シリーズ)

情報幾何学の基礎 (数理情報科学シリーズ)

第4章の途中まで読みました。数学的基礎からみっちり書かれている。
数学を専攻していない初学者にもわかるようにとのこと
(しきりに大学1年時の解析学代数学を事前知識とするだけでよいとの旨が)
といっても僕は解析学苦手だったし覚えてないし完全には理解できなかったりします

  • 第0章は数学の準備。逆写像定理、双対空間、テンソル
  • 第1章はまずはEuclid平面で幾何を考えようというもの。
  • 第2章は曲面を多様体におとす。
  • 第3章 多様体のアファイン接続
    • 第1章はEuclid平面の幾何を考えた
    • Euclid平面の自然な平行移動は簡単
    • 多様体(曲面)の場合はどう移動するか?
  • 第4章双対アファイン接続の幾何
    • 「情報幾何学」は狭義で「双対アファイン接続の微分幾何学
    • 多様体(M,g)において計量gに関する双対性(4.1)を満たす -> (g, ∇, ∇*)

第5章から情報幾何学創設のきっかけとなった確率分布空間の幾何構造
そして第6章は統計物理学、第7章は統計的推論への応用。
第8章は著者の藤原さんが研究されている量子状態空間の幾何構造。
数学的に基礎として身につける第5章まではなんども読み直して理解の定着に努めたいと思います。

さきほど甘利先生の本が届きました。↓

ざっとパラパラめくった感じ、応用に重点が置かれているみたいです。
甘利先生らしく、難しい話もできるだけわかりやすく書かれていて、初学者が進展を把握できます。
それでもやっぱり難しいと感じますが、勉強好奇心を促す雰囲気がこの分野にはあります。
ニューラルネットワークに対しての情報幾何学アプローチとして自然勾配法がありますが、
その魅力と抱える実装難な問題点について明確に記載されてるっぽいです。
また多層パーセプトロンは特異モデルと捉えることができるみたいで、解析の難しさが大きなテーマとしてある。
これについての丁寧な説明は渡辺さんの代数幾何と学習理論 (知能情報科学シリーズ)を参考文献として紹介している。(コメントにてマスタケさん(id:mathetake)から間違いのご指摘をいただきました。ありがとうございます。)

少し補足しますと、特異モデルの解析に代数幾何学が必要なのではなく、 ベイズの観点から特異モデルを解析する手法の1つとしてProf.Watanabe氏の理論がありそこで代数幾何学が使われていると言う感じです。

いまんところの雑感

新しい自然勾配法を提案してみたいな。特異モデルの解析は、高度な代数幾何の理論を必要とするみたいで、
学論じゃ間に合いそうにないので、なんか工夫しないとなぁ。

ちなみに、まだ読み切れてませんがArXivに、
R.PascanuとY.Bengioによる自然勾配法の実装についてのレポートがありました。

[1301.3584] Revisiting Natural Gradient for Deep Networks

ちなみに卒論テーマをコロコロ変えてたらさすがに教授に怒られました。
やべー。