読者です 読者をやめる 読者になる 読者になる

オモンパカリスト

深層学習、計算論的神経科学に興味あります

誤差逆伝播法にとって代わる?Target Propagationについての所感とか。

Deep Learning 機械学習

今日、研究室のゼミでTarget Propagationについて発表した。
Difference Target Propagation
この1週間精読に努めたんだけど、完全に理解ができてない。
Back Propagationが生物学妥当性がないという根拠を6つの要点を持って提示し、
それに代わる手法としてTarget Propagationを提案している、というのが本論文。

僕のつくったスライドより、やっぱりこの唯一の日本語スライドがいい。

http://deeplearning.jp/wp-content/uploads/2014/04/20150826_suzuki.pdf

所感を述べると、

  1. Back Propagation(誤差逆伝播)が生物学妥当性がないため排除、というアプローチはどうなのか。
  2. Target PropagationのApproximate Inverseで逆関数が不完全だと最適化が安定しないという問題点はどうなのか。
  3. そしてそれを解決するためにDifference(差分) Target Propagationという線形補佐による改良なわけだが生物学妥当性に触れないのか。
  4. 確率モデルを扱えるなど、従来のB-Propより汎用性もあるのに、ググってもあまり流行ってるようにみれないのはなぜ?

このように疑問が湧いてくる。

01 については、先ほども言った6つの要点が示している誤差逆伝播の生物学的妥当性の無さが論の基盤になってる。
だけども、Bengio研究室から、Towards a Biologically Plausible Backprop「生物学的にもっともらしい誤差逆伝播法に向けて」というレポートが2016年、今年の2月にでてる。
これはどういうことなのか。ちょっとこの論文も読むべきだと思った。

02 については、Targetという概念を、Approximate Inverse(近似逆)で導入するというアプローチは生物学的妥当性があるといえるのか。
この論文では、6つの妥当性要点のうち4つを満たすとある。
ぶっちゃけ、全然理解できてない。

03 については、Target Propagationの改良という名目のもと、Differenceは線形補佐という解決であること。
これが、この論文がテーマにしている「生物学的もっともらしい」との剥離が生じないものなの?って疑問。

04 については、B-Propと遜色しない結果がでていて、さらにB-Propも扱えない性質(確率など)のモデルを扱えるその利便性ながらも、
まったくググっても引用した人が見当たらない、ということ。
そもそも、誤差逆伝播は人間の発想によるアルゴリズムで、実際の脳では使われていない、特別マジックアイテム。
でもそれが主流となり、それをスタンダードに付け加えていった形が今の深層学習の現状。
ある人は、「B-Propでいいよ、それで学習ができるのなら。」というタスク解決優先の精神で、この論文のテーマはスルーするものかもしれない。
B-Propをそこまでして排除する理由がないからなのか、全然Target Propagationを利用してみた、という文献は見当たらない。
なんなら、Googleで「Target Propagation」で検索したらこのブログの記事(前回)が5番目にヒットした。
Target Propagationについて書いてある内容は少ないのに、
記事タイトルを「Target Propagationについて」にしてしまっていたからみたいだ。
はてブロの恩恵だからか、マジで流行ってないためか、こんなゴミ溜めみたいなブログで取り上げただけで5位になってしまう。
今は、その記事タイトルは変更した。

このような疑問点などを持って、改めてこのあたりの論文を精読することにする。
そして、やっとこさ「脳の計算論」が届いたので、スパイキングニューロンモデル(STDP:スパイク時刻依存可塑性)について、
理解を深めようと思う。