読者です 読者をやめる 読者になる 読者になる

オモンパカリスト

深層学習、計算論的神経科学に興味あります

VAEと時系列を扱うVRAE

Google日英翻訳がNMT(ニューラルネットワークを利用した翻訳モデル)になったらしいです。 文語ベースでバリバリ翻訳してくれてるみたいで、 単語にマウスオーバー当てても単語間の対応関係がわからなくなったのはさみしいけど、 たしかに精度がよくなったよ…

Kerasつかってみた。紹介とか。おすすめサイトとか。

深層学習フレームワークとしてKerasを使ってみたら結構楽しかったです。 直感的なレイヤー型記述はChainerに似てます。 Theano または TensorFlowのラッパーとして動くので低レベル記述も効いて汎用性は高そうです。 おすすめのサイト(随時更新するつもり)

確率的なDeep Learning。生成モデル。~その1~

深層学習(Deep Learning)がバズワードになって何年目だ。 画像認識コンテストでDeepなヤツが優勝したのが2012年で4年前だ。 Deepの先駆者DBN[Hinton 2009]からだと7年か。 2014-2015の間だけでも1500もの関連論文が発表されているらしい。鬼のようだ。 軽く…

生物学的に尤もらしい人工知能のサーベイ結果 ~そろそろテーマ決めたい~

テーマは模索中で 生物学的に尤もらしい人工知能 をサーベイ そろそろテーマ決めたい 俯瞰 実際の脳のダイナミクスを論じるときに、 ヘブ則、STDP、スパイクなどは基本用語として「脳の計算論」で勉強した。 この計算論的神経科学の知見を工学に当てはめると…

生物学的妥当性のある深層学習を調査してる

Deep Learning(以下深層学習)の大家であるBengioとその研究室の人たちが 生物学的にもっともらしい(Biologically Plausible)深層学習の研究に精をだしてるっぽい。 僕自身もより忠実に脳の機能を模した深層学習に興味を持ってる。 以前から調査の雑感をこの…

誤差逆伝播法にとって代わる?Target Propagationについての所感とか。

今日、研究室のゼミでTarget Propagationについて発表した。 Difference Target Propagation この1週間精読に努めたんだけど、完全に理解ができてない。 Back Propagationが生物学妥当性がないという根拠を6つの要点を持って提示し、 それに代わる手法として…

実際の脳と深層学習

この記事の読み方 田舎の国立大の学部4年生が調べたことを書いてる。 見当違いなバカ考察も含まれている恐れあり。 すべてを鵜呑みにせず疑って読んでいただきたい。 近況 就活も終わってこの頃、研究に身を乗り出してる。 ていってもまだテーマも決まらず(…

生物学的にもっともらしい深層学習に向けて。

ことのいきさつ Deep Learning(以下、深層学習)が流行ってる。 僕自身、これには本当に興味深々で、去年から勉強を重ねた。 深層学習は、ニューラルネットワーク(多層パーセプロトン)をより深く多層にしたモデルで、 脳の神経回路を模倣したその形の人工知能…

Chainerチュートリアル(ver. 1.5.1)を和訳

Chainerがversionを1.5以上にしてから随分変わってて、インストール方法や記述も違うから 正直アップデートせずに見送ってたけど、ここらでしっかり公式チュートリアルを読んで理解すべく和訳に取り組みました。 英語が苦手なので不十分かつ訳注も明示してい…