読者です 読者をやめる 読者になる 読者になる

オモンパカリスト

深層学習、計算論的神経科学に興味あります

VAEと時系列を扱うVRAE

Google日英翻訳がNMT(ニューラルネットワークを利用した翻訳モデル)になったらしいです。
文語ベースでバリバリ翻訳してくれてるみたいで、
単語にマウスオーバー当てても単語間の対応関係がわからなくなったのはさみしいけど、
たしかに精度がよくなったような、そんな気がするぜ。
というわけで英語論文めっちゃ読んだろ。。

VAEで何かしたいなーと思ってて、時系列を扱えるVRAE周りを調べました。

Variational AutoEncoder

Variational AutoEncoderをついにしっかり理解できた気がする。

はっつーさんのkeras実装ブログがとても勉強になりました。
有難うございます。
ralo23.hatenablog.com

Variational AutoEncoderについてまとめたスライドを作りました。

続きを読む

情報幾何学の参考書2つ。

情報幾何学を勉強中。
目的はDeep Neural Networkの解析。

情報幾何学

  • Fisher情報量(情報行列) 確率変数がパラメーターに関して持つ情報量
  • Riemann計量 微分幾何学ででてくる計量

若き頃のC.R.Raoが「Fisher情報行列とRiemann計量って一緒じゃね?」と言い始め、
いろいろな可能性が湧き出てきて、甘利先生、長岡先生たちが理論体系としてまとめあげた。
情報幾何学のはじまりはじまり。

確率分布空間を多様体構造で幾何的に捉える。
狭義では「双対アファイン接続の微分幾何学」。

続きを読む

情報幾何の勉強。機械学習の数理的研究。

(勉強中のブログです。気をつけてるんですが厳密さに欠けることも書きがちなので、あくまで備忘録という免罪符を利用します。暖かい目でみてください。)

tl;dr

情報幾何学という分野を知った

機械学習、深層学習の仕組みを理解する一つの方法論
日本から生まれた理論体系。

続きを読む

Kerasつかってみた。紹介とか。おすすめサイトとか。

深層学習フレームワークとしてKerasを使ってみたら結構楽しかったです。
直感的なレイヤー型記述はChainerに似てます。
Theano または TensorFlowのラッパーとして動くので低レベル記述も効いて汎用性は高そうです。

おすすめのサイト(随時更新するつもり)

続きを読む

機械学習・深層学習の勉強したこと・したいこと、このブログの方針

ちょっと予告とは違う更新だけど。。

深層学習(Deep Learning)というものを知り、いろいろ調べて勉強したりした一年
紆余曲折がありつつも、Pythonを初めて扱い深層学習以外の機械学習全般に興味を持った
今取り組んでいることは、「機械学習を基礎から身につけ、pythonで実装していく力を身につける。」

ある程度参考書やサイトを漁った結果、自分なりのベストプラクティスが固まりつつある(前もこんなこと言った)

このブログは息抜き程度の備忘録の位置づけにしたいので、技術ブログではないことをあやふやな記述の免罪符にしたい
わりとまじで。切実に。

機械学習のベストプラクティス(今現在)

数学の事前準備

さすがに微分積分と行列、確率はある程度必要になる。
個人的に行列の微分が苦手。現役の学生なので覚えてるが、
一切を忘れてしまったという方は数学の参考書で数式慣れしたほうがいいかも

超初心者

Python触ったことないYO!なひと。

Numpyの勉強はここがためになる
機械学習の Python との出会い — 機械学習の Python との出会い

PythonじゃないけどMATLABに似たようなやつでOctaveという言語がある。
Courseraのビデオ学習が勉強になる。
www.coursera.org

日本語の字幕がユーモアあって楽しい。
ちなみにNg先生は深層学習での大家でもある

Kaggle(様々な問題(データセット)に世界中のデータサイエンティストが正答率を競い合うプログラミングサイト)に登録もしておく

qiita.com

いずれはKaggleに!と常々思っていたのでこのQiita記事の後押しもあり登録してみた
スコアの高いコードが参考になる

深層学習を学びたいひとは、大変だけど論文サーベイもできたらいいと思う
この一年で1000以上も投稿されてさすがに読みきれないので、
slideshareでまとめてくれてるひとのスライドにお世話になることも多い
Twitterはさみとぎ屋というアカウントで技術や論文概要をRTしたりしてるので
よかったらフォローしてください

続きを読む

確率的なDeep Learning。生成モデル。~その1~

深層学習(Deep Learning)がバズワードになって何年目だ。
画像認識コンテストでDeepなヤツが優勝したのが2012年で4年前だ。
Deepの先駆者DBN[Hinton 2009]からだと7年か。
2014-2015の間だけでも1500もの関連論文が発表されているらしい。鬼のようだ。

軽く歴史を振り返ると、制限付きボルツマンマシンを「多段に積み上げた」(深層と呼ばれる所以)
Deep Belief Network[Hinton 2009]が新時代の幕上げだった。

Deepという名前もここから実用的に使われだしたっぽい、多分。

そして今、非常に気になってるのがVAEとGAN、そしてEBMにGANのテクを使ったヤーツ[Kim+ 2016]。
こいつらは生成モデルの最新技術なヤーツ達だ。
こいつらについてちょっと紹介したいので、その前に統計的機械学習とボルツマンマシンについてまとめたあと
この人類の希望達を語っていこうと思う。

別に論文じゃないし精査せずに抽象的に書いてく。厳密性や信憑性は求めないでください

続きを読む

やりたい・なりたい自分

情報収集用のTwitterアカウントを作った

twitter.com

やりたい・なりたい自分を書き連ねてみた

今年度大学を卒業し、就職先は動画配信全般のSI・コンサル業務。
このあとのリストからみられる興味・関心とぴったりマッチするわけではないが、
この業務環境で技術者側面・PM側面として成長したいと思ってる

続きを読む