オモンパカリスト

深層学習、計算論的神経科学に興味あります

VAEと時系列を扱うVRAE

Google日英翻訳がNMT(ニューラルネットワークを利用した翻訳モデル)になったらしいです。 文語ベースでバリバリ翻訳してくれてるみたいで、 単語にマウスオーバー当てても単語間の対応関係がわからなくなったのはさみしいけど、 たしかに精度がよくなったよ…

情報幾何学の参考書2つ。

情報幾何学を勉強中。 目的はDeep Neural Networkの解析。 情報幾何学? Fisher情報量(情報行列) 確率変数がパラメーターに関して持つ情報量 Riemann計量 微分幾何学ででてくる計量 若き頃のC.R.Raoが「Fisher情報行列とRiemann計量って一緒じゃね?」と言い…

情報幾何の勉強。機械学習の数理的研究。

(勉強中のブログです。気をつけてるんですが厳密さに欠けることも書きがちなので、あくまで備忘録という免罪符を利用します。暖かい目でみてください。) tl;dr 情報幾何学という分野を知った 機械学習、深層学習の仕組みを理解する一つの方法論 日本から生ま…

Kerasつかってみた。紹介とか。おすすめサイトとか。

深層学習フレームワークとしてKerasを使ってみたら結構楽しかったです。 直感的なレイヤー型記述はChainerに似てます。 Theano または TensorFlowのラッパーとして動くので低レベル記述も効いて汎用性は高そうです。 おすすめのサイト(随時更新するつもり)

機械学習・深層学習の勉強したこと・したいこと、このブログの方針

ちょっと予告とは違う更新だけど。。 深層学習(Deep Learning)というものを知り、いろいろ調べて勉強したりした一年 紆余曲折がありつつも、Pythonを初めて扱い深層学習以外の機械学習全般に興味を持った 今取り組んでいることは、「機械学習を基礎から身に…

確率的なDeep Learning。生成モデル。~その1~

深層学習(Deep Learning)がバズワードになって何年目だ。 画像認識コンテストでDeepなヤツが優勝したのが2012年で4年前だ。 Deepの先駆者DBN[Hinton 2009]からだと7年か。 2014-2015の間だけでも1500もの関連論文が発表されているらしい。鬼のようだ。 軽く…

やりたい・なりたい自分

情報収集用のTwitterアカウントを作った twitter.com やりたい・なりたい自分を書き連ねてみた 今年度大学を卒業し、就職先は動画配信全般のSI・コンサル業務。 このあとのリストからみられる興味・関心とぴったりマッチするわけではないが、 この業務環境で…

悩み

研究テーマが決まらない

Theanoで機械学習

Theanoの特殊な書き方を身につけるため github.com このチュートリアルを用いる 線形回帰 ロジスティック回帰 ニューラルネットワーク 流行りのニューラルネットワーク 畳み込みニューラルネットワーク の実装方法が書いてある。 このチュートリアルで用いる…

単純ベイズ(Naive Bayes)をpython/numpyの実装

ことのいきさつ。 確率モデルのサーベイはそろそろ飽きてきて切り上げて、 IBMのDyBMやConditonal RBMを実装できるようになりたいなーと思ってて、 Theanoで実装していくことにしたんだけど、 そもそもNumpyすらまともに書けなかった。 というわけで、Python…

生物学的に尤もらしい人工知能のサーベイ結果 ~そろそろテーマ決めたい~

テーマは模索中で 生物学的に尤もらしい人工知能 をサーベイ そろそろテーマ決めたい 俯瞰 実際の脳のダイナミクスを論じるときに、 ヘブ則、STDP、スパイクなどは基本用語として「脳の計算論」で勉強した。 この計算論的神経科学の知見を工学に当てはめると…

生物学的妥当性のある深層学習を調査してる

Deep Learning(以下深層学習)の大家であるBengioとその研究室の人たちが 生物学的にもっともらしい(Biologically Plausible)深層学習の研究に精をだしてるっぽい。 僕自身もより忠実に脳の機能を模した深層学習に興味を持ってる。 以前から調査の雑感をこの…

Mac OS X、KeynoteにLaTeX数式をペタペタ貼れる方法

Mac OS Xを使って長くなる。 プレゼン資料ツールはKeynoteを使っている。 しかし、WIndowsのPowerPointに標準で実装されているような 数式エディタ機能はKeynoteにはない。 手順 LaTeXなら書ける。むしろLaTeXは好き。 MacにLaTeXをインストール LaTeXiTとい…

誤差逆伝播法にとって代わる?Target Propagationについての所感とか。

今日、研究室のゼミでTarget Propagationについて発表した。 Difference Target Propagation この1週間精読に努めたんだけど、完全に理解ができてない。 Back Propagationが生物学妥当性がないという根拠を6つの要点を持って提示し、 それに代わる手法として…

実際の脳と深層学習

この記事の読み方 田舎の国立大の学部4年生が調べたことを書いてる。 見当違いなバカ考察も含まれている恐れあり。 すべてを鵜呑みにせず疑って読んでいただきたい。 近況 就活も終わってこの頃、研究に身を乗り出してる。 ていってもまだテーマも決まらず(…

CentOS6.7にtheanoをインストールして四苦八苦した話

やりたかったこと CentOS6.7でpyenvでversion管理をしている環境で python 2.7.9に数値計算用ライブラリtheanoをインストールしたい インストールするもimportでエラー pyenvが原因かわからないがimport theanoでエラーを吐いて四苦八苦 xception: Compilati…

生物学的にもっともらしい深層学習に向けて。

ことのいきさつ Deep Learning(以下、深層学習)が流行ってる。 僕自身、これには本当に興味深々で、去年から勉強を重ねた。 深層学習は、ニューラルネットワーク(多層パーセプロトン)をより深く多層にしたモデルで、 脳の神経回路を模倣したその形の人工知能…

RubyからPythonのコーディング所感

まだまだプログラミング初級者だけど、 Rubyを初めて触ってから1年が経とうとして、 去年末あたりから触りだしたPythonも少し慣れてきた。 Pythonには独特なリスト内包があるけど、それについてはまだちょっと書き慣れていない。 Rubyもかなり独特だけど。 R…

mongodb備忘録

MongoDBをインストールして、python用ドライバpymongoを触ってみた。 はーJupyterで書くの楽しい

俺的、機械学習の勉強環境ベストプラクティス

短めに言うと pythonのキラーアプリ、最高REPLのJupyter(旧名ipython notebook)を使う 実行環境 Mac OS XまたはLinux Windowsの方は以前のエントリー等でLinux環境構築してください 書籍学習 例えば ITエンジニアのための機械学習理論入門作者: 中井悦司出版…

CentOS6.7にpythonの環境構築メモ

pyenv, pip $から始まるのがコマンド入力 # コメントを加えていきます # 依存モジュールたち $ sudo yum install gcc gcc-c++ make git openssl-devel bzip2-devel zlib-devel readline-devel sqlite-devel # pyenv(pythonのバージョン管理) $ git clone htt…

Gitのオブジェクト管理を参考に、メモ帳CLIつくってる

gitが好き。とてもよくできてるなぁと思う。 チーム開発はもちろん、普段の作業でも欠かせないツール。 どういう仕組みだろう?git add README.mdというコマンドはどういう働きを? ここが参考になる。 blog.spacemarket.com へー、.gitの中身はこうなってる…

Rails開発でそろそろテストやんないとな、RSpec + FactoryGirlに落ち着いたよって話

近況 少し開発から離れていた。 とある企業の書類選考で「Twitterっぽい掲示板」が課題としてあった。 要件定義を満たせていればどの言語を用いても良いとのことなので Ruby on Rails(サーバサイド) Bootstrap Honoka(CSS) Heroku(本番環境) 三日くらいで作…

master failed to start, check stderr log for details 〜自作Webサービスを意気揚々と本番アップデートしてみたら〜

ことのいきさつ Webサービスを開発中。 勉強会をしようよ!アプリ。 Comicomu ちなみに、GitHubはGitHub - kazukousen/comicomu: Commit Community 「勉強会しようよ」 テストも書いてないし、まだまだ甘々な開発ですが、とりあえず本番デプロイまでしたかっ…

勉強嫌いは、親の姿が投影されてるような気がする

普段のエントリとは、全く共通項のない雑感を並べます。 最近気づいた結論で、この話題は常に子を持つ親御さんが悩んでるものですから、 僕なりのその結論を吐いてみることにします。 その問題というのは勉強嫌いな子供に勉強をさせるにはどうすればよいのか…

GitHub APIを叩いてissueを表示

ことのいきさつ 僕は日頃の自分でつくってるWebアプリであっても GitHubでissueを書いてから、 作業をはじめるissue駆動開発を行っております。 たてたissueの番号を末尾にくっつけて feature/~というブランチをきってから作業します。 でも毎回自分のGitHub…

AWS EC2内でpython環境セットアップからJupyter(ipython notebook)まで覚書

(2016/05/24)追記:依存モジュールにsqlite-develが必要 概要 AWS EC2インスタンスのAmazon Linux AMIのOS環境で pythonの環境構築をする。 また、ブラウザから開くJupyter(ipython notebook)の設定も行う。 Machine Learning, Deep Learningをやるために環…

はてブAPIあるのにスクレイピングしてしまった

なんでだ なんで公式API用意されてることぐらい 当たり前なのに、、 Hatena Developer Center しかも見やすいからAPIドキュメント書くのに参考にしよう こんな便利アイテムがあるのに関わらず 常識の範囲でスクレイピングを叩くことにする、、 作り始めたも…

Nokogiriを使うときにでた503エラー

ことのいきさつ はてブをよく使う。 後で読もうとかまた読みたい記事にはよくはてブ登録する ブラウザの拡張機能のはてブがとっても楽だから手軽につけられる でも いざ読み返す時にはてブのページ開くのがダルい メモリ消費抑えたいしょぼPCの自分にとって…

デプロイについて勉強してた。 & 英語のドキュメントを読む力をつける。

今知ったんですけどMarkdownの改行ってスペース2個なんスね! 近頃Ruby on Railsで開発しているWebAPIを デプロイするために色々調べてました。 Herokuに投げたことがあったからそれでもいいなーと 思ったんですがAWSを学生無料枠で登録しているので せっか…