読者です 読者をやめる 読者になる 読者になる

オモンパカリスト

深層学習、計算論的神経科学に興味あります

VAEと時系列を扱うVRAE

Google日英翻訳がNMT(ニューラルネットワークを利用した翻訳モデル)になったらしいです。 文語ベースでバリバリ翻訳してくれてるみたいで、 単語にマウスオーバー当てても単語間の対応関係がわからなくなったのはさみしいけど、 たしかに精度がよくなったよ…

情報幾何学の参考書2つ。

情報幾何学を勉強中。 目的はDeep Neural Networkの解析。 情報幾何学? Fisher情報量(情報行列) 確率変数がパラメーターに関して持つ情報量 Riemann計量 微分幾何学ででてくる計量 若き頃のC.R.Raoが「Fisher情報行列とRiemann計量って一緒じゃね?」と言い…

情報幾何の勉強。機械学習の数理的研究。

(勉強中のブログです。気をつけてるんですが厳密さに欠けることも書きがちなので、あくまで備忘録という免罪符を利用します。暖かい目でみてください。) tl;dr 情報幾何学という分野を知った 機械学習、深層学習の仕組みを理解する一つの方法論 日本から生ま…

Kerasつかってみた。紹介とか。おすすめサイトとか。

深層学習フレームワークとしてKerasを使ってみたら結構楽しかったです。 直感的なレイヤー型記述はChainerに似てます。 Theano または TensorFlowのラッパーとして動くので低レベル記述も効いて汎用性は高そうです。 おすすめのサイト(随時更新するつもり)

機械学習・深層学習の勉強したこと・したいこと、このブログの方針

ちょっと予告とは違う更新だけど。。 深層学習(Deep Learning)というものを知り、いろいろ調べて勉強したりした一年 紆余曲折がありつつも、Pythonを初めて扱い深層学習以外の機械学習全般に興味を持った 今取り組んでいることは、「機械学習を基礎から身に…

確率的なDeep Learning。生成モデル。~その1~

深層学習(Deep Learning)がバズワードになって何年目だ。 画像認識コンテストでDeepなヤツが優勝したのが2012年で4年前だ。 Deepの先駆者DBN[Hinton 2009]からだと7年か。 2014-2015の間だけでも1500もの関連論文が発表されているらしい。鬼のようだ。 軽く…

やりたい・なりたい自分

情報収集用のTwitterアカウントを作った twitter.com やりたい・なりたい自分を書き連ねてみた 今年度大学を卒業し、就職先は動画配信全般のSI・コンサル業務。 このあとのリストからみられる興味・関心とぴったりマッチするわけではないが、 この業務環境で…

悩み

研究テーマが決まらない

Theanoで機械学習

Theanoの特殊な書き方を身につけるため github.com このチュートリアルを用いる 線形回帰 ロジスティック回帰 ニューラルネットワーク 流行りのニューラルネットワーク 畳み込みニューラルネットワーク の実装方法が書いてある。 このチュートリアルで用いる…

単純ベイズ(Naive Bayes)をpython/numpyの実装

ことのいきさつ。 確率モデルのサーベイはそろそろ飽きてきて切り上げて、 IBMのDyBMやConditonal RBMを実装できるようになりたいなーと思ってて、 Theanoで実装していくことにしたんだけど、 そもそもNumpyすらまともに書けなかった。 というわけで、Python…

生物学的に尤もらしい人工知能のサーベイ結果 ~そろそろテーマ決めたい~

テーマは模索中で 生物学的に尤もらしい人工知能 をサーベイ そろそろテーマ決めたい 俯瞰 実際の脳のダイナミクスを論じるときに、 ヘブ則、STDP、スパイクなどは基本用語として「脳の計算論」で勉強した。 この計算論的神経科学の知見を工学に当てはめると…

生物学的妥当性のある深層学習を調査してる

Deep Learning(以下深層学習)の大家であるBengioとその研究室の人たちが 生物学的にもっともらしい(Biologically Plausible)深層学習の研究に精をだしてるっぽい。 僕自身もより忠実に脳の機能を模した深層学習に興味を持ってる。 以前から調査の雑感をこの…

Mac OS X、KeynoteにLaTeX数式をペタペタ貼れる方法

Mac OS Xを使って長くなる。 プレゼン資料ツールはKeynoteを使っている。 しかし、WIndowsのPowerPointに標準で実装されているような 数式エディタ機能はKeynoteにはない。 手順 LaTeXなら書ける。むしろLaTeXは好き。 MacにLaTeXをインストール LaTeXiTとい…

誤差逆伝播法にとって代わる?Target Propagationについての所感とか。

今日、研究室のゼミでTarget Propagationについて発表した。 Difference Target Propagation この1週間精読に努めたんだけど、完全に理解ができてない。 Back Propagationが生物学妥当性がないという根拠を6つの要点を持って提示し、 それに代わる手法として…

実際の脳と深層学習

この記事の読み方 田舎の国立大の学部4年生が調べたことを書いてる。 見当違いなバカ考察も含まれている恐れあり。 すべてを鵜呑みにせず疑って読んでいただきたい。 近況 就活も終わってこの頃、研究に身を乗り出してる。 ていってもまだテーマも決まらず(…

CentOS6.7にtheanoをインストールして四苦八苦した話

やりたかったこと CentOS6.7でpyenvでversion管理をしている環境で python 2.7.9に数値計算用ライブラリtheanoをインストールしたい インストールするもimportでエラー pyenvが原因かわからないがimport theanoでエラーを吐いて四苦八苦 xception: Compilati…

生物学的にもっともらしい深層学習に向けて。

ことのいきさつ Deep Learning(以下、深層学習)が流行ってる。 僕自身、これには本当に興味深々で、去年から勉強を重ねた。 深層学習は、ニューラルネットワーク(多層パーセプロトン)をより深く多層にしたモデルで、 脳の神経回路を模倣したその形の人工知能…

RubyからPythonのコーディング所感

まだまだプログラミング初級者だけど、 Rubyを初めて触ってから1年が経とうとして、 去年末あたりから触りだしたPythonも少し慣れてきた。 Pythonには独特なリスト内包があるけど、それについてはまだちょっと書き慣れていない。 Rubyもかなり独特だけど。 R…

mongodb備忘録

MongoDBをインストールして、python用ドライバpymongoを触ってみた。 はーJupyterで書くの楽しい

俺的、機械学習の勉強環境ベストプラクティス

短めに言うと pythonのキラーアプリ、最高REPLのJupyter(旧名ipython notebook)を使う 実行環境 Mac OS XまたはLinux Windowsの方は以前のエントリー等でLinux環境構築してください 書籍学習 例えば ITエンジニアのための機械学習理論入門作者: 中井悦司出版…

CentOS6.7にpythonの環境構築メモ

pyenv, pip $から始まるのがコマンド入力 # コメントを加えていきます # 依存モジュールたち $ sudo yum install gcc gcc-c++ make git openssl-devel bzip2-devel zlib-devel readline-devel sqlite-devel # pyenv(pythonのバージョン管理) $ git clone htt…

Gitのオブジェクト管理を参考に、メモ帳CLIつくってる

gitが好き。とてもよくできてるなぁと思う。 チーム開発はもちろん、普段の作業でも欠かせないツール。 どういう仕組みだろう?git add README.mdというコマンドはどういう働きを? ここが参考になる。 blog.spacemarket.com へー、.gitの中身はこうなってる…

Rails開発でそろそろテストやんないとな、RSpec + FactoryGirlに落ち着いたよって話

近況 少し開発から離れていた。 とある企業の書類選考で「Twitterっぽい掲示板」が課題としてあった。 要件定義を満たせていればどの言語を用いても良いとのことなので Ruby on Rails(サーバサイド) Bootstrap Honoka(CSS) Heroku(本番環境) 三日くらいで作…

master failed to start, check stderr log for details 〜自作Webサービスを意気揚々と本番アップデートしてみたら〜

ことのいきさつ Webサービスを開発中。 勉強会をしようよ!アプリ。 Comicomu ちなみに、GitHubはGitHub - kazukousen/comicomu: Commit Community 「勉強会しようよ」 テストも書いてないし、まだまだ甘々な開発ですが、とりあえず本番デプロイまでしたかっ…

勉強嫌いは、親の姿が投影されてるような気がする

普段のエントリとは、全く共通項のない雑感を並べます。 最近気づいた結論で、この話題は常に子を持つ親御さんが悩んでるものですから、 僕なりのその結論を吐いてみることにします。 その問題というのは勉強嫌いな子供に勉強をさせるにはどうすればよいのか…

GitHub APIを叩いてissueを表示

ことのいきさつ 僕は日頃の自分でつくってるWebアプリであっても GitHubでissueを書いてから、 作業をはじめるissue駆動開発を行っております。 たてたissueの番号を末尾にくっつけて feature/~というブランチをきってから作業します。 でも毎回自分のGitHub…

AWS EC2内でpython環境セットアップからJupyter(ipython notebook)まで覚書

(2016/05/24)追記:依存モジュールにsqlite-develが必要 概要 AWS EC2インスタンスのAmazon Linux AMIのOS環境で pythonの環境構築をする。 また、ブラウザから開くJupyter(ipython notebook)の設定も行う。 Machine Learning, Deep Learningをやるために環…

はてブAPIあるのにスクレイピングしてしまった

なんでだ なんで公式API用意されてることぐらい 当たり前なのに、、 Hatena Developer Center しかも見やすいからAPIドキュメント書くのに参考にしよう こんな便利アイテムがあるのに関わらず 常識の範囲でスクレイピングを叩くことにする、、 作り始めたも…

Nokogiriを使うときにでた503エラー

ことのいきさつ はてブをよく使う。 後で読もうとかまた読みたい記事にはよくはてブ登録する ブラウザの拡張機能のはてブがとっても楽だから手軽につけられる でも いざ読み返す時にはてブのページ開くのがダルい メモリ消費抑えたいしょぼPCの自分にとって…

デプロイについて勉強してた。 & 英語のドキュメントを読む力をつける。

今知ったんですけどMarkdownの改行ってスペース2個なんスね! 近頃Ruby on Railsで開発しているWebAPIを デプロイするために色々調べてました。 Herokuに投げたことがあったからそれでもいいなーと 思ったんですがAWSを学生無料枠で登録しているので せっか…

就活記①

前エントリーに、院に行くことを目指した宣言をしておきながら、 実は考えを改めて進学ではなく就職を目指すことにしました。 もともと院を目指そうと思った理由は、 スキル不足 研究がしたい この二つが大きく、また目指すのは県外の、特に関東の院でした。…

Rails4.2.5でspringを対応させる

Rails 4.1以上から、rails newで初期からspringがgemインストールされます。 ただ、実際にspringを対応させるには手順があります。 忘れがちなので、備忘録がでら記しておきます。 Spring Springとはアプリケーションプリローダーで、 キャッシュを持って開…

大学院の勉強開始

現在、僕は学部三年生です。 漠然と院に行き深層学習の研究に励みたいなぁと思ってたので、 就活はしていません(インターンやハッカソンは行ったりしてる) 2016年を迎えたここらで目標を定めました。 筑波大学の大学院を目指すことにしました。 外部の院試受…

機械学習の勉強はじめた

まとまった話ではないんですが、それなりに得た知見をつらつらと。 機械学習の勉強を初めて、どのように環境を構築していったか。という話です。 Mac OS X (Yosemite)。 Python Python、初めて触りました。 なぜPythonなのか。MATLABやRみたいな数値計算がで…

Chainerチュートリアル(ver. 1.5.1)を和訳

Chainerがversionを1.5以上にしてから随分変わってて、インストール方法や記述も違うから 正直アップデートせずに見送ってたけど、ここらでしっかり公式チュートリアルを読んで理解すべく和訳に取り組みました。 英語が苦手なので不十分かつ訳注も明示してい…

僕はノータリン

自分は浅学非才であることを常に意識して、そのためにこの現代社会において、 色んな知識を吸収しようとしてきました。 それは知識武装もとい理論武装が進む一方で、僕にとって弱いのは得た知識を活かして実装する、実践力。 その弱点を克服するために、プロ…

深層学習のお勉強

毎日書こうって宣言して早速昨日書かなかったっていう。 毎週金曜の課題研究のテーマが深層学習(DeepLearning)を理解することに決まって、 書籍学習を始めました。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売…

メタプログラミングRubyを2章まで読んだら僕の場合はRuby超おもしれ〜!って感想になった。いまんとこ。

きっかけ Rails TutorialでRailsの開発を学んでいる。 Railsのすっげー魔法みたいな記述を教わって、 チュートリアルの言われる通り書いてるとあら不思議、ミニTwitterが作れる。 でも、Rubyという言語のおかげで成せるこの魔法みたいな記述は 今後違うもの…

Railsチュートリアル第11章で飽きてきたの巻

つくりたいもの というより つくらなきゃいけないもの 金沢のポータルサイト。 なんだけど、立案者がキュレーションメディア方針でいきたいみたいで ちょっと開発者の自分との意見がこじれつつある今日この頃。 最近の起業といえばキュレーションメディア、…

ディープラーニングを知る為の良書

あっという間の一週間だった... anemoriのクローラーで試しにamazonのベストセラーを取得してると、手にとらない理由がない、そんな本とであった。安かったんでKindleデビューした。 www.amazon.co.jp 人工知能の歴史、そしてディープラーニングについてわか…

プログラミングって楽しい。Hello, World!

こんにちは。 非常に濃ゆい一週間でした。 僕は語彙がアレなんで全てを書き記すのは骨が折れるので 簡潔に報告したいと思います。 スタートアップの進捗 なかなか不安定な集団だと思います。 開発経験がないようなものなので見積もりがかなり甘いです。 僕が…

趣味を思い出した&Sinatra、君に決めた!

前の記事から色々あった。 Twitterでとある金沢市の方からフォローされた。 フォロバしたらDMが届いた。 同じ大学卒で今年起業をしようとしているらしい。 アプリを製作・運営するからエンジニアが欲しいとのこと。 こういったのは初めてだ。チャンスだと思…

傾きつつある進路

院に進学するか、学部卒で就職するか。 まだ悩んでいる途中だけど、自分が向いているは後者の道。 いまサポーターズのイベントのときにエンジニアの方に相談に乗ってもらったときのメモをみると、10月に答えを出す。と記されていた。やべぇ時間ねぇ。 ベーシ…

RubyおよびRuby on Railsに触れるの巻

イベントも無事終了して現エンジニアの方々に色々アドバイスをいただいた 説教してくれた人もいた まぁ考えが違ったので自分がいいなと思った意見を取り入れることにして、 帰ってきてRubyを習得したいなと思い、ドットインストールで一通り学習 とりあえず…

github登録!

院への進学を勧められる大学に編入したものの、 そんな大学の方針とは真逆に就職志向になってきた。 ちょっと遅めだけどいろいろインターンを調べはじめ、 高専時代の友達に勧められたとあるサイトに登録。 そしてイベントの招待に参加を申し込んだら、、 ど…

備忘録その1 node.jsとgitを知る

MacOSXでやってます。 node.jsに魅力を感じていざやってみると、 真新しいことすぎてさっぱりわからん。という状況になる。 開発なんて正直まともにしたことねー! 開発はLAMP(Linux+Apache+MySQL+PHP)方式しかしたことがない! という人(おれ)のための備…

つくりたいアプリ┌П┐(◣_◢)┌П┐

同時通訳くんSocket.ioを用いて文字入力と同時に翻訳結果を反映同時通訳ぽいレスポンスMicrosoft翻訳apiを使うメモ帳CUIのメモ帳RubyでつくりたいRubyの勉強