読者です 読者をやめる 読者になる 読者になる

まんぼう日記

takataka's diary

Mac に TensorFlow をインストールしてロジスティック回帰させてみた

たかたかは, Deep Learning 関係で遊ぶ/研究する際にこれまで Theano を主に使ってきた(つい先日 0.9.0 が出ましたね: Welcome — Theano 0.9.0 documentation )んですが,ちょっと試しに TensorFlow をインストールして動かしてみることにしました. Ma…

CNNで抽出した特徴を使った画像検索

久しぶりに 研究 カテゴリーの記事 書きます.Convolution Neural Network (CNN) を画像検索に利用する話です. 画像検索(image retrieval または image search)とは,大量の画像を蓄えた「データベース (database)」の中から,検索対象(「クエリ (query)…

Theano 0.8.2 と cuDNN v5

Theano 0.8.2 がリリースされましたね: https://groups.google.com/forum/#!topic/theano-announce/kzuECmYnXgU Highlight:- cuDNN v5 convolution support (cuDNN v3 isn't supported anymore)- A few crash fix ということなので,Theano を 0.8.0 から 0…

Caffe の学習済みネットワークを Theano に移して動かす (2)

10月にうけた健康診断の結果を分析したレポートが手元に届きました. あなたの「健康年齢」は,実年齢より上です がびーん.家の体脂肪率計付き体重計は実年齢より15歳下って言うてくれるのに... 脂質・血糖の値が高く,注意が必要です.思い当たる生活習慣…

Caffe の学習済みネットワークを Theano に移して動かす

これまでたかたかは,Theano を使ってちまちまと書いたプログラムで Deep Learning の実験をしてきました. Convolution Neural Network を含む複雑なネットワークを簡単に書ける. それを GPU 使ってさくっと動かせる. Python でプログラムを書くことで,…

Theano では allow_gc を False にしよう

Caffe を使ってみる - まんぼう日記 で Caffe と Theano で MNIST の学習をさせる実験をやってみましたが,両者でネットワーク構成が違ってたので,やり直すことにしました.その過程で,Theano で GPU を使うときは config.allow_gc を False にすると速く…

Theano 0.8.0 と cuDNN 4

Theano 0.8.0 がリリースされましたね: https://groups.google.com/forum/#!topic/theano-announce/yK8nPkxH6AQ というわけで,Ubuntu マシンと Mac にインストール.ついでに,Ubuntu マシンの cuDNN のバージョンアップも. Theano 0.8.0 のインストール …

Theano 0.8.0rc1(または,ignore_border は True にしよう)

Theano 0.8.0rc1 が出てますね: https://groups.google.com/forum/#!topic/theano-dev/gAu5NTrxr48 rc1 つまり release candidate その1ですから,まだ 0.8.0 の正式リリースではありませんが,待てないのでインストールして使ってみました.GPGPU用マシン…

Caffe を使ってみる (3)

Caffe を使ってみる - まんぼう日記,Caffe を使ってみる (2) - まんぼう日記 のつづき.CNN を定義する prototxt ファイルを Python のプログラムで生成する話と,Python のプログラムでCNNの学習を実行する話です.こちらの記事を大いに参考にさせてもらい…

Caffe を使ってみる (2)

Caffe を使ってみる - まんぼう日記 のつづき.Python のプログラムで,学習済みの CNN のパラメータを読み込む → テストデータに対する CNN の出力を計算,という処理をやってみます.使ってる caffe は,Ubuntu マシンに Caffe をインストール - まんぼう…

Caffe を使ってみる

Ubuntu マシンに Caffe をインストール - まんぼう日記 Mac に Caffe をインストール - まんぼう日記 で Caffe のインストールができたので,MNIST + LeNet で動作確認します.Caffe | LeNet MNIST Tutorial を参考に,MNIST のデータを使って CNN の学習を…

Mac に Caffe をインストール

Ubuntu マシンに Caffe をインストール - まんぼう日記 に続き,今度は Mac に Caffe をインストールする話です.Caffe の OS X Installation のページ http://caffe.berkeleyvision.org/install_osx.html は Homebrew — OS X 用パッケージマネージャー を h…

Ubuntu マシンに Caffe をインストール

年始からの各種行事が一段落してほっと一息のたかたかです….のはずが.某国際会議の査読が5本も回ってきたり, 3日で120km - まんぼう日記 とか てくてく10,000km - まんぼう日記 とか無謀なことした報い(たぶん)で腰を痛めたりで,ぐだぐだになってしま…

正規分布間の Kullback-Leibler divergence とその勾配

毎年この時期は定期試験とか卒業研究とかその他もろもろ重なって \(@_@\... .../@_@)/ なたかたかです.そーいうわけで,遊び 研究に逃避. 確率分布の間の「距離のようなもの」を測る規準の一つに Kullback-Leibler divergence ちうもんがあります( カルバ…

Batch Normalization を実装する

最近よゆーのーてどよどよな感じのたかたかです.Batch Normalization ちう論文読んだらむしょーにプログラム書いて実験しとーなって,週末にちょこっとやってみました. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Cov…

画像読み込みと学習を並列化するためのほげ ― Python で multi-threading

久しぶりの更新です.ここんとこ,忙しかったり風邪引いたり マンボウが絶滅危惧種に指定 されたりでへろへろやったもので.そんなわけで,11月はじめにやってた話を忘れんうちにメモ. 大量の画像をデータとした Deep Learning をやろうとすると,学習デー…

Theano の conv2d で subsample を指定すると遅い件

シルバーウィーク以降ずっと忙しかったんが一区切りついて,ほっと一息のたかたかです.特に今週はへろへろでもう大変.昨夜なんか,授業終えて研究室に戻ったとたん椅子にへたりこんでしまい,体に力入らへんで1時間ほどぐったりしてました (x_x) でも,早…

NVIDIA GeForce GTX TITAN X

新しいグラフィックスカード,NVIDIA GeForce GTX TITAN X を入手しました. GeForce GTX TITAN X Graphics Card | GeForce | NVIDIA NVIDIA GeForce - Wikipedia Tesla K20C と Quadro K620 が挿さってるGPGPU用マシンに挿して電源オン.そしたら,光りまし…

Dropout を実装する (2)

おとといの夜に腰をぎっくりやってまいました.昨日の朝なんて,しばらくソファに座ってたら立ち上がれへんようんなって,しばらく四つん這いでうろうろ…痛み止め飲んで半日ベッドでうなってました (-_-; 原因はさっぱり不明.毎日のようにてくてく歩いて体…

Dropout を実装する

9月に入ったとたん仕事があれこれ重なって「ああもう夏休み終わったんやなぁ…」ってのと,雨がちであんまりてくてくしてへんのとで,ブルーないしブラックな感じのたかたかです (^^; さて,これまで( Convolutional Neural Net で CIFAR-10 を識別してみる …

cuDNN を入れて Theano で使ってみる

Convolutional Neural Net で CIFAR-10 を識別してみる - まんぼう日記 に書いた,NVIDIA cuDNN – GPU Accelerated Deep Learning の話です.今朝,NVIDIA から GPU Computing & Embedded Developer Program への登録の approval のメイルが来ました.サイト…

Convolutional Neural Net で CIFAR-10 を識別してみる

最近ちまちま研究に勤しんでるたかたかです.8月中旬から9月上旬は書き入れ時やから今のうちにあれもこれも…といろいろ手を出して,ちょっとしっちゃかめっちゃかな感じ.で,自分の研究ネタを煮詰めて行くような気合(?)のいることやる気せえへんかったん…

Superposed Classifier

今日はサーバのメンテナンスをしてました.ここに書くことでもないんですが,12日に仕事場の法定電気設備点検のための停電がありまして,11日夕方から12日夜まで,たかたかの研究室のWebサーバなんかも停止します.ちうわけで&せっかくなのであれこれ…. と…

Superposed Denoising Autoencoder

Denoising Autoencoder の実験をしてみる (3) - まんぼう日記 のつづき.前回の実験3と同じ条件ですが,学習アルゴリズムに小細工をして,隠れ層ニューロンが寄与順に並んだ内部表現を獲得するようにしてみました.1番からH = 1000番まで,番号の小さなニュ…

Denoising Autoencoder の実験をしてみる (3)

昨日で定期試験の採点もおわり,夏休み気分のたかたかです.ちうわけで久しぶりの研究ねた.Denoising Autoencoder の実験をしてみる (2) - まんぼう日記 のつづきです.MNIST で denoising autoencoder の実験をやってみました.前回との違いは, 学習が一…

Denoising Autoencoder の実験をしてみる (2)

今日は受験生向けオープンキャンパス.たかたかも研究室公開に参加するため,日曜出勤です.最近の休日出勤の定番,いつものX登校プチコース10.5kmをランニング70分.で,わかったことがひとつ….夏はシャツの替えだけやのうて,替え短パンと替えパンツも用…

Denoising Autoencoder の実験をしてみる

これまでの話( Theano で GPU 使って Convolutional Neural Net - まんぼう日記 )から少しそれますが,Denoising Autoencoder の実験をしてみました.例によって余談付き….

Theano で GPU 使って Convolutional Neural Net

大石東バイパスとTheanoでGPGPU - まんぼう日記 では,Theano ( Welcome — Theano 0.7 documentation ) で多層パーセプトロン(MLP)の学習プログラムを作り,GPU上で動かすとCPUのみの場合よりも速いことを確認しました.今度は,Convolutional Neural Net (C…

MacPorts で OpenCV 3.0.0 + opencv_contrib をインストール

Mac OS X のファイルの拡張属性を消去する - まんぼう日記 からさらにへろへろ度を増したたかたかです.楽しうないけどやらなかん仕事が山積みなんをほっぽり出して,ちょっとだけ逃避. 少し前に OpenCV 3.0.0 が出ましたね.また旧バージョンからあちこち…

大石東バイパスとTheanoでGPGPU

なんでまたそういう無関係なネタを一つの記事にするっ,ておしかりをうけそーですが (^^; 前者は小ネタなので… 国道422号線大石東バイパスの話 国道422号バイパスをてくてく etc. - まんぼう日記 国道422号バイパス工事の様子を見に行ってきました - まんぼ…

Theano 0.7 / 桜定点観測(5)

Theano 0.7 で overlap ありの max-pooling & down-sampling Theano 0.7 が出ましたね. Welcome — Theano 0.7 documentation MacPorts でも 0.7 がインストール/にアップグレードできるようになってました. $ sudo port selfupdate $ port info py27-thea…

シグモイドの対数が \( -\infty \) になるのを防ぐ

ようやくちょこちょこ研究はじめたたかたかです. てくてく登校 研究のねたそのものはまだ記事にできないので,てくてく登校した話を….っておい,タイトルの件はどーなった,って方はずっと下の方へスクロールしませう(すいません (^^;). いつもの遠回り…

Theano の開発版をおっかける

毎年度恒例12月から2月にかけての忙し期間も,昨日であらかたおわり.気が緩んだのか,昨晩夕食後にちょっと横んなって,気づいたら朝の9時でしたがな… (^^; で,頭痛が痛いっす.昔から,ストレスから解放されると頭痛起こす体質なもんで (^^;; それはさて…

Theano で MLP & CNN (3)

先週末の暴挙のせいでまだ体のあちこちが痛いんですが (^^; Theano で MLP & CNN (2) - まんぼう日記 CIFAR-10 と ZCA whitening - まんぼう日記 のつづき.Multi-Layer Perceptron と Convolutional Neural Network で CIFAR-10 の画像識別をやってみます.

CIFAR-10 と ZCA whitening

Theano で Multi Layer Perceptron & Convolutional Neural Net - まんぼう日記 と Theano で MLP & CNN (2) - まんぼう日記 の Convolutional Neural Net の実験のつづきで,MNIST のかわりに CIFAR-10 を使ってみることにしました.ちうことで,CIFAR-10 …

Theano で MLP & CNN (2)

Theano で Multi Layer Perceptron & Convolutional Neural Net - まんぼう日記 のつづき.重みの正則化(regularization, weight decayとも)の項を入れました.ついでに細々と条件を見直して,MNISTの識別実験を再び. これまでの経緯や関連記事は上記リン…

Theano で Multi Layer Perceptron & Convolutional Neural Net

Theano で Convolutional Neural Net - まんぼう日記 のつづき.前回のプログラムでは,max-pooling の後で ReLu する場合にしきい値を入れ忘れてました.それを直すついでに,プログラム全体を書き直してすっきりさせました. 関連記事: Pylearn2 の tutor…

Theano で Convolutional Neural Net

先日の Theano で Multi Layer Perceptron - まんぼう日記 のつづき.Theano で convolution + pooling する層を作ってみます. 関連記事: Pylearn2 の tutorial でお勉強 - 5時間目 - まんぼう日記 発端 MNISTのデータを読み込むPythonプログラム - まんぼ…

Theano で Multi Layer Perceptron

昨日の MNIST の Logistic Regression Theano版 - まんぼう日記 のつづき.Logistic Regression のネットワークに隠れ層を追加して多層パーセプトロン(Multi Layer Perceptron, MLP)化します. 関連記事: Pylearn2 の tutorial でお勉強 - 5時間目 - まんぼ…

MNIST の Logistic Regression Theano版

MNIST の Logistic Regression - まんぼう日記 のつづき.自分で書いてた Logistic Regression のコードを,Theano を使って書き直してみます. 関連記事: Pylearn2 の tutorial でお勉強 - 5時間目 - まんぼう日記 発端 MNISTのデータを読み込むPythonプロ…

MNIST の Logistic Regression

細々した仕事を片付けて,さあ試験の採点を,と思ったら猛烈な眠気が….お昼に1.5倍のカップ麺とか食べたせい…か?…ねむ….ああ,朝ごはん,昨夜の残りの水炊き…あれのせいも?…むにゃ.朝から鍋て,むちゃくちゃですな…ぐぅ.まあこんな調子やったので,答…

Logistic Regression してみる

今日は自分の受け持ちの科目の期末試験でした.昨日の午後に問題ができたとこ(ほんまは12月中旬には作っとくことになってるんですが…)っちうていたらくでしたが,一応無事終了.採点はまだですが.で,昨日のうちに問題用紙と解答用紙の印刷その他ほとんど…

MNISTで nearest neighbor / int か float か,それが問題です / np.argpartition

MNISTのデータを読み込むPythonプログラム - まんぼう日記 のつづき.MNIST を nearest neighbor 法(最近傍法,NN法)で識別する実験やってみました. プログラムはこんなん.

MNISTのデータを読み込むPythonプログラム

12月1月2月の忙しシーズン真っ最中ですが,ちょっとだけ余裕ができました.というわけで今日はゆっくり…台所片付けたり,洗濯したり,カレー作ったり.食器とかあふれて悲惨なことんなってた台所片付けて洗い物してたら,ガラス容器を割ってまいました.食洗…

X登校プチ15km & 論文のself-archiving

朝起きてメイルをチェックしたら,「あんたの論文の proof の用意ができたで.校正原稿をダウンロードして確認&赤入れて,23 December までにアップロードしてね」ってメイルが来てました( cf. はやぶさ2とTPAMI論文 - まんぼう日記 ).えっと,今日が23…

はやぶさ2とTPAMI論文

H-IIAロケット26号機の打ち上げが成功し,「はやぶさ2」は無事に旅立ちました.よかったよかった \(^o^)/ ファン!ファン!JAXA! そんなニュースとならべるのはおこがましいんですが,たかたか的には今日はもう一つうれしいことがありまして.投稿中やった論文…

「かたつう」と Theano のお勉強 - 7時間目

南湖一周46km - まんぼう日記 以来体中あちこち痛かったんが, 免許更新 + 瀬田川洗堰 Part 8 + X登校プチ + α = 33km - まんぼう日記 のおかげで痛いの痛いの飛んでった〜,と思ったら全部左肩に帰ってきた (^^; どれくらいかっちゅーと,てくてくしてる時…

Pylearn2 のお勉強 - 6時間目

Pylearn2 の tutorial でお勉強 - 5時間目 - まんぼう日記 のつづき.自分で Theano 使って convolutional net のプログラムを書くことを視野に入れて,Pylearn2 で学習したネットワークのパラメータを取り出して,自前でネットワーク出力を計算してみること…

Pylearn2 の tutorial でお勉強 - 5時間目

ほぼ1ヶ月ぶりの 「研究」 ねたです.久しぶりなので経緯から…

続 Theano + CUDA

例によって余計な枕から 今日は朝から事務仕事.自分の研究室の今年度の某予算の費目毎の支出状況を確認したり,今後のお買い物計画を見直したり.当初の計画になかった MacBook Air 6台(学生用)を買ったので,予定してた自分のメインマシンの更新をどうし…