まんぼう日記

takataka's diary

研究

Denoising Autoencoder の実験をしてみる (5)

Denoising Autoencoder の実験をしてみる (4) - まんぼう日記 のつづき.今度は convolution / transposed convolution 使ってみました. 実験 いろいろ Transposed Convolution 関係 Batch Normalization 関係 Convolution だけにしたらどうなる?

Denoising Autoencoder の実験をしてみる (4)

Denoising Autoencoder の実験をしてみる (3) - まんぼう日記 のつづき.て,2年前の記事のつづきかよって感じですが.そん時と同じ実験(MNISTにごま塩とランダム平行移動のノイズを加えて denoising)を TensorFlow でやってみた,という話です.

TensorFlow で MLP と CNN (2)

TensorFlow で MLP と CNN - まんぼう日記 のつづきです. tf.train.Saver 使って学習後のネットワークパラメータを save & restore できるようにしようと,以前のプログラムをいじってたんですが,どうもうまくいきません.どこを間違えてんのか,3回に1回…

CNN で colorization

久しぶりの更新です.3月後半頃からめっちゃ忙しなってまいまして... まあそれはそれとして.畳み込みニューラルネットでグレイスケール画像に色を付ける実験をやってみました. 上記左の画像を入力したら,右の画像を出力するようにしたい,っちうわけです…

TensorFlow で MLP と CNN

Mac に TensorFlow をインストールしてロジスティック回帰させてみた - まんぼう日記 のつづき.ロジスティック回帰のプログラムを改造して隠れ層を追加することからはじめ,TensorFlow の API ドキュメント( https://www.tensorflow.org/api_docs/python/ …

Mac に TensorFlow をインストールしてロジスティック回帰させてみた

たかたかは, Deep Learning 関係で遊ぶ/研究する際にこれまで Theano を主に使ってきた(つい先日 0.9.0 が出ましたね: Welcome — Theano 0.9.0 documentation )んですが,ちょっと試しに TensorFlow をインストールして動かしてみることにしました. Ma…

CNNで抽出した特徴を使った画像検索

久しぶりに 研究 カテゴリーの記事 書きます.Convolution Neural Network (CNN) を画像検索に利用する話です. 画像検索(image retrieval または image search)とは,大量の画像を蓄えた「データベース (database)」の中から,検索対象(「クエリ (query)…

Theano 0.8.2 と cuDNN v5

Theano 0.8.2 がリリースされましたね: https://groups.google.com/forum/#!topic/theano-announce/kzuECmYnXgU Highlight:- cuDNN v5 convolution support (cuDNN v3 isn't supported anymore)- A few crash fix ということなので,Theano を 0.8.0 から 0…

Caffe の学習済みネットワークを Theano に移して動かす (2)

10月にうけた健康診断の結果を分析したレポートが手元に届きました. あなたの「健康年齢」は,実年齢より上です がびーん.家の体脂肪率計付き体重計は実年齢より15歳下って言うてくれるのに... 脂質・血糖の値が高く,注意が必要です.思い当たる生活習慣…

Caffe の学習済みネットワークを Theano に移して動かす

これまでたかたかは,Theano を使ってちまちまと書いたプログラムで Deep Learning の実験をしてきました. Convolution Neural Network を含む複雑なネットワークを簡単に書ける. それを GPU 使ってさくっと動かせる. Python でプログラムを書くことで,…

Theano では allow_gc を False にしよう

Caffe を使ってみる - まんぼう日記 で Caffe と Theano で MNIST の学習をさせる実験をやってみましたが,両者でネットワーク構成が違ってたので,やり直すことにしました.その過程で,Theano で GPU を使うときは config.allow_gc を False にすると速く…

Theano 0.8.0 と cuDNN 4

Theano 0.8.0 がリリースされましたね: https://groups.google.com/forum/#!topic/theano-announce/yK8nPkxH6AQ というわけで,Ubuntu マシンと Mac にインストール.ついでに,Ubuntu マシンの cuDNN のバージョンアップも. Theano 0.8.0 のインストール …

Theano 0.8.0rc1(または,ignore_border は True にしよう)

Theano 0.8.0rc1 が出てますね: https://groups.google.com/forum/#!topic/theano-dev/gAu5NTrxr48 rc1 つまり release candidate その1ですから,まだ 0.8.0 の正式リリースではありませんが,待てないのでインストールして使ってみました.GPGPU用マシン…

Caffe を使ってみる (3)

Caffe を使ってみる - まんぼう日記,Caffe を使ってみる (2) - まんぼう日記 のつづき.CNN を定義する prototxt ファイルを Python のプログラムで生成する話と,Python のプログラムでCNNの学習を実行する話です.こちらの記事を大いに参考にさせてもらい…

Caffe を使ってみる (2)

Caffe を使ってみる - まんぼう日記 のつづき.Python のプログラムで,学習済みの CNN のパラメータを読み込む → テストデータに対する CNN の出力を計算,という処理をやってみます.使ってる caffe は,Ubuntu マシンに Caffe をインストール - まんぼう…

Caffe を使ってみる

Ubuntu マシンに Caffe をインストール - まんぼう日記 Mac に Caffe をインストール - まんぼう日記 で Caffe のインストールができたので,MNIST + LeNet で動作確認します.Caffe | LeNet MNIST Tutorial を参考に,MNIST のデータを使って CNN の学習を…

Mac に Caffe をインストール

Ubuntu マシンに Caffe をインストール - まんぼう日記 に続き,今度は Mac に Caffe をインストールする話です.Caffe の OS X Installation のページ http://caffe.berkeleyvision.org/install_osx.html は Homebrew — OS X 用パッケージマネージャー を h…

Ubuntu マシンに Caffe をインストール

年始からの各種行事が一段落してほっと一息のたかたかです….のはずが.某国際会議の査読が5本も回ってきたり, 3日で120km - まんぼう日記 とか てくてく10,000km - まんぼう日記 とか無謀なことした報い(たぶん)で腰を痛めたりで,ぐだぐだになってしま…

正規分布間の Kullback-Leibler divergence とその勾配

毎年この時期は定期試験とか卒業研究とかその他もろもろ重なって \(@_@\... .../@_@)/ なたかたかです.そーいうわけで,遊び 研究に逃避. 確率分布の間の「距離のようなもの」を測る規準の一つに Kullback-Leibler divergence ちうもんがあります( カルバ…

Batch Normalization を実装する

最近よゆーのーてどよどよな感じのたかたかです.Batch Normalization ちう論文読んだらむしょーにプログラム書いて実験しとーなって,週末にちょこっとやってみました. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Cov…

画像読み込みと学習を並列化するためのほげ ― Python で multi-threading

久しぶりの更新です.ここんとこ,忙しかったり風邪引いたり マンボウが絶滅危惧種に指定 されたりでへろへろやったもので.そんなわけで,11月はじめにやってた話を忘れんうちにメモ. 大量の画像をデータとした Deep Learning をやろうとすると,学習デー…

Theano の conv2d で subsample を指定すると遅い件

シルバーウィーク以降ずっと忙しかったんが一区切りついて,ほっと一息のたかたかです.特に今週はへろへろでもう大変.昨夜なんか,授業終えて研究室に戻ったとたん椅子にへたりこんでしまい,体に力入らへんで1時間ほどぐったりしてました (x_x) でも,早…

NVIDIA GeForce GTX TITAN X

新しいグラフィックスカード,NVIDIA GeForce GTX TITAN X を入手しました. GeForce GTX TITAN X Graphics Card | GeForce | NVIDIA NVIDIA GeForce - Wikipedia Tesla K20C と Quadro K620 が挿さってるGPGPU用マシンに挿して電源オン.そしたら,光りまし…

Dropout を実装する (2)

おとといの夜に腰をぎっくりやってまいました.昨日の朝なんて,しばらくソファに座ってたら立ち上がれへんようんなって,しばらく四つん這いでうろうろ…痛み止め飲んで半日ベッドでうなってました (-_-; 原因はさっぱり不明.毎日のようにてくてく歩いて体…

Dropout を実装する

9月に入ったとたん仕事があれこれ重なって「ああもう夏休み終わったんやなぁ…」ってのと,雨がちであんまりてくてくしてへんのとで,ブルーないしブラックな感じのたかたかです (^^; さて,これまで( Convolutional Neural Net で CIFAR-10 を識別してみる …

cuDNN を入れて Theano で使ってみる

Convolutional Neural Net で CIFAR-10 を識別してみる - まんぼう日記 に書いた,NVIDIA cuDNN – GPU Accelerated Deep Learning の話です.今朝,NVIDIA から GPU Computing & Embedded Developer Program への登録の approval のメイルが来ました.サイト…

Convolutional Neural Net で CIFAR-10 を識別してみる

最近ちまちま研究に勤しんでるたかたかです.8月中旬から9月上旬は書き入れ時やから今のうちにあれもこれも…といろいろ手を出して,ちょっとしっちゃかめっちゃかな感じ.で,自分の研究ネタを煮詰めて行くような気合(?)のいることやる気せえへんかったん…

Superposed Classifier

今日はサーバのメンテナンスをしてました.ここに書くことでもないんですが,12日に仕事場の法定電気設備点検のための停電がありまして,11日夕方から12日夜まで,たかたかの研究室のWebサーバなんかも停止します.ちうわけで&せっかくなのであれこれ…. と…

Superposed Denoising Autoencoder

Denoising Autoencoder の実験をしてみる (3) - まんぼう日記 のつづき.前回の実験3と同じ条件ですが,学習アルゴリズムに小細工をして,隠れ層ニューロンが寄与順に並んだ内部表現を獲得するようにしてみました.1番からH = 1000番まで,番号の小さなニュ…

Denoising Autoencoder の実験をしてみる (3)

昨日で定期試験の採点もおわり,夏休み気分のたかたかです.ちうわけで久しぶりの研究ねた.Denoising Autoencoder の実験をしてみる (2) - まんぼう日記 のつづきです.MNIST で denoising autoencoder の実験をやってみました.前回との違いは, 学習が一…