…9ed．BN は昔 Theano で自分で書いたことがある（Batch Normalization を実装する - まんぼう日記）けど，いまどき TensorFlow では簡単に組み込めます．今回は tf.nn.batch_normalization | TensorFlow 使ってます． ただ，BN 使ってはみたものの，今回のネットワーク構成では特に恩恵は感じられませんでした．バイアス項使って BN しないプログラムも動かしてみたけど，普通に学習進むし速さもほとんど変わらへ…

… ex170817cnnL.py /gpu:0 # GeForce GTX 1080 : 9500 1214944 0.00201407230972 99.932 0.0669418959407 98.97 CPU times: user 1min 42s, sys: 9.94 s, total: 1min 52s Wall time: 1min 8s Theano や Caffe で同じ条件でやった実験結果がないのでなんとも言えませんが，計算速度はまあこんなもんでしょうか．

…ンの更新(3) 〜 Theano と Caffe のインストール - まんぼう日記 にあります． まずは，Mac で ISO イメージを焼いた DVD メディアを作成．USBフラッシュメモリ経由でもやろうとしたけど，いろいろあって（忘れた）結局 DVD で．ちなみに，最近の Mac OS / macOS で ISO イメージを DVD-R に焼くには，Finder で ISO ファイルを右クリックして「ディスクを作成」です（とメモってあった...もっと大事なことメモっとけよ）…

…究する際にこれまで Theano を主に使ってきた（つい先日 0.9.0 が出ましたね： Welcome — Theano 0.9.0 documentation ）んですが，ちょっと試しに TensorFlow をインストールして動かしてみることにしました． Mac に TensorFlow をインストール 準備 TensorFlow のインストール TensorFlow でロジスティック回帰 サンプルプログラムを動かしてみる 自分で書いてみる Mac に TensorFl…

…済みネットワークを Theano に移して動かす (2) - まんぼう日記 この CNN の最後の ReLU (Rectified Linear Unit) 層の出力（ReLU が 4096 個あるので 4096 次元ベクトル）をユークリッドノルムが 1 になるように正規化したものを画像特徴とします．ただし，この設定では CNN への入力画像の大きさが 224 x 224 に限定されますので，DB画像もクエリ画像も，短辺が 256 になるように縮小（アスペクト比は変えない）し…

…月 大石東バイパスとTheanoでGPGPU - まんぼう日記 橋種選定の話や橋梁工事の行程が記された文書を発見 2016年3月 国道422号バイパス工事の様子を見に行ってきました (2) - まんぼう日記 両岸の橋台(?)ができたみたい 2016年8月 国道422号バイパス工事の様子を見に行ってきました (3) - まんぼう日記 西岸の現道に鋼製の覆いがかかった＆鋼製の塔が建った 2016年11月 国道422号バイパス工事の様子を見に行ってきました (4) - まんぼう日記…

…cuDNN 5.0 Theano 0.8.2 & Caffe 1.0.0-rc3 というわけで，作業メモ． GPGPUマシンの更新(1) 〜 Ubuntu 16.04 をインストールして NVIDIA ドライバを入れる 〜 - まんぼう日記 GPGPUマシンの更新(2) 〜 CUDA 7.5 と cuDNN 5.1RC - まんぼう日記 GPGPUマシンの更新(3) 〜 Theano と Caffe のインストール - まんぼう日記 この(3)では，Theano 0.8.2 …

…． 大石東バイパスとTheanoでGPGPU - まんぼう日記 からもリンクしてる文書（ http://www.pref.shiga.lg.jp/h/d-kanri/kikaku/files/2_uehara.pdf ）に記された工事の要領によると，両岸に塔を立ててケーブルを張り，橋の部材を吊り下げて運ぶことになってるようです．山の上のコンクリートはそのアンカーブロックですね．ここからはたかたかの勝手な推測ですが，おそらくこの覆いは，万が一ケーブルが切れたときに国道上の人や車…

…DNN 5.0RC Theano 0.8.2 というわけで，作業メモ． GPGPUマシンの更新(1) 〜 Ubuntu 16.04 をインストールして NVIDIA ドライバを入れる 〜 - まんぼう日記 GPGPUマシンの更新(2) 〜 CUDA 7.5 と cuDNN 5.1RC - まんぼう日記 GPGPUマシンの更新(3) 〜 Theano と Caffe のインストール - まんぼう日記 この(2)では，CUDA 7.5 と cuDNN 5.0RC をインストールし…

…DNN 5.0RC Theano 0.8.2 というわけで，作業メモ． GPGPUマシンの更新(1) 〜 Ubuntu 16.04 をインストールして NVIDIA ドライバを入れる 〜 - まんぼう日記 GPGPUマシンの更新(2) 〜 CUDA 7.5 と cuDNN 5.1RC - まんぼう日記 GPGPUマシンの更新(3) 〜 Theano と Caffe のインストール - まんぼう日記 この(1)は，OSのインストールの話．それから，デフォルトのグラフィクスドライ…

Theano 0.8.2 がリリースされましたね： https://groups.google.com/forum/#!topic/theano-announce/kzuECmYnXgU Highlight:- cuDNN v5 convolution support (cuDNN v3 isn't supported anymore)- A few crash fix ということなので，Theano を 0.8.0 から 0.8.2 へ，cuDNN を v4 から v5 （…

…済みネットワークを Theano に移して動かす - まんぼう日記 のつづきです．Caffe を使って ImageNet の画像で学習した deep なネットワークを入手し，それを Theano で動かしてみます． ネットワークモデルの選択と入手 Theano に移すプログラムの用意 実験 ネットワークモデルの選択と入手 Caffe | Model Zoo ／ Model Zoo · BVLC/caffe Wiki · GitHub を物色．メジャーなところがええやろう，ちう…

これまでたかたかは，Theano を使ってちまちまと書いたプログラムで Deep Learning の実験をしてきました． Convolution Neural Network を含む複雑なネットワークを簡単に書ける． それを GPU 使ってさくっと動かせる． Python でプログラムを書くことで，新たなアルゴリズムを簡単に組み込める．しかも GPU も使ってくれる． ってあたりが Theano を使う理由です．1. と 2. なら Caffe その他いくらでも選択肢があり…

…で Caffe と Theano で MNIST の学習をさせる実験をやってみましたが，両者でネットワーク構成が違ってたので，やり直すことにしました．その過程で，Theano で GPU を使うときは config.allow_gc を False にすると速くなる，っちうことがわかったのでメモ． config.allow_gc 何かのついでに Theano のドキュメントを調べてたら，次の記述を見つけました． config – Theano Configuration — …

Theano 0.8.0 がリリースされましたね： https://groups.google.com/forum/#!topic/theano-announce/yK8nPkxH6AQ というわけで，Ubuntu マシンと Mac にインストール．ついでに，Ubuntu マシンの cuDNN のバージョンアップも． Theano 0.8.0 のインストール Ubuntu マシンへのインストール Mac へのインストール cuDNN 4 のインストール Theano 0.8.…

Theano 0.8.0rc1 が出てますね： https://groups.google.com/forum/#!topic/theano-dev/gAu5NTrxr48 rc1 つまり release candidate その1ですから，まだ 0.8.0 の正式リリースではありませんが，待てないのでインストールして使ってみました．GPGPU用マシンに Ubuntu をインストールして Theano を使えるようにする - まんぼう日記 で Ubuntu + Theano …

…記 大石東バイパスとTheanoでGPGPU - まんぼう日記 にあります． まずは瀬田川ぐるりさんぽ道を歩いて瀬田川洗堰へ，そしてその先のいつもの場所へ． 右が，いつもの場所から見た橋梁架設予定地．両岸に橋台らしきものが見えます．どちらも今は工事してない様子． 左岸に渡って近くまで行ってみることにしました．川沿いの道（県道29号）は狭くて歩道ない上に車が多いので，太子地区の畑の中をのんびりてくてく． 左は，上津神社．奥に写ってる建物は舞台のように見えますが，今も使われてるん…

…9%． 比較のため，Theano を使った実験もやってみました．CNN のプログラムは Convolutional Neural Net で CIFAR-10 を識別してみる - まんぼう日記 の時に書いた convnet150821.py ちうやつです．CNN の構成は同じ．重みの初期化や学習の仕方は少し異なります． $ time THEANO_FLAGS='floatX=float32,device=gpu0' python ex160302.py Using gpu d…

…たかたかはこれまで Theano を使ってきました（ Theano の検索結果 - まんぼう日記 ）が，諸般の事情で Caffe にも手を出すことにしたのです．Caffe については Caffe | Deep Learning Framework へどうぞ．インストール法は Caffe | Installation に詳しく書かれてて，そっちの方がこっちの駄文よりたぶん明解です． 姉妹記事: Mac に Caffe をインストール - まんぼう日記 インストール環境 インスト…

…た．これまで同様に Theano を使ってます．ソースはこちら： https://gist.github.com/takatakamanbou/1af88ab0d7f10b842f58 https://gist.github.com/takatakamanbou/2471f7b4de908a601646 やっつけ仕事で効率の悪い処理になってるとこもあるので注意です．まだ convolutional neural network で使えるようにしてへんし． 3層のネットワークで…

…ゃんと動いてないと．Theano でGPU使うプログラムを実行してみると，同じメッセージを出したうえでCPU上で動いてる様子…．こ，これはヤバイ…．たかたかだけでなく学生も CUDA & Theano で GPGPU してるマシンなので，使えなくなると超ヤバイ…．ちうわけで大焦り \(@_@\ ... /;_;)/ どないもならへんので，しばらく逃避して，ぐにゃぐにゃカメラの前でちびっこと走り回ります (^^) その後，もう一度調べてみると，Ubuntu では次のようにしてカ…

…て，以前から何度か，Theano の max_pool_2d downsample – Down-Sampling — Theano 0.7 documentation で st を指定して overlap ありの pooling をやろうとすると，GPUの使用率が極端に下がって実行が非常に遅くなってしまう，という話をしてました． Theano 0.7 ／ 桜定点観測(5) - まんぼう日記 Theano で GPU 使って Convolutional Neural Net …

…. 大石東バイパスとTheanoでGPGPU - まんぼう日記 ）まだ動きはないですね．そのうち両岸に巨大な塔が建ちワイアが張られて…てなことになるみたいです．わくわく． そして，全開放流中の洗堰．もじゃさんもいました．全開 法隆寺 放流時の写真をもっと見たいという 変なひと 好奇心旺盛なひとはこちらもどうぞ：Denoising Autoencoder の実験をしてみる - まんぼう日記，全開放流をとるか授業をとるか - まんぼう日記． Convolutional Neura…

…か 大石東バイパスとTheanoでGPGPU - まんぼう日記 とか）ずっと後回しにしてきた dropout を実装しました．参考にした文献はこちら： Dropout: A Simple Way to Prevent Neural Networks from Overfitting 深層学習 (機械学習プロフェッショナルシリーズ) dropout を入れるついでに，今までのプログラムを大幅に書き直し．んで，MNIST 使って実験してみました．ソースと実験結果の生データが ht…

…NNの設定の仕方や Theano で使う方法については，Theano のサイトに詳しい説明があります：sandbox.cuda.dnn – cuDNN — Theano 0.7 documentation 以下はそれを参考に書いてます． cuDNNの設定 まずは， NVIDIA cuDNN – GPU Accelerated Deep Learning から cuDNN 3 のアーカイブファイルをダウンロード．たかたかは Linux + CUDA 7.0 で使うので，cudn…

…みました（ cf. Theano で GPU 使って Convolutional Neural Net - まんぼう日記 ）． そしたら，ダウンロードするには NVIDIA Developer として登録することが必要で，その際に登録フォームに使用目的なんかを書いてしかもその審査を受けなあかんということでした．先週金曜の午後に登録しましたが，まだ返事来ません．手作業ちうことか？ アメリカ西海岸が月曜朝を迎えるまで待つしかなさそう． ちうわけで，そっちへの逃避に失敗したので，別…

…で，大石東バイパスとTheanoでGPGPU - まんぼう日記 とか Theano で MLP & CNN (2) - まんぼう日記 のつづきともいえます． ネットワークの構成は，入力ーReLuーsoftmax の2層と，もうひとつ ReLu の層をはさんだ3層の2通り．2層の場合，隠れ層のニューロンは1000個．3層の場合，入力に近い側の隠れ層は1000個，遠い側は500個．いずれも1000個の方の層に対して，例の手法（といっても現時点ではどこにもその説明してないんですが）…

… Python + Theano + NumPy + OpenCV で作成． ex150808.py: 実験用．ニューラルネットの学習には， Denoising Autoencoder の実験をしてみる - まんぼう日記 で作った nnet150718.py を使ってます． mnist150808.py: MNISTのデータ読み込み． mnist_sub150808.py: MNISTのデータにノイズをのせたりとかいろいろ． 実験1: 隠れ層ニューロン数 H = 100，線形…

…回の「注意」参照． Theano + Numpy + OpenCV で作ったプログラム ex150718-2.py: 前回（ Denoising Autoencoder の実験をしてみる - まんぼう日記 ）作った nnet150718.py 使ってます．また，大石東バイパスとTheanoでGPGPU - まんぼう日記 のリンク先にある mnist0118.py も使ってます． 実験結果と考察 こんなんなりました． 条件誤差(*1)ノイズありテストデータに対する出力 1. 0…

これまでの話（ Theano で GPU 使って Convolutional Neural Net - まんぼう日記 ）から少しそれますが，Denoising Autoencoder の実験をしてみました．例によって余談付き…． 瀬田川洗堰は全開放流中です 台風11号が琵琶湖周辺にたくさん雨を降らせたせいで（たぶん），瀬田川洗堰は全開放流を始めました．今日は仕事があったので，昼過ぎにX登校プチして様子を見に行ってきました． 上流側から．左の写真の左の方，上部が煉瓦色になってる…