Theano 0.7 ／ 桜定点観測(5)

Theano 0.7 で overlap ありの max-pooling & down-sampling

Theano 0.7 が出ましたね．

Welcome — Theano 0.7 documentation

MacPorts でも 0.7 がインストール／にアップグレードできるようになってました．

$ sudo port selfupdate
$ port info py27-theano
py27-theano @0.7.0 (python, devel)
   :
$ sudo port upgrade py27-theano

Theano の開発版をおっかける - まんぼう日記  の時に書いた overlap ありの pooling が出来るようになってます．前に書いた時は，開発版でも（GPU使わずCPUだけでの計算では）遅くて使いもんにならへんかったんですが，リリース版では改善されてることを期待して，実験．CIFAR10 の 32 x 32 x 3 の画像を 5x5 の大きさのフィルタ16種類で畳み込む convolution 層の上に，4x4 領域で max-pooling によるダウンサンプリングをする層，その上に ReLu ユニットの層，最後に softmax の層，という構造で．Theano で MLP & CNN (3) - まんぼう日記  に書いたプログラムをちょっと書き換えて使いました．

Theano 0.6 までの max_pool_2d では，引数 ds に (4, 4) を与えて上述のような max-pooling & down-sampling をする場合，その領域は互いに重ならないようにしか設定できませんでした．それが，Theano 0.7 の max_pool_2d では，引数 st というのが指定できるようになっていて，例えばこれを (2,2) とすると，4x4 のパッチを縦横に2画素ずつずらしながら max-pooling & down-sampling できるようになりました．Theano 0.6 までのんは st が ds と等しい場合に相当します．

というわけで，ds = (4, 4) として，st のみを st = None （従来通りoverlapなし）と st = (2,2) の二通りに変えた条件で実験してみたところ，st = None で70分で終了する学習のプログラムが，st = (2,2) では5時間かけても終わらず．3,40時間かかる見込み…．4倍程度になるんやったらわかるけど…．使えませんがな (;_;)

やぱし Convolutional Neural Network の実験は GPGPU 必須かなぁ．

桜定点観測(5)

さて，気を取り直して，桜定点観測(4) - まんぼう日記 のつづき．↑の実験やってる間に，瀬田川ぐるりさんぽ道 をぐるりっとさんぽしてきました．

というわけで，4月6日から今日11日までの定点観測の結果を 桜定点観測(2) - まんぼう日記 と 桜定点観測(3) - まんぼう日記 に追加しときました．満開んなったとたん雨続きやから，まあ期待しないでどうぞ．

んで，こちらには定点観測ポイントじゃないとこの写真なぞ．ほな「定点観測(5)」とかタイトルつけんなよってとこですが．

瀬田川洗堰そばの風景．小細工...(^^)

今日の洗堰は，1号から4号までが閉じてて5号から10号までが開いてるちう見慣れないパターン．放流量も↑のように見慣れない値．とかいわれても誰にもピンとこーへんでしょうが (^^; 

洗堰からいつもの場所へ．国道422号バイパス工事の様子を見に行ってきました - まんぼう日記 の時と同じ場所で写真撮ってみたので比較してみましょう．まあ，間の悪さにかけては定評のあるたかたかのやることですので，つぼみの頃 vs 散りかけですが (^^;

ならべてみてはじめて気づきましたが，緑がふえてますね．春ですなぁ．

こちらは今回のみの写真．右は，大戸川方へちょっとだけ遡ったところ．

最後に…

桜の花びらを身に纏ってます．風流ですなぁ……．ごめんなさい．

鴨かものおじさん

おまけの余談．朝の登校時なんかに，お食事中の鴨かもなみなさんの邪魔をすることがよくある（ cf. シグモイドの対数が \( -\infty \) になるのを防ぐ - まんぼう日記, 468万円の借金を踏み倒しました ／ 桜定点観測(1) ／ 51C6 - まんぼう日記 ）んですが，最近，いつも同じ群れの邪魔をしてる気がしてきました．

左は3月31日，右2枚は4月8日撮影．↑の時も，他の日に写真撮ってない／撮りそこねた時も，群れの中に一羽だけ，いっつも座ってるひとがおるんですね．

こちらは4月9日撮影．このひと．こんときは撮る直前までずっと座ってたけど，すくっと立ち上がらはりました（「なんやおっさん」て警戒された鴨）．そのままじっと眺めてると，左足をしきりにぴくぴくさせてます．

というわけで，「鴨かものおじさん」と名付けて観察してみることにしました．おじさんかどうか知りませんが (^^;  ほんまに同一個体かどうかもわかりませんが (^^;  単に群れの中の一羽が監視役として座る習性があるだけ，とかそういうことかもしれませんが (^^;