Theano 0.7 で overlap ありの max-pooling & down-sampling
Theano 0.7 が出ましたね．
Welcome — Theano 0.7 documentation
MacPorts でも 0.7 がインストール／にアップグレードできるようになってました．
$ sudo port selfupdate $ port info py27-theano py27-theano @0.7.0 (python, devel) : $ sudo port upgrade py27-theano
Theano の開発版をおっかける - まんぼう日記 の時に書いた overlap ありの pooling が出来るようになってます．前に書いた時は，開発版でも（GPU使わずCPUだけでの計算では）遅くて使いもんにならへんかったんですが，リリース版では改善されてることを期待して，実験．CIFAR10 の 32 x 32 x 3 の画像を 5x5 の大きさのフィルタ16種類で畳み込む convolution 層の上に，4x4 領域で max-pooling によるダウンサンプリングをする層，その上に ReLu ユニットの層，最後に softmax の層，という構造で．Theano で MLP & CNN (3) - まんぼう日記 に書いたプログラムをちょっと書き換えて使いました．
Theano 0.6 までの max_pool_2d では，引数 ds に (4, 4) を与えて上述のような max-pooling & down-sampling をする場合，その領域は互いに重ならないようにしか設定できませんでした．それが，Theano 0.7 の max_pool_2d では，引数 st というのが指定できるようになっていて，例えばこれを (2,2) とすると，4x4 のパッチを縦横に2画素ずつずらしながら max-pooling & down-sampling できるようになりました．Theano 0.6 までのんは st が ds と等しい場合に相当します．
というわけで，ds = (4, 4) として，st のみを st = None （従来通りoverlapなし）と st = (2,2) の二通りに変えた条件で実験してみたところ，st = None で70分で終了する学習のプログラムが，st = (2,2) では5時間かけても終わらず．3,40時間かかる見込み…．4倍程度になるんやったらわかるけど…．使えませんがな (;_;)
やぱし Convolutional Neural Network の実験は GPGPU 必須かなぁ．
桜定点観測(5)
さて，気を取り直して，桜定点観測(4) - まんぼう日記 のつづき．↑の実験やってる間に，瀬田川ぐるりさんぽ道 をぐるりっとさんぽしてきました．
というわけで，4月6日から今日11日までの定点観測の結果を 桜定点観測(2) - まんぼう日記 と 桜定点観測(3) - まんぼう日記 に追加しときました．満開んなったとたん雨続きやから，まあ期待しないでどうぞ．
んで，こちらには定点観測ポイントじゃないとこの写真なぞ．ほな「定点観測(5)」とかタイトルつけんなよってとこですが．
瀬田川洗堰そばの風景．小細工...(^^)
今日の洗堰は，1号から4号までが閉じてて5号から10号までが開いてるちう見慣れないパターン．放流量も↑のように見慣れない値．とかいわれても誰にもピンとこーへんでしょうが (^^;
洗堰からいつもの場所へ．国道422号バイパス工事の様子を見に行ってきました - まんぼう日記 の時と同じ場所で写真撮ってみたので比較してみましょう．まあ，間の悪さにかけては定評のあるたかたかのやることですので，つぼみの頃 vs 散りかけですが (^^;
ならべてみてはじめて気づきましたが，緑がふえてますね．春ですなぁ．
こちらは今回のみの写真．右は，大戸川方へちょっとだけ遡ったところ．
最後に…
桜の花びらを身に纏ってます．風流ですなぁ……．ごめんなさい．
鴨かものおじさん
おまけの余談．朝の登校時なんかに，お食事中の鴨かもなみなさんの邪魔をすることがよくある（ cf. シグモイドの対数が \( -\infty \) になるのを防ぐ - まんぼう日記, 468万円の借金を踏み倒しました ／ 桜定点観測(1) ／ 51C6 - まんぼう日記 ）んですが，最近，いつも同じ群れの邪魔をしてる気がしてきました．
左は3月31日，右2枚は4月8日撮影．↑の時も，他の日に写真撮ってない／撮りそこねた時も，群れの中に一羽だけ，いっつも座ってるひとがおるんですね．
こちらは4月9日撮影．このひと．こんときは撮る直前までずっと座ってたけど，すくっと立ち上がらはりました（「なんやおっさん」て警戒された鴨）．そのままじっと眺めてると，左足をしきりにぴくぴくさせてます．
というわけで，「鴨かものおじさん」と名付けて観察してみることにしました．おじさんかどうか知りませんが (^^; ほんまに同一個体かどうかもわかりませんが (^^; 単に群れの中の一羽が監視役として座る習性があるだけ，とかそういうことかもしれませんが (^^;
