2014-02-08から1日間の記事一覧

Deep Learning論文紹介「Deep learning via Hessian-free optimization」

"Hessian-Free"という新しい最適化手法をDeep Learningのauto-encoderの学習に使ってみたら事前学習なしで既存の報告の性能を超えたぞ凄いだろう、という話。ニューラルネットのパラメータ決定はよく研究されている問題で、勾配法で効率よく計算できると言わ…

Deep Learning論文紹介「Learning Recurrent Neural Networks with Hessian-Free Optimization」

リカレントニューラルネット(RNN)に長距離相関を学習させるのは難しい問題だったが、Hessian-Freeを使ったらできた、という話。RNNはBack Propagation Through Time(BPTT)＋確率的勾配法で簡単に計算できることが長所とされているが、10タイムステップほど離…

Deep Learning論文紹介「Generating Text with Recurrent Neural Networks」

リカレントニューラルネット(RNN)を使って文章を生成する話。RNNはパワフルだけど学習が難しい。Hessian-free最適化(HF)を使えばいい感じに学習できて、難しい問題に使える。この論文では文字を入力として言語モデルを作って、そこから文章を生成する。標準…