2014-01-01から1年間の記事一覧
タイトルには全く賛同しませんが、大阪の実家から送られてきた白だしは妻に重宝がられています。自宅で食べるうどんがうまくて幸せ(のろけ)ref. 本の虫: 東京は住みにくい http://cpplover.blogspot.jp/2014/02/blog-post_10.html
残念なお知らせですが、この連載は続きません。そもそも僕の興味はword2vecによる意味の理解と、言語モデルによる文章の生成だったわけです。後者の論文はRNNLMを使っていて、それは前者の論文の著者がword2vecの前にやっていたことです。というわけでRNNLM…
"Hessian-Free"という新しい最適化手法をDeep Learningのauto-encoderの学習に使ってみたら事前学習なしで既存の報告の性能を超えたぞ凄いだろう、という話。Deep Learning論文紹介「Deep learning via Hessian-free optimization」の続き。病的な勾配の例と…
"Hessian-Free"という新しい最適化手法をDeep Learningのauto-encoderの学習に使ってみたら事前学習なしで既存の報告の性能を超えたぞ凄いだろう、という話。ニューラルネットのパラメータ決定はよく研究されている問題で、勾配法で効率よく計算できると言わ…
リカレントニューラルネット(RNN)に長距離相関を学習させるのは難しい問題だったが、Hessian-Freeを使ったらできた、という話。RNNはBack Propagation Through Time(BPTT)+確率的勾配法で簡単に計算できることが長所とされているが、10タイムステップほど離…
リカレントニューラルネット(RNN)を使って文章を生成する話。RNNはパワフルだけど学習が難しい。Hessian-free最適化(HF)を使えばいい感じに学習できて、難しい問題に使える。この論文では文字を入力として言語モデルを作って、そこから文章を生成する。標準…
就職面接で行われるフェルミ推定がアスペルガー症候群の人を選ぶためのものであるという主張をしている人がいた。看過できないので反論しておく。http://anond.hatelabo.jp/20140128183151 まずここが嘘。 アスペルガー症候群(高機能自閉症、PDD)は、まさ…
予測に使うパラメータが増えると、たとえそれがただのノイズで真のモデルには一切出てこないデータであったとしても、訓練データに対しての当てはまりはよくなる。しかしもちろん、テストデータに対しての当てはまりは悪くなる。というわけで線形回帰で1〜5…
昨年、知的財産について勉強をして、だいぶ理解できた気がしました。でも昨年夏の講義資料でも説明したように「理解できた気がする」では仮説にすぎないのです。検証しなければ、自分が本当に理解できているかどうかはわかりません。で、理解を検証する方法…
「原稿を書いては消し書いては消ししていて全然進まない」という話をよく聞きます。これって「よくない精神状態」にハマり込んでいると思います。考えてみましょう。人間が脳内で保持できる情報はどれくらいでしょう?原稿に文章Aを書いて、しっくりこないの…
64 00 00 0c 04 04 04 17 04 03 17 02 04 03 17 04 03 03 04 03 03 13 04 04 14 04 17 18 17 0b 53空関数のco_codeをこれで置き換えて実行すると、2014と表示されます。詳しい説明は後で。 味わい 04を「ど」03を「ろ」17を「あ」と発音するなら 64 00 00 0c…
400個の素性のLogistic Regressionを2000個作って、L1正則化して、0にならなかった素性が62874個。ということは1個あたり31件。9割の素性はゴミということがわかった。でもこれは「とりあえずシンプルな素性でやってみるか」というものなので前に作ったナイ…
word2vecについての解説は省略。参考文献: Taku Kudo - Google+ - https://code.google.com/p/word2vec/ で少し遊んでみた。いわゆる deep… Deep-learningはラテン語の動詞活用を学習できるか? Can deep-learning learn latin conjugation? - naoya_t@haten…
MacOSX(10.7.5)でInstalling scikit-learnを見ながらpip installしたらあっさり成功したので喜んでいたのだが、いざ使ってみるとsoを読もうとしてATLで始まるシンボルを見つけられずにエラーになる。import sklearnが成功しただけで満足して、ちゃんと「nose…
MacPortsがinstall/uninstallをすると何も言わずにハングするようになってしまい、どうやって直したものかとしばらく悩んだ。 一晩放置しても何も進展せずメッセージも出ない Ctrl-Cで死なず、他のターミナルや電源OFFダイアログまで固まる rm /opt/local/va…
来る1/10〜12の「第55回プログラミング・シンポジウム」にて「抽象化」をテーマとしたセッションを行います。 セッション概要 「抽象化」をキーワードに、参加者から「知りたいこと」を募集、みんなでそれに対する答えを考えてワイワイする会です。「知りた…