2014-02-01から1ヶ月間の記事一覧

word2vecで両思いの単語を抽出してみた

word2vecのdistanceでXを検索したらY、Yを検索したらXになるようなX, Yの対を検索するコードを書いてみた。コーパスは僕のBookscanで電子化した蔵書、約100MB。語彙数は66622。結構時間がかかるので途中経過を下に乗せておく。全部できたら何%が両思いか調べ…

word2vecが面白い

ロクださんのアクタ、向き引き起こすとしては同意だけども、この「コーディネーターに着くと不愉快になっ」ということばの思い入れはコーディネーター体験がなかっはずだから「コーディネーターとは誰であるか」が分からず「Xに着くと不愉快になっ」というこ…

Re: コミュニティに入るか入らないかでエンジニアとしての幸福度がかわる

きしださんのエントリ、方向性としては賛成だけども、その「コミュニティに入ると幸せになる」という言葉の受け手はコミュニティ経験がないわけだから「コミュニティとは何であるか」がわからず「Xに入ると幸せになる」という言葉としてしか理解しかできない…

Qiitaの話を聞いている

Qiitaとブログの違いがわからないと思ってたがだいぶ違うってことがわかった ブログでは記事に間違いがあった時にコメントで指摘して著者が修正するしかないが、Qiitaではプルリクエストを投げられる(投げてくれるかどうかわからないけど) 間違いがあって修…

sklearn.svm.LinearSVCでフィルタを書いてみる

Wikiquoteのダンプデータから引用部分だけ取り出したいな、と思った。元データを見るとこんな感じ [[小泉純一郎]] CATEGORIES: 政治家, 日本人, 日本の内閣総理大臣, 1940年代生 小泉純一郎(1942年 - )は、日本の政治家(自由民主党)、第87、88、89代総理…

でかい企業のOSSがApache License 2.0だと嬉しい理由

「無期限で世界規模で非独占的で使用料無料で取り消し不能な特許ライセンスを付与します」という条項があるので使わせてもらう側が「わーい、便利なライブラリだー」と思って使っていたら後から「特許料払え!」と言われるという悲劇が起こらないことだって…

放射線耐性Quineの読解

「放射線耐性 Quine (1 文字消しても動く Quine) - まめめも」という頭のおかしい(ほめことば)コードがリリースされていました。以前「The Qlobe - まめめも」がリリースされた時は、Pythonに移植したら「難読コードを読んでみよう(Python初心者向け解説) -…

「10倍の生産性」をマフラーで例える

「プログラマは能力によって生産性に10倍の差がある」とかいうけどこれはプログラミングに限った話ではない。編み物未経験のXさんと既に何本もマフラーを編んだ経験のあるYさんとで、マフラーの最初の5列ぐらいを編むのに掛かる時間で勝負したら、Xさんが編…

僕の履いている防水靴「メレル」

去年の台風シーズンに「靴下が濡れるのが嫌だ」とボヤいていたら妻が「メレル」を買ってくれた。最近の雪でも靴下が濡れないので重宝している。追記:メレルのが全部防水というわけではないみたい。CHAMELEON II STORM GORE-TEXが僕の履いているもの。GORE-T…

論文紹介「A Hierarchical Bayesian Language Model based on Pitman-Yor Processes」

NPYLMを実装するために元になっているHPYLMの論文を読む話。3章。Pitman-Yor過程はbase distributionG0とdiscount parameter 0 -d から新しい分布を作る確率過程。スティック・ブレイキングで構成できる。独立な確率変数列Vk ~ Beta(1 - d, θ+kd)とφk ~ G0か…

論文紹介「ガウス過程に基づく連続空間トピックモデル」

Deep Learningで単語を連続なユークリッド空間に投影したらそれが意味を表現すると盛り上がっているけど、それをやるのに最適化の難しいニューラルネットを使わないで正規分布だと思って最適化したらいい、という論文。word2vecには直接論文上は言及していな…

論文紹介「階層 Pitman-Yor 過程に基づく可変長 n-gram 言語モデル」

既存の方法だと8-gramの言語モデルとか現実的に無理なんだけども、この方法だと可変長だから必要なところだけ長いgramにできるよ、という論文。Pitman-Yor過程と等価な中華料理店過程でツリーを作る。she willの後にsingが来たとするとルートノードからwill…

論文紹介「ベイズ階層言語モデルによる教師なし形態素解析」

形態素解析しなくても単語に分割できる、しかも教師データがいらないので古文や未知の言語でもOK、という論文。Deep Learningの勉強をアウトプットしながらやるために始めた「Deep Learning論文紹介」企画だけども、いきなりDeep Learningではない論文になっ…

Re: 東京は住みにくい

タイトルには全く賛同しませんが、大阪の実家から送られてきた白だしは妻に重宝がられています。自宅で食べるうどんがうまくて幸せ(のろけ)ref. 本の虫: 東京は住みにくい http://cpplover.blogspot.jp/2014/02/blog-post_10.html

Deep Learning論文紹介「Deep learning via Hessian-free optimization」その3

残念なお知らせですが、この連載は続きません。そもそも僕の興味はword2vecによる意味の理解と、言語モデルによる文章の生成だったわけです。後者の論文はRNNLMを使っていて、それは前者の論文の著者がword2vecの前にやっていたことです。というわけでRNNLM…

Deep Learning論文紹介「Deep learning via Hessian-free optimization」その2

"Hessian-Free"という新しい最適化手法をDeep Learningのauto-encoderの学習に使ってみたら事前学習なしで既存の報告の性能を超えたぞ凄いだろう、という話。Deep Learning論文紹介「Deep learning via Hessian-free optimization」の続き。病的な勾配の例と…

Deep Learning論文紹介「Deep learning via Hessian-free optimization」

"Hessian-Free"という新しい最適化手法をDeep Learningのauto-encoderの学習に使ってみたら事前学習なしで既存の報告の性能を超えたぞ凄いだろう、という話。ニューラルネットのパラメータ決定はよく研究されている問題で、勾配法で効率よく計算できると言わ…

Deep Learning論文紹介「Learning Recurrent Neural Networks with Hessian-Free Optimization」

リカレントニューラルネット(RNN)に長距離相関を学習させるのは難しい問題だったが、Hessian-Freeを使ったらできた、という話。RNNはBack Propagation Through Time(BPTT)+確率的勾配法で簡単に計算できることが長所とされているが、10タイムステップほど離…

Deep Learning論文紹介「Generating Text with Recurrent Neural Networks」

リカレントニューラルネット(RNN)を使って文章を生成する話。RNNはパワフルだけど学習が難しい。Hessian-free最適化(HF)を使えばいい感じに学習できて、難しい問題に使える。この論文では文字を入力として言語モデルを作って、そこから文章を生成する。標準…