Pythonの言語モデルを作り始めた。 サンプル数2038件、サンプルごとの平均トークン数10491、最大トークン数290226。 結構長いトークン列があるから固定のN-gramだともったいない感じがあるなぁ。トークン種数は135、全21380862トークン。トークン別の出現数(…