murawaki の雑記

はてなグループから移転してきました

2010-09-19から1日間の記事一覧

単語の zero-gram 確率

NLP

単語 w を生成する zero-gram 確率をどうやってモデル化しましょうかという話。想定する用途は単語分割。単語分割では、長さの違う単語候補同士を比較して、どっちがそれらしいか推定する。一様分布を仮定するといかにも都合が悪そう。そこで、単語が構成要…