日本語の形態素解析について、問題設定が微妙ではないかと思う部分の一つとして、過度の曖昧性の解消を挙げてみる。例から入る。ひらがな表記の動詞「くる」を考える。対応する漢字表記として挙げられるのは「来る」と「繰る」。*1そもそも一般に、和語は広…

終端記号が過不足なく定義されていないというのは、自分の研究の問題設定の説明として思いついた話。ボツになりそうなのでここに載せる。文脈自由文法を考える。自然言語だけでなく、プログラミング言語にも用いられるおなじみの文法。文脈自由文法では導出…