形態素解析は覚えないと

2008年03月14日 02:40形態素解析は覚えないと

形態素解析とは日本語を解析する言語処理の基礎技術のことです。

文章を品詞ごとで単語に区切って、内容を把握します。検索エンジンでも使われているので、副業でアフィリエイトをやっている方は覚えておいても損はありません。

「重い肩こりが治らないことを嘆きます」

現状の自分ですが、椅子を変えたら大分良くなりました・・・これを形態素解析してみます。

おもい→連体詞
かたこり→名詞
が→格助詞
なお→動詞語幹（ラ行五段活用）
ら→活用語尾
な→助動詞（連体形）
い→;活用語尾
こと→形式名詞
を→格助詞
なげ→動詞語幹（カ行変格活用）
き→活用語尾
ます→助動詞（連用形）
。→句読点

以前に勉強した結果、こんな感じだと思います。

形態素とは聞きなれない言葉ですが、これ以上に細かくすると意味がなくなってしまう最小の文字列のことです。そうなると、もう少し大きな括りで分けたほうが良いかもしれません。

本業でJTBのWebサイトに携わっていたときに、「京都」と検索して、「東京都」のホテルがヒットしてしまったことがあります。

Yahoo!で検索した場合は、きちんと京都のホテルだけがヒットするようになっています。アルゴリズムの質の違いです。

また、ニキビのサイトを作る場合に、「にきび」と「ニキビ」で迷ったことがあります。この場合はカタカナの方が良かったです。

ひらがなにしてしまうと、「白にきびがひどい」は「に」が格助詞と判断され、「きび」が名詞になってしまったことがありました。

現在の検索エンジンは精度が上がり、より国語力が人間に近づいているためにそのような心配は解消されつつあります。

Tweet