解析ツールの本末
デジタル大辞泉にある辞書義で、形態素の単位に区切り、品詞を判別すると説明がある。理解できない説明となっていて、サイトなどの解説にも蔓延している。
その間違いを見ると、「形態素解析をして最小単位になった単語を、辞書などの情報と照らし合わせ、それらの単語の品詞の種類、活用形の種類などを割り出して」と、本末転倒が見える。一般にわかりよくということがあるかもしれないが、これがまた、ユーチューブにある日本語教師用の動画解説になると、素人の独学とあるから目くじらを立てる必要はないが、もっとひどくなっていく様子である。
けいたいそ‐かいせき【形態素解析】
《morphological analysis》コンピューターの自然言語処理の一。与えられた文章を、辞書データなどを用いて形態素の単位に区切り、品詞を判別する処理。仮名漢字変換や機械翻訳、音声認識で使用する。
>
形態素(けいたいそ、英: morpheme)とは、言語学の用語で、意味をもつ表現要素の最小単位。ある言語においてそれ以上分解したら意味をなさなくなるところまで分割して抽出された、音素のまとまりの1つ1つを指す。 形態素の一般的な性質や、形態素間の結びつきなどを明らかにする言語学の領域は、形態論と呼ばれる。
ウィキペディアによる
>
意味をもつ最小の形式的単位を表す言語学の用語。本箱「ほんばこ」は「ほん」と「ばこ」という二つの意味をもつ部分に分けられる。「箱」は単独に用いられるときは「はこ」であるから、形態素の{hako}は/hako/と/bako/という二つの表れ方をする。このような具体的な音素連続の形をしたものを異形態allomorphという。すなわち、形態素は異形態の代表である。「話し手」の「て」は行為者を表していて、「右手」の「て」とは意味を異にする。したがって、これら二つの/te/は異なる形態素に属する。
日本大百科全書(ニッポニカ)「形態素」の解説
>
意味を有する最小の言語単位。すなわち,一定の音形と意義の連合した言語形式のうち最小の単位をさす。ほかに,意義を除外して音形の面だけをさす人もいるが適切とはいえない。「記号素」 signemeや monèmeの名称を用いる人もいる。/koneko/ (小猫) ,/'o'janeko/ (親猫) ,/kuroneko/ (黒猫) を比較すると,/-neko/という一定の音形と意義をもった単位を取出すことができ,かつこれ以下に分析すると,音節や音素など,もはやそれ自身では意味をもたない単位となるから,/-neko/は形態素と分析される。同様に/ko'inu/ (小犬) ,/'o'jadori/ (親鳥) ,/kuromame/ (黒豆) などから形態素/ko-/,/'o'ja-/,/kuro-/が分析される。また別に book-sなどの book- のようにおもに語義的意義をになう部分を sémantèmeないし lexème (意義部,語義的形態素) とし,それに対して-sのようにおもに文法的意義をになう部分を morphème (形態部,文法的形態素) と呼ぶ人もいる。上に述べた意味では,このどちらも形態素と認定される。ただし,形態素の定義自体は明瞭であるが,実際には,コッペ-パンのコッペ-などのような無意味形態素というべきものがあり,またタイヤキとタコヤキの差など,各形態素の意味を単に足しただけでは単語の意味は説明できないので,固定した意味をもつ最小単位はむしろ単語とすべきである。
ブリタニカ国際大百科事典 小項目事典
>
意味をもつ最小の言語単位。〈ホンバコ〉という語は,〈ホン〉と〈バコ〉という意味をもつ最小単位,すなわち形態素に分けられる。バコ/bako/はハコ/hako/と同じ意味であるが,複合語の後の要素として用いられている。このように形態素は現れる場所により異なる語形をとることがある。これを異形態allomorphという。すなわち,音素の連続で表される異形態/hako/と/bako/を代表して抽出されたものが形態素{hako}であって,普通は{ }にくくって表される。
平凡社世界大百科事典 第2版
>
【形態論】より
…伝統文法では,形態論morphologyは語の配列や用法を扱う統語論(シンタクス)と音韻論と共に文法の三大部門をなしている。(2)構造言語学では形態素の設定と種類およびその配列と構造を扱う部門とされている。このうち形態素の結合によって生じる音声変化を記述する部門を形態音素論morphophonemicsという。
【言語】より
…文法というのは,言語の中で意味が関与する分野における規則性・法則性の総体であるともいえる。 なんらかの意味に対応する音形のうち,それ以上分析できないものを〈形態素〉と呼ぶ。単語が意味を有するものにそれ以上分析できなければ,それは同時に形態素でもあるが,上述の語幹(それが分析不能の場合),屈折接辞も形態素である。
世界大百科事典内の形態素の言及
世界最大級のオンライン学習プラットフォーム
「 Udemy(ユーデミー) 」
https://udemy.benesse.co.jp/data-science/ai/morphological-analysis.html
2018/01/09
形態素解析とは?おすすめの5大解析ツールや実際の応用例を紹介
>
まず「形態素解析」という言葉とはどんな意味なのか、わかりやすく解説します。
形態素解析とは、私たちが普段生活の中で一般的に使っている言葉、つまり「自然言語」を形態素にまで分割する技術のことです。
形態素とは、言葉が意味を持つまとまりの単語の最小単位のことです。
例えば、「私は台所で料理します」という文章を形態素解析すると「私(代名詞)/は(副助詞)/台所(名詞)/で(助詞)/料理(名詞)/し(動詞)/ます(助動詞)」というように言葉を分割していきます。
形態素解析1
このように形態素解析をして最小単位になった単語を、辞書などの情報と照らし合わせ、それらの単語の品詞の種類、活用形の種類などを割り出していきます。
形態素解析の応用例②AIの自然言語処理
また、形態素解析はAI(人工知能)の自然言語処理の過程でも使用されています。
コンピューターであるAIに、あいまいな表現などが多い自然言語を、プログラムを組んで処理してもらう場合、「自然言語処理」という特別な処理が必要になります。
日本語での自然言語処理を行う場合、処理してほしい文章を「形態素解析」「構文解析」「意味解析」「文脈解析」というようにさまざまな解析を行い、やっとコンピューターが自然言語の意味を処理できるようになるのです。
日本語での自然言語処理をする時、単語を最小単位にまで分割できる形態素解析の機能はとても重要です。
このブログへのコメントはmuragonユーザー限定です。