自然言語(人間が使う言語)をコンピュータで処理し抽出する自然言語処理(NLP:Natural Language Processing)は、 テキストマイニング実行に含まれ、自然言語処理の性能が高いほど、テキストマイニングの精度も高くなります。ここではNLPについて解説します。
人間が普段に使っている話し言葉、論文や文章などの書き言葉などの意味を、色々な方法で解析することを自然言語処理といいます。 ところが自然言語には意味の重複や曖昧さがあるため、解析が難しいという問題がありました。
例えば「うしがねこをうんだ」という文章の場合、「牛が猫を産んだ」と「牛がね、子を産んだ」という2種類の解釈ができ、意味が全く違います。
人間であれば、牛が猫を産むわけがないとすぐにわかりますが、コンピュータはどちらが正しいのか判断することができません。特に日本語の場合、英語のように“分かち書き”がされていないため、よりその問題が顕著になります。
しかし、最近のAI(人工知能)技術の発展に伴い自然言語処理技術も進歩。膨大なデータの中から類似した言葉を検索して正解を選択する「ルールベース」から、 人間の脳のようなニューラルネットワークを使って大量のデータ処理を行う「ディープラーニング」を使うことで、より人間に近い結果を出せるようになってきました。
自社のビジネスで、より戦略的に顧客の声を活用していきたいのなら、分析機能が豊富で、結果につなげやすい有料のテキストマイニングツールもぜひチェックしてみましょう。
以下のページでは、おすすめのテキストマイニングツールを「コスパ」「教育」「知名度」の3つの軸で比較。おすすめの3つを紹介しています。
自然言語処理では以下のようなことが実現できます。
自然言語処理を活用することで、口コミでの良い評価・悪い評価を細かく分類することができます。また、テキストから読み取れる感情や意識の解析も、口コミ評価分析の取り組みとして用いられます。
カルテを自然言語処理技術で解析することにより、大規模データから見落とすことなく症状から症例を検索して診断名を推測することや、医療表現を正規のものに適正化することによる症状の標準化など、医療現場で活用されています。
また、認知症患者と健常者の語彙力を解析することによって、認知症の発症について30年前の時点で予測できる可能性があることも分かってきました。
自然言語処理技術を活用してAIでの問診支援を行うなど、医療AIの進化にも自然言語処理技術は欠かせないものになっているのです。
機械可読目録は、自然言語処理の前段階として行われます。図書館や書店などで書籍検索システムとして使われる機能で、書誌情報や関連情報を機械が読める形で変換し、辞書的な役割を果たします。
機械可読目録と同じように自然言語処理の前段階として行われます。こちらは、新聞や本、文字化した話し言葉など自然言語の使用方法を蓄積・記録して コンピュータで検索や分析できるようにしたデータベースです。コーパスを分析することによってよく使われる表現であるかなど、言語の特徴を捉えることで、自然言語処理に用いるのです。
文章を最小単位に分けるのが、形態素解析です。英語と違い、日本語は単語でスペースを使って区切られているわけではありません。形態素解析をすることによって単語分割をすることで、意味や品詞を判別。各単語の意味付けを行います。形態素解析により、構文解析や意味解析、単語の自動抽出を行います。
日本語の解析方法としては、以下のものが挙げられます。
字種による分割は、字種が変化する場所が単語の区切りとして考える方法です。その他の方法は、単語辞書を用いて解析を行います。
文章を解析し、その構成要素がどのような関係にあるかについてツリーのように図式化するのが構文解析です。構文解析で言語要素の関係性が明らかになるため、文章の構造が図式化できるのです。これは、機械翻訳や自動言語検索、音声アシスタントなどに応用できますが、構文解析は文法的に正しければ常識的にあり得ない構文構造も正解となってしまいます。次のような解析方法があります。
構文解析後に行われる処理で、文の意味について単語の繋がりなどから適切な解釈を導き出します。構文解析で常識的にあり得ないような構文構造があった場合は、ここで検知されることになります。
単語だけでなく、複数の文の繋がり・文脈での表現を解析するのが文脈解析です。代名詞の対象を明確にする、省略されている単語を明らかにすることや、文の意味だけでなく背景にある情報の分析や処理も行われます。ただし、文脈解析は難しく複雑であり、文脈をミスなく解析できるシステムは実用化されていません。
コールセンターへのクレームや問合せ、顧客アンケートの自由記述、SNSなどに投稿されている文章などの大量のテキストデータを解析し、有益な情報を抽出するテキストマイニングツール。 自然言語処理は、このツールに欠くことのできない機能です。テキストマイニングツールでは自然言語処理によって文章を単語に分割・分類することで、単語間/文章間の関係性や出現頻度などの分析を行います。
ツールごとに機能やサービス内容が様々あるテキストマイニングツール。トライアル版を出しており、アンケートやリサーチから依頼ができるツール3つを紹介いたします。
※Google検索「テキストマイニングツール」の上位16社(2022年10月時点)の中から選定。