文章やテキストのノイズをクリーニング(整理)するとは

テキストを分析するにはまず前準備が必要となりますが、その中のひとつとして「データのクリーニング」が挙げられます。この作業は、対象のテキストから「ノイズ」といわれる部分を取り除く作業です。

こちらの記事では、テキストデータをクリーニングするメリットに加えて、テキストマイニングの対象となるデータはどのようなものがあるのかといった例などについてまとめていますので、ぜひ参考にしてみてください。

テキストデータをクリーニングするメリット

「テキストデータのクリーニング」とは、対象となるテキストに含まれる「ノイズ」を除去していく工程のことです。テキストマイニングを行う際にはこういった「前処理」が非常に重要な作業となってきます。ここでは、テキストデータをクリーニングすることにはどのようなメリットがあるのか、という点について見ていきましょう。

メリット

テキストデータのクリーニングをする場合下記のようなパターンが考えられます。

Webクローリングしたデータの場合：HTMLタグの除去
文章データの場合：無駄な行やスペースの削除
SNS（Twitterなど）：絵文字や特殊文字の除去

上記のような処理を行い、対象となるテキストデータから不要なものを除去して必要な情報のみにする処理が必要になります。例えばTwitterなどには多くの単語にならない表現が含まれています。このような「ノイズ」が含まれたまま形態素解析にかけた場合、有効な分析はしにくいと予想されます。

以上から、データマイニングを実行する前には上記のようなノイズの除去によって、より正しいデータを得ることにつながるでしょう。

テキストマイニングが対象となる分析データ

テキストマイニングを活用できるデータの種類にはさまざまなものがあります。ここではいくつかのデータを取り上げ、データの概要と分析によってもたらされるメリットについてまとめました。

SNS（Twitter、Instagram、Facebookなど）

スマートフォンの普及に伴い、若い世代になればなるほどSNSの利用も当たり前のものとなっています。TwitterやInstagram、FacebookなどのSNSの投稿には、「一般消費者の声」が多く含まれていることから、企業にとっては非常に参考になるデータである可能性も考えられるでしょう。これらの投稿を分析することによって、商品やサービスなどへの感想やお客さまがどのような要望を持っているのかといった部分の把握につなげられます。

さらにユーザー属性によってターゲットを絞った分析も可能で、「年代」や「自社の製品を使用した経験があるかどうか」など、さまざまな属性に絞った調査を行うことも可能です。

コールセンターにおける対応履歴

コールセンターでのお客さまとオペレーターとのやり取りでも、さまざまな情報が得られます。多くのコールセンターやヘルプデスクにおいては、お客さまへの対応履歴を残しています。その中には、音声認識を活用してテキスト化している、というケースもあるでしょう。

このテキストデータを活用して「お客さまからはどのような問い合わせが多いのか」という点を集計することによって製品やサービスの改善のために活用したり、FAQの作成によってオペレーターの対応の質向上のために活用することもできます。また、クレームの内容について分析することで、どのような声が届いているのかといった点を把握しやすくなるといったメリットもあります。

お客さまアンケート

お客さまが回答するアンケートもテキストマイニングの対象となります。アンケートは選択式の質問に加えて自由記入欄が用意されているものもありますが、これまでは自由記入欄の分析に手間がかかってしまうといった状況がありました。しかし、テキストマイニングを使用することによってお客さまが自由に記入した内容を分析できるため、手間をかけずにお客さまのニーズが把握できます。

この部分を知ることによって、「企業が発信したい情報」と「お客さまが求めている情報」にずれがないかどうかといった確認も可能です。また、多数の意見を集約することに加えて少数の意見にも注目した分析によって、お客さまからの声を漏らしてしまう可能性を低くできるでしょう。