日本語テキストをワードクラウドで可視化する

GMOアドマーケティングのT.Oです。

今回は日本語テキストをワードクラウドで可視化します。
開発環境として、Google Colaboratory(以下、Colabと略)を利用します。
またワードクラウドを生成するためのPythonライブラリであるWordCloudを使用します。

0.ワードクラウドとは?

ワードクラウドはテキストに含まれるキーワードの出現頻度にあわせて文字の大きさを変えて視覚化したものです。どのような単語がよく使われているか視覚的にとらえやすくなります。

1.MeCabのインストール

Colabに日本語を形態素解析するためのツールであるMeCabをインストールします。

2.テキストファイルアップロード処理

テキストファイルをローカル環境からColab環境にアップロードする処理を実装します。

3.形態素解析処理

アップロードされたテキストファイルを形態素解析し、WordCloudを利用するための文字列に変換します。
*) この部分を実行すると変数word_chainに文字列が設定されます。
視覚的な確認はできないのですが、次の「4.ワードクラウド表示」を実行すれば結果を確認できます。

4.ワードクラウド表示

形態素解析した結果をWordCloudを利用して表示します。

5.実行例

5.1.可視化するテキストを用意する

今回は青空文庫の「吾輩は猫である」のページからテキストファイル(ルビあり)のzipファイルをダウンロードし、それを解凍してローカルPCに保存します。

5.2.プログラムの実行

「1.MeCabのインストール」〜「2.テキストファイルアップロード処理」を順に実行します。
「ファイル選択」ボタンが表示されますので、5.1.でローカルPCに保存したテキストファイル(wagahaiwa_nekodearu.txt)を指定します。
続いて「3.形態素解析処理」〜「ワードクラウド表示」を実行します。

実行結果は以下のようになりました。

6.表示の調整

「5.実行例」ではワードクラウド表示に「吾輩」、「猫」が含まれていませんでした。
「吾輩」は代名詞で「3.形態素解析処理」で「名詞」のみ取り出したため含まれなかったようです。
また「猫」についてはWordCloudがデフォルトでは1文字のみの単語を表示しない仕様となっているために含まれませんでした。

そこで以下のように変更します

6.1.形態素解析処理の変更

「3.形態素解析処理」で形態素解析処理で名詞にくわえて代名詞を取り出すように変更します。

6.2.ワードクラウド表示の変更

「4.ワードクラウド表示」で1文字の単語を含み表示するための指定(regexp=r”[\w’]+”)を追加します。また表示結果に含まれてほしくない単語を取り除くための指定(stopwords)を追加します。

6.3.表示調整後の実行例

変更後、「3.形態素解析処理」〜「4.ワードクラウド表示」をColabで再実行します。
実行結果は以下のようになりました。吾輩や猫が含まれています。

7.まとめ

日本語テキストをワードクラウドで可視化する手順をご紹介しました。アップロードするテキストファイルを変更することで様々な分析が可能です。今回の内容が皆さんのお役に立てれば幸いです。