再帰型ニューラルネットワークの要約

投稿者: | 2019年7月25日

皆さん

こんにちは、GMOアドマーケティングのS.Rです。

前回は 畳み込みニューラルネットワークの要約を投稿しました。皆さんいかがでしたでしょうか。今回は系列データ(株価、機械翻訳なと)に一番使われてるモデルの一つ、再帰型ニューラルネットワーク(英語はRecurrent Neural Networkです、以下RNNと記載します)を皆さんへ紹介したいと思います。

機械学習の問題の種類

まずは機械学習の問題の種類を一緒に復習しましょう。機械学習の問題は目標によって主に分類問題と回帰問題に分かれます。

1、分類の問題:

分類対象の特徴と分類を確定した上に分類対象の学習データの学習として各対象の種類を予測する事です。良くある例は乳がん検査、手書き画像の認識、物体認識です。

2、回帰の問題:

分類対象の特徴と分類を確定し連続するデータの予測をすることです。良くある例は物件の値段の予測、オンライン広告のクリック率の予測です。

実際の応用にはこれらの二種類の問題だけではなく、学習データで時間の影響は考えていることがあるかとして時系列問題非時系列問題を分けてます。

時系列問題

 時間順序を追って取得されたデータは時系列データと呼ばれます。典型的なものとしては、年度ごとのある会社の売上高、1時間ごとの日本の首都の降水量、地球上で発生した地震の時刻と場所、震度などの記録、といったものが挙げられます。図1は時系列データの例の一つとして 1953年ー2009 年アメリカで結核の発生率 のデータです。

図1時系列データの例;アメリカで結核の発生率 1953-2009 https://en.wikipedia.org/wiki/Time_series

なぜ再帰型ニューラルネットワークが必要になるか

ある問題には時間を学習データにいらないと解決できません。一つの良い例は機械翻訳です。

例えば日本語から英語を翻訳するモデルを作りたいとする(図2)。

図2日本語から英語を翻訳するモデル

まずは入力した日本語文章の時間順序考えずに自動翻訳のモデルを設計しましよう。設計したモデルは図3です。

図2:非時系列の自動翻訳のモデル

入力する文字列の長さが特定できないので自動翻訳する前に文字列を指定された長さで抽出しなければなりません。抽出する文字列の長いさによってモデルで取った翻訳の結果が違います。

図3:各抽出する文字列の長さの自動翻訳のモデル

図3は違う長さで抽出した文字列の翻訳結果です。この結果から見ると入力する文字列を全部モデルの入力データにしなければ入力文章の前後文の関係がなくなるので良い翻訳の結果を得られません。でも実際はこれは実現できません。原因は二つあります。

1モデルの計算にかかる計算力が高すぎるせいです。

2学習データの中に無駄な情報がたくさん入るので精度が良くありません。

再帰型ニューラルネットワークはこの二つ問題を解決するために提案されたモデルです。

再帰型ニューラルネットワークは通常のニューラルネットワークと違うある層の出力は、次の層の入力として利用されるだけでなく出力としても利用されます。また、各層の入力として、前の層の入力のみではなく、時系列のデータポイントも入力とします。図のように、一つのニューラルの出力を別のネットワークの入力として利用するような再帰的構造がRNNの名前の由来です。この形でRNNモデルは”記憶力”を持っています。データを処理する時に当時のデータだけではなく前に処理したことのあるデータとの関係も学習できます。

図4:再帰型ニューラルネットワークの構成

再帰型ニューラルネットワークで先程の例の文字列を処理する流れは図5になります。

図5:RNNで自動翻訳の流れ

KerasでRNNを構築

では早速 一緒に簡単なRNNを作りましょう。今回はRNNのモデルで三角関数SINをフィッティングすることです。今回の例はGoogleの無料クラウドサービスでやっております。

1 Colabのインスタンスを作る:

Colabの利用を始める最初のStepは、Colabのファイルを作ります。Google Driveの管理画面へ遷移し、新しいColabのファイルを作ります(図5)。

図5: Colabのインステンスを作る

2Library をImportする:

3 学習データを作成:

4RNNモデルを作る:

5RNNモデルをフィッティングする:

6 実行した結果:

上の図は学習データです、縦軸は関数値です横軸は時間です。下の図はRNNで予測した結果と本番のデータを比較する図です。縦軸、横軸の定義と上の図は同じです。青い図は本番のデータ、黄色の図は予測した値です。

図6 実行した例

 

まとめ

今回は再帰型ニューラルネットワークを紹介しました。

実際の機械学習系の業務に再帰型ニューラルネットワークを使う機会はたくさんあります。もし今回のブログが皆さんの畳み込みニューラルネットワークの理解にお役に立てば幸いです。