デブサミ2016でSparkを使ったアプリケーションについて登壇してきました

By | 2016年3月2日

最近花粉気味のCTO室のHadoopエンジニアのJ.Nです。

2月18日 Developers Summit 2016 でApache Sparkを使ったリコメンドシステムの研究成果について発表してきました。

Apache Sparkはインメモリの並列分散処理基盤です。以前の記事にも解説があります。

最近GMOアドパートナーズグループのエンジニア内では熱い分野です。

 

DSC04826

 

 

DSC04825

デブサミで登壇するのは初めてなので緊張しました。

 

DSC04845

Spark Streamingを使って「NHKのつぶやきビッグデータのクローンを作ってみた」というテーマでお話しました。

またクローンだけでは面白くないので、内部でSpark(集計) -> Kafka(レポート結果の受送信) -> Ruby (集計に基づくレコメンド)

というシステムを構築しました。

 

mikasa_20150611 (2)

 

DSC04861

 

資料はスライドシェアにもアップしています。

 

 

GMOアドパートナーズのノウハウをエンジニア界隈に還元し発展していくためにも今後こういったイベントや勉強会には定期的に参加したいと思っていますので、面白い勉強会を開催される会社さんがいれば是非お声かけください。