Apache Spark」カテゴリーアーカイブ

Spark 並列化チューニングの一例

投稿者: | 2018年12月3日

このエントリーは、GMOアドマーケティング Advent Calendar 2018 の 12/3の記事です。GMOアドマーケティングとしては初のAdvent Calendar参戦です。 こんにちは、GMOアド… 続きを読む »

[Spark道場]メモリとCPU数の設定を最適化する

投稿者: | 2018年9月6日

皆さんこんにちは、GMOアドマーケティングのS.Rです。 大規模分散処理フレームワークであるSparkですが、皆さんはSparkの設定を最適化したことはありますか? Sparkは設定次第でPerformanceが10倍… 続きを読む »

SparkのWebUIでモニタリング

投稿者: | 2017年12月7日

皆さんこんにちは、GMOアドマーケティングのS.Rです。SparkのProgramを開発する上で、Performanceの改良やInstanceの設定のTuningはかなり重要です。これらのチューニングはSparkのWe… 続きを読む »

デブサミ2016でSparkを使ったアプリケーションについて登壇してきました

投稿者: | 2016年3月2日

最近花粉気味のCTO室のHadoopエンジニアのJ.Nです。2月18日 Developers Summit 2016 でApache Sparkを使ったリコメンドシステムの研究成果について発表してきました。Apache … 続きを読む »

Apach Spark + Spark MLlib + MongoDBでwikipedia記事をクラスタリング

投稿者: | 2015年11月27日

   JWordのO.Yです。 ビッグデータがムーブメントとなって久しく、用途はなんであれ今はHadoopを導入している企業さんも多いことかと思います。JWordでもHadoopを導入しており検索クエリーの集計等に使用し… 続きを読む »