Apache Spark」カテゴリーアーカイブ

わかりやすい Association Rule

投稿者: | 2021年1月6日

GMOアドマーケティングのT.Cです。 Association Ruleとは? Association Ruleは相関性を持つデータを探す法則で、アメリカのwalmartの話が有名です。 walmartではAssocia… 続きを読む »

Spark 並列化チューニングの一例

投稿者: | 2018年12月3日

このエントリーは、GMOアドマーケティング Advent Calendar 2018 の 12/3の記事です。 GMOアドマーケティングとしては初のAdvent Calendar参戦です。   こんにちは、GM… 続きを読む »

[Spark道場]メモリとCPU数の設定を最適化する

投稿者: | 2018年9月6日

皆さん こんにちは、GMOアドマーケティングのS.Rです。 大規模分散処理フレームワークであるSparkですが、皆さんはSparkの設定を最適化したことはありますか? Sparkは設定次第でPerformanceが10… 続きを読む »

SparkのWebUIでモニタリング

投稿者: | 2017年12月7日

皆さん こんにちは、GMOアドマーケティングのS.Rです。 SparkのProgramを開発する上で、Performanceの改良やInstanceの設定のTuningはかなり重要です。 これらのチューニングはSpark… 続きを読む »

デブサミ2016でSparkを使ったアプリケーションについて登壇してきました

投稿者: | 2016年3月2日

最近花粉気味のCTO室のHadoopエンジニアのJ.Nです。 2月18日 Developers Summit 2016 でApache Sparkを使ったリコメンドシステムの研究成果について発表してきました。 Apach… 続きを読む »

Apach Spark + Spark MLlib + MongoDBでwikipedia記事をクラスタリング

投稿者: | 2015年11月27日

   JWordのO.Yです。 ビッグデータがムーブメントとなって久しく、用途はなんであれ今はHadoopを導入している企業さんも多いことかと思います。 JWordでもHadoopを導入しており検索クエリーの集計等に使用… 続きを読む »