Category Archives: Hadoop

2017-12-07

SparkのWebUIでモニタリング

皆さんこんにちは、GMOアドマーケティングのS.Rです。SparkのProgramを開発する上で、Performanceの改良やInstanceの設定のTuningはかなり重要です。これらのチューニングはSparkのWebUIを使えばかなり簡単に制御できます。そこで、今回はSparkのWebUIを皆さんへ紹介致します。※この記事を理解するには、Spark、Hadoop、Linuxのshellコマンドの基本知識が必要です。1 Sparkとは?Sparkの概要は以下のWikipediaの記事を参考に… Read More »

2017-08-30

Apache Storm を使ってストリーム処理を書いてみよう

こんにちは。 Hadoop 周辺をよく触っている T.O. です。 Hadoop 周辺をよく触っているので、最近 Hadoop 周辺を触ってきて得た話などを書いていきます。ということで今回は、数あるストリーム処理エンジンの中のひとつ Apache Storm を少々触ってストリーム処理を書いてみよう、という話を。 Apache Storm とはひとことで言えば、いわゆるストリーム処理エンジン。 以前、別のブログで Apache Apex について書きましたが、おおまかにはそれと同じカテゴリーに属… Read More »

2016-02-08

HBase shellでも日本語を表示したい!

最近はレコメンドウィジェットTAXELの開発をやっているCTO室のHadoopエンジニアのJ.Nです。HBaseで日本語を取り扱う時、日本語データはバイト列で格納されるためHBase Shellでデータを確認したい時はバイト列がprintされます。このままだと、HBaseのデータを確認したい時に実際に何が入ってるのかが不明なため非常に困ります。

HBaseにはJRubyが内包されており、HBase ShellもJRubyで書かれてるた… Read More »

2015-11-26

Impala で unix_timestamp(now()) を実行しても現在時刻が返ってこない件について

(画像は Impala の Web サイト より転載)GMOインターネット 次世代システム研究室 兼 GMOアドパートナーズ グループCTO室のM. Y.(自称DevOps担当)です。今回は、普段の業務で気付いた Impala の小ネタをご紹介します。小ネタではありますが、Impala 初見の人は結構つまづきやすいポイントだと思います。 出題編:Impala の TIMESTAMP 型の不思議な動作最近、Impala に格納したデータを JDBC 経由で取得するコードを書いてみたところ、なぜか格… Read More »