大量のトラフィックとの付き合い方

GMOアドマーケティング GMOSSP開発担当の@KazuakiMです。

アドテクに携わり早い事で4年、もうじき5年目となります。
私が弊社に入社した動機はいくつかありますが、アドテクに携わってみようと思い、多くの企業を見てきました。
その理由の1つとして、日頃から見るニュースサイトでは常に広告が表示されているが、どのように表示されているのか?
また、どのような仕組みで配信されているのかが気になったのがきっかけでした。

実際に入社し、5年目目前という事で少しはアドテクについてわかってきたように思います。
入社した当時と現在ではアドテクをとりまく環境も大きく変わり、
GDPR、FLoC、Privacy Sandbox、ITPなどプライバシーを意識した配信が求められています。
そんな状況下でもアドテク業界は成長中で、日々トラフィックが伸びています。

大量のトラフィックの先には大量のログがある

日々成長していく大量のトラフィックは面白いものではあります。
ただトラフィックが増えるだけでなく、それに合わせてログファイルが日々肥大化していく事にも繋がっています。
もともとGMOSSPではログファイルを1つのログ集計サーバに集め処理する実装でした。
その処理も1時間以内に終えないと次のログファイル群が着いてしまうため、
大量のログを高速で処理する技術が求められました。

GMOSSPがHeaderBiddingに対応した際にはそういった課題はすでに浮き彫りとなっていましたので、
配信サーバから直接ログファイルを処理し、BigQueryに格納する事で、
ログ集約コスト及び集計サーバが全てパースするという事態を解消する事ができました。

通常のGMOSSP配信ログも少しづつではありますが、
変更していく事で、サービスの安定化に寄与できています。

それでもトラフィックは増え続ける

先の対応を行いログファイル運用方針は明確になり、だいぶ良くなったと思います。
現段階では課題はあるものの解決策もある程度見えているため、
対応していないという状況です。

そんな中、新しい計測用ビーコンを設置しようという事になりました。
そのビーコンの必要意義は明白で必要なのは明らかなのですが、
設置すると大量のトラフィックが発生してしまいます。
本当に必要なのか、代替手段はないのかなど、ここまで真面目に考えないといけないのは
アドテク特有なのではないでしょうか。
結果的にはやはり設置が必要だったため、各種設定を見つつ、
日々の監視を厳にして対応する日々が続いています。

まとめ

まだまだ、手探りではありますが、大量のトラフィックとの付き合い方、
サービスの安定稼働とはという難しい課題に日々取り組んでいます。
もし、大量のトラフィックをいい感じに処理するのに興味がありましたら、弊社に遊びに来て下さい。

私の開発しているGMOSSPプロダクトりんく