こんにちは、GMOアドマーケティングでインフラ開発を担当していますsandatsです。
今回はインフラで使っている監視を少し改善した話をします。
インフラで使っている監視ツールについて
まずは、今回の話に出てくるインフラの監視ツールについて少しお話します。
インフラでは収集したログを可視化するツールとして、Grafanaを使っています。
Grafanaを使って、各サーバーのメトリクス(LoadAverage、Memory、Swap、etc)やレスポンスタイム、リクエスト数などを可視化しています。
Grafanaの運用改善について
Grafanaはこれまでもインフラチーム内で定期的に見るようにしていましたが、常時表示する事によって変化に気付きやすくしたいという思いから今回の改善を行いました。
どう改善したのか
大きなモニターを購入し、いつでもグラフを見れるようにしました。(見栄えが悪いですが転倒防止にガムテープで本棚とくっつけてます)
自分の席からだとこんな感じで見えます。
使っているモニターについて
今回、監視用としてLGの42.5インチUHD 4K IPSモニター 43UD79-Bを購入しました。
https://www.lg.com/jp/monitor/lg-43UD79-B
写真からは伝わりづらいですが、普段開発で使っているモニターは24インチなので、比較するとかなり大きいです。
(承認通るかな〜…、という気持ちで購入申請をしたところ、意外とあっさり承認が通りました。)
表示しているグラフ
主に以下のグラフを表示しています
- プロダクト毎のサービスURLに対するレスポンスタイム
- KVSの利用状況(Aerospike namespace,Couchbase)
- ApacheやNginxのリクエスト数
また、Grafanaには各ダッシュボードをローテーションして表示するPlaylists機能があり、一定間隔でさまざまなダッシュボードを表示するよう設定しています。
今後このモニターで実践したいこと
- 置き場所が少し不安定なので壁掛け化
- タスク管理としてTrelloの表示と進捗管理
- アラート発生時に画面上に音と一緒にお知らせ
- 表示速度が大事🚗💨なプロダクトのSpeedCurveなどを使ったパフォーマンスバジェットダッシュボード作成、表示
進捗ありましたらまたブログを更新します。
現場からは以上です。