BigQueryからCloudSQL（MySQL）へデータをインポートする
こんにちは。GMO NIKKOのharuです。 業務でBigQueryテーブルをCloudSQL（MySQL 8.0）テーブルに移送する必要があり、その時に色々と苦労したので、備忘録も兼ねて実装時に工夫した点/苦労した点...
GoogleのVertex AI PaLM Embedding APIを使って類似記事タイトルをレコメンドする
はじめに この記事は GMOアドマーケティング Advent Calendar 2023 10日目の記事です。 おはようございます。こんにちは。こんばんは。GMOアドマーケティングのY-Kです。 前回、OpenAIのEm...
Duet AIのBigQueryサポート機能を試す
こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 GCPの「Duet AI」が2023/08/30、いよいよPreviewリリースされました。 普段メインでGCPを扱っているだけに期待が高まりま...
プレビュー機能: BigQuery のパーティショニングとクラスタリングの Recommender を覗いてみる
はじめに こんにちは。GMOアドマーケティングのKONCEです。弊社ではDWHとしてBigQueryを採用しております。GCPを運用する上で日々コストを気にしていますが、先日 Google Cloud release n...
AWSエンジニアから見たGCP(データ分析編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「GCPサービスで構築したインフラをAWSと比較してみる」を読んでいただいた方々、ありがとうございます。 ...
ごく稀にたまに使うキーボードマクロ
GMOアドマーケティングのK.Mです。 加工されていないデータをマスタテーブルに登録する際、CSVでアップロードされる方は多いと思いますが、BigQuery、MySQLでアップロード方法が異なりますし、新規と追加で操作...
BigQueryのCloudSQL連携クエリを試してみました。
この記事は GMOアドマーケティング Advent Calendar 2022 24日目の記事です。 こんにちは。GMOアドマーケティングのH.Tと申します。今回はBigQueryの連携クエリを試してみたのでご紹介いたし...
BigQueryでCIDRに含まれるIPアドレスを探す(IPv6対応)
この記事は GMOアドマーケティングAdvent Calendar 2022 7日目の記事です。 こんにちは、GMOアドマーケティングのM.Hと申します。 今回は、GCPのBigQueryに用意されているNet関数を駆使...
Google BigQueryの既存テーブルをパーティション化
こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 弊社ではDWHとしてBigQueryを採用しているのですが、テーブルサイズが巨大になりそのクエリコストが課題になっていました。 そこでテーブルに...
BigQuery RECORD型にフィールド追加
こんにちはGMOアドマーケティングのy.yです。 今回はBigQueryのRECORD型フィールドに子フィールドを追加する機会があったのでその際の手順を紹介してみたいと思います。 目次 bqコマンドで既存テー...