BigQueryのクエリで連続した日付の配列を作成する 

下記のトランザクションテーブルではconutry毎にdateの種類がバラバラです。
2023-02-10〜2023-02-14の4日間の内、dateがないレコードにdateとuu(0)を設定して、レコードを作成したいと思います

dataset.table

countrydateuu
JP2023-02-1010
JP2023-02-115
JP2023-02-123
JP2023-02-136
JP2023-02-143
US2023-02-105
US2023-02-131
US2023-02-142
CN2023-02-105
CN2023-02-132

GENERATE_DATE_ARRAYで日付の配列を作成して、配列を使用して0で穴埋めをします

 
SELECT
 IFNULL(b.country, a.country) AS country,
 IFNULL(b.date, a.date) AS date,
 IFNULL(b.uu, 0) AS uu
FROM (
  SELECT
    country,
    date
  FROM
    `dataset.table`
 ),
 UNNEST(GENERATE_DATE_ARRAY('2023-02-10','2023-02-14', INTERVAL 1 DAY)) AS date
) a
LEFT JOIN
 `dataset.table` b
ON
 a.country = b.country
 AND a.date = b.date
ORDER BY
  country,
  date

クエリ結果

countrydateuu
JP2023-02-1010
JP2023-02-115
JP2023-02-123
JP2023-02-136
JP2023-02-143
US2023-02-105
US2023-02-110
US2023-02-120
US2023-02-131
US2023-02-142
CN2023-02-105
CN2023-02-110
CN2023-02-120
CN2023-02-132
CN2023-02-140

コメント

コメントを投稿

このブログの人気の投稿

BigQuery テーブルの有効期限を設定する

BigQueryのテーブルには有効期限が設定できます 設定の2種類あります テーブルの有効期限 テーブルが作成されてから有効期限が過ぎるとテーブル自体が削除される 例) 有効期限を2023-02-03 14:00:00に設定すると、2023-02-03 14:00:00 (UTC)にテーブル自体が削除される パーティションの有効期限 パーティションの有効期限が過ぎるとパーティションが削除される 例) 有効期限を86400秒(3日)に設定すると、2023-02-05にパーティションの2023-02-02以前が削除される ※ちなみに2023-02-05以降に2023-02-02以前のデータを入れた場合、即時削除されます テーブルの有効期限 bqコマンドでの設定 // 新規テーブルに有効期限を設定 (作成から3日後に削除される) bq mk --expiration 86400 dataset.table --schema schema.json // 既存テーブルに有効期限を設定 bq update --expiration 86400 dataset.table // 既存テーブルの有効期限を解除したい場合は0を指定 bq update --expiration 0 dataset.table Client Libraryでの設定(Python) // 新規テーブルに有効期限を設定 (2023-02-27 14:00:00に削除される) from google.cloud import bigquery from datetime import datetime client = bigquery.Client() bq update schema = [ bigquery.SchemaField("timestamp", "TIMESTAMP", mode="REQUIRED"), ] table_id = 'project_id.dataset.table' table = bigquery.Table(table_id, schema=schema) table.partitioning_type = 'DAY' table.expires ...
続きを読む

Chromebookの指紋認証を有効にする

イメージ
Chromebookには指紋認証のデバイスが付いてるモデルがあります 僕の使っているモデルにも付いています ASUS Chromebook Flip C436FA (C436FA-E10162) 「 Chromebook で指紋を設定してログインする 」を参考に、 設定→[セキュリティとプライバシー]で指紋認証の設定があるようなので確認してみると、それらしい項目がない。 組織のマークがあるのでGoogle Workspaceの設定によって項目が表示されていない様子 Google Workspaceの管理で、[デバイス]→[Chrome]→[設定]→[ユーザーとデバイス]を見てみると、 フィンガープリントという項目があったので、チェックを付けて保存 再度、設定→[セキュリティとプライバシー]を確認すると、指紋認証の項目が表示されたので、指紋を追加 これで指紋認証でログインが可能となりました
続きを読む

Cloud Schedulerは必ず実行されるわけではない

Cloud Schedulerは「ジョブターゲットへの配信を少なくとも1回は確実に実行します」という記述がある。 この文言からリトライの設定は不要と思いがちだが、サポートによればリソースが確保できずに、 実行されない事象があるとの事でした。 必ず1回実行したい場合は、リトライの設定をする事で限りなく「必ず」に近い実行状況になります。
続きを読む