BigQueryのクエリで連続した日付の配列を作成する 

下記のトランザクションテーブルではconutry毎にdateの種類がバラバラです。
2023-02-10〜2023-02-14の4日間の内、dateがないレコードにdateとuu(0)を設定して、レコードを作成したいと思います

dataset.table

countrydateuu
JP2023-02-1010
JP2023-02-115
JP2023-02-123
JP2023-02-136
JP2023-02-143
US2023-02-105
US2023-02-131
US2023-02-142
CN2023-02-105
CN2023-02-132

GENERATE_DATE_ARRAYで日付の配列を作成して、配列を使用して0で穴埋めをします

 
SELECT
 IFNULL(b.country, a.country) AS country,
 IFNULL(b.date, a.date) AS date,
 IFNULL(b.uu, 0) AS uu
FROM (
  SELECT
    country,
    date
  FROM
    `dataset.table`
 ),
 UNNEST(GENERATE_DATE_ARRAY('2023-02-10','2023-02-14', INTERVAL 1 DAY)) AS date
) a
LEFT JOIN
 `dataset.table` b
ON
 a.country = b.country
 AND a.date = b.date
ORDER BY
  country,
  date

クエリ結果

countrydateuu
JP2023-02-1010
JP2023-02-115
JP2023-02-123
JP2023-02-136
JP2023-02-143
US2023-02-105
US2023-02-110
US2023-02-120
US2023-02-131
US2023-02-142
CN2023-02-105
CN2023-02-110
CN2023-02-120
CN2023-02-132
CN2023-02-140

コメント

コメントを投稿

このブログの人気の投稿

BigQuery テーブルの有効期限を設定する

BigQueryのテーブルには有効期限が設定できます 設定の2種類あります テーブルの有効期限 テーブルが作成されてから有効期限が過ぎるとテーブル自体が削除される 例) 有効期限を2023-02-03 14:00:00に設定すると、2023-02-03 14:00:00 (UTC)にテーブル自体が削除される パーティションの有効期限 パーティションの有効期限が過ぎるとパーティションが削除される 例) 有効期限を86400秒(3日)に設定すると、2023-02-05にパーティションの2023-02-02以前が削除される ※ちなみに2023-02-05以降に2023-02-02以前のデータを入れた場合、即時削除されます テーブルの有効期限 bqコマンドでの設定 // 新規テーブルに有効期限を設定 (作成から3日後に削除される) bq mk --expiration 86400 dataset.table --schema schema.json // 既存テーブルに有効期限を設定 bq update --expiration 86400 dataset.table // 既存テーブルの有効期限を解除したい場合は0を指定 bq update --expiration 0 dataset.table Client Libraryでの設定(Python) // 新規テーブルに有効期限を設定 (2023-02-27 14:00:00に削除される) from google.cloud import bigquery from datetime import datetime client = bigquery.Client() bq update schema = [ bigquery.SchemaField("timestamp", "TIMESTAMP", mode="REQUIRED"), ] table_id = 'project_id.dataset.table' table = bigquery.Table(table_id, schema=schema) table.partitioning_type = 'DAY' table.expires ...
続きを読む

Cloud Schedulerは必ず実行されるわけではない

Cloud Schedulerは「ジョブターゲットへの配信を少なくとも1回は確実に実行します」という記述がある。 この文言からリトライの設定は不要と思いがちだが、サポートによればリソースが確保できずに、 実行されない事象があるとの事でした。 必ず1回実行したい場合は、リトライの設定をする事で限りなく「必ず」に近い実行状況になります。
続きを読む

ChromebookでAndroidアプリをインストールする方法

イメージ
Google Workspaceアカウントでログインした状態でインストールする方法です ChromebookはGoogle Play ストアからAndroidアプリをインストールして使えるという事だったので、 Google Play ストアで任意のアプリをインストールしようとしたが、インストールができなかった 設定→[アプリ]を見てみると「オンにする」が無効になっているので、これを有効にする必要がありそうと気付く 組織のマークが付いているので、Google Workspaceで制限されていると予測がつく。 個人のGoogleアカウントであれば、「オンにする」がアクティブなので押せば、 Google Play ストアから任意のアプリがインストール可能のようだ。 Google Workspaceの管理→[デバイス]→[Chrome]→[アプリの拡張機能]→[ユーザーとブラウザ]を見てみると、 Playストアが「すべてのアプリを拒否する、管理者が許可リストを管理する」になっていた [追加の設定]を押すと下記の画面となり、[Chromeデバイス上のAndroidアプリ]が[禁止]になっていたので [許可]に変更して保存をします 保存からしばらく待つと各端末にGoogle Playがインストールされて、設定→アプリが有効に切り替わっています ただ、上記のWorkspaceの管理の設定でPlayストアが「すべてのアプリを拒否する、管理者が許可リストを管理する」 になっているので、Google Playストアからは何もインストールは出来ません アプリの管理方法 「すべてのアプリを拒否する、管理者が許可リストを管理する」の設定状態のアプリを管理方法については、 管理者がPlayストアが承認する事によって、ユーザーはアプリをインストールが可能になります。 同じ方法でChromeストアのChromeアドオンなども管理可能です。 管理者が任意のアプリを承認すると、ユーザーのGoogle Play ストアでは、承認されたアプリがインストール可能となります
続きを読む