Cloud Schedulerは必ず実行されるわけではない
Cloud Schedulerは「ジョブターゲットへの配信を少なくとも1回は確実に実行します」という記述がある。 この文言からリトライの設定は不要と思いがちだが、サポートによればリソースが確保できずに、 実行されない事象があるとの事でした。 必ず1回実行したい場合は、リトライの設定をする事で限りなく「必ず」に近い実行状況になります。
BigQuery テーブルの有効期限を設定する
BigQueryのテーブルには有効期限が設定できます 設定の2種類あります テーブルの有効期限 テーブルが作成されてから有効期限が過ぎるとテーブル自体が削除される 例) 有効期限を2023-02-03 14:00:00に設定すると、2023-02-03 14:00:00 (UTC)にテーブル自体が削除される パーティションの有効期限 パーティションの有効期限が過ぎるとパーティションが削除される 例) 有効期限を86400秒(3日)に設定すると、2023-02-05にパーティションの2023-02-02以前が削除される ※ちなみに2023-02-05以降に2023-02-02以前のデータを入れた場合、即時削除されます テーブルの有効期限 bqコマンドでの設定 // 新規テーブルに有効期限を設定 (作成から3日後に削除される) bq mk --expiration 86400 dataset.table --schema schema.json // 既存テーブルに有効期限を設定 bq update --expiration 86400 dataset.table // 既存テーブルの有効期限を解除したい場合は0を指定 bq update --expiration 0 dataset.table Client Libraryでの設定(Python) // 新規テーブルに有効期限を設定 (2023-02-27 14:00:00に削除される) from google.cloud import bigquery from datetime import datetime client = bigquery.Client() bq update schema = [ bigquery.SchemaField("timestamp", "TIMESTAMP", mode="REQUIRED"), ] table_id = 'project_id.dataset.table' table = bigquery.Table(table_id, schema=schema) table.partitioning_type = 'DAY' table.expires ...
コメント
コメントを投稿