GCSのオブジェクトを素早く削除する

大量のオブジェクトを素早く削除する

大量のオブジェクトを削除するため、下記のようにコマンドを実行した場合、

gsutil rm -r gs://{bucket_name}/*

実行中に「マルチスレッドで実行できるよ」というメモが表示されます。

==> NOTE: You are performing a sequence of gsutil operations than may run significanly faster if you instead use gsutil -m rm ... Please see the -m section under "gsutil help options" for further infomation about when gsutil -m can be advantageous.

メモにあるようにコマンドに-mを追加すればマルチスレッドで実行されるので時間が短縮できます。

gsutil -m rm -r gs://{bucket_name}/*

コメント

コメントを投稿

このブログの人気の投稿

BigQuery テーブルの有効期限を設定する

BigQueryのテーブルには有効期限が設定できます 設定の2種類あります テーブルの有効期限 テーブルが作成されてから有効期限が過ぎるとテーブル自体が削除される 例) 有効期限を2023-02-03 14:00:00に設定すると、2023-02-03 14:00:00 (UTC)にテーブル自体が削除される パーティションの有効期限 パーティションの有効期限が過ぎるとパーティションが削除される 例) 有効期限を86400秒(3日)に設定すると、2023-02-05にパーティションの2023-02-02以前が削除される ※ちなみに2023-02-05以降に2023-02-02以前のデータを入れた場合、即時削除されます テーブルの有効期限 bqコマンドでの設定 // 新規テーブルに有効期限を設定 (作成から3日後に削除される) bq mk --expiration 86400 dataset.table --schema schema.json // 既存テーブルに有効期限を設定 bq update --expiration 86400 dataset.table // 既存テーブルの有効期限を解除したい場合は0を指定 bq update --expiration 0 dataset.table Client Libraryでの設定(Python) // 新規テーブルに有効期限を設定 (2023-02-27 14:00:00に削除される) from google.cloud import bigquery from datetime import datetime client = bigquery.Client() bq update schema = [ bigquery.SchemaField("timestamp", "TIMESTAMP", mode="REQUIRED"), ] table_id = 'project_id.dataset.table' table = bigquery.Table(table_id, schema=schema) table.partitioning_type = 'DAY' table.expires ...
続きを読む

Cloud Schedulerは必ず実行されるわけではない

Cloud Schedulerは「ジョブターゲットへの配信を少なくとも1回は確実に実行します」という記述がある。 この文言からリトライの設定は不要と思いがちだが、サポートによればリソースが確保できずに、 実行されない事象があるとの事でした。 必ず1回実行したい場合は、リトライの設定をする事で限りなく「必ず」に近い実行状況になります。
続きを読む

ChromebookでAndroidアプリをインストールする方法

イメージ
Google Workspaceアカウントでログインした状態でインストールする方法です ChromebookはGoogle Play ストアからAndroidアプリをインストールして使えるという事だったので、 Google Play ストアで任意のアプリをインストールしようとしたが、インストールができなかった 設定→[アプリ]を見てみると「オンにする」が無効になっているので、これを有効にする必要がありそうと気付く 組織のマークが付いているので、Google Workspaceで制限されていると予測がつく。 個人のGoogleアカウントであれば、「オンにする」がアクティブなので押せば、 Google Play ストアから任意のアプリがインストール可能のようだ。 Google Workspaceの管理→[デバイス]→[Chrome]→[アプリの拡張機能]→[ユーザーとブラウザ]を見てみると、 Playストアが「すべてのアプリを拒否する、管理者が許可リストを管理する」になっていた [追加の設定]を押すと下記の画面となり、[Chromeデバイス上のAndroidアプリ]が[禁止]になっていたので [許可]に変更して保存をします 保存からしばらく待つと各端末にGoogle Playがインストールされて、設定→アプリが有効に切り替わっています ただ、上記のWorkspaceの管理の設定でPlayストアが「すべてのアプリを拒否する、管理者が許可リストを管理する」 になっているので、Google Playストアからは何もインストールは出来ません アプリの管理方法 「すべてのアプリを拒否する、管理者が許可リストを管理する」の設定状態のアプリを管理方法については、 管理者がPlayストアが承認する事によって、ユーザーはアプリをインストールが可能になります。 同じ方法でChromeストアのChromeアドオンなども管理可能です。 管理者が任意のアプリを承認すると、ユーザーのGoogle Play ストアでは、承認されたアプリがインストール可能となります
続きを読む