概要
こちらのページで基本的な使い方を把握した GCP の Data Loss Prevention (DLP) サービスを用いると、文章や画像の中に含まれる、電話番号や氏名および住所といった、個人を特定し得る情報 Personally Identifiable Information (PII) の検出を行えます。更に追加の設定によって、検出した情報を消したり他の文字列で置き換えたり、ハッシュ化したり暗号化することもできます。DLP はその他の機能も備えていますが、ここでは上記の基本的な機能について使い方を記載します。
Inspection テンプレートの作成
PII の検出 Inspect を行うためのテンプレートを作成できます。Inspect API を実行する毎に、検出方法を設定することもできますが、テンプレートを作成しておきそれを Inspect API 実行時に指定することで、設定を毎回行う必要がなくなります。
Cloud Console の DLP UI を用いる場合は以下のようにします。
テンプレートを作成します。
「検査 (機密データの検索)」を選択します。
検出したい infoType を選択します。組み込みで用意されているものの一つ PERSON_NAME を選択してみます。
カスタム infoType を作成することもできます。ここでは簡単な「単語または語句」を選択してみます。
「日本語テスト」または「あいうえお」に合致する文章中の箇所を検知するための infoType として設定しました。
PERSON_NAME またはカスタムで作成した MY_INFO_TYPE_20210421_3 を検出するテンプレートが出来上がりました。
De-identification テンプレートの作成
PII を検出した箇所に対して、何らかの処理を行うためには de-identification API を利用します。
API の呼び出し時には inspectConfig と deidentifyConfig を指定します。
inspectConfig の代わりに inspectTemplateName を指定することができますが、同様に deidentifyConfig の代わりに deidentifyTemplateName を指定することもできます。
De-identification テンプレートの作成を DLP UI から行うためには以下のようにします。
匿名化 (機密データの削除) を選択します。
匿名化のための処理方法を設定します。ここでは「infoType 名での置換」を選択してみます。
「テスト」タブでテンプレートの動作確認を行えます。de-identification API を実行するためには inspectConfig または inspectTemplateName を指定する必要があり、DLP UI では、以下のテキストボックスで inspectTemplateName を指定します。
何も指定しない場合、DLP が既定で用意していると思われる inspectTemplatename が指定され、組み込みの infoType のみを全て検出するような挙動となります。以下の例のように「日本語テスト」および「あいうえお」が検出されなくなるのはそのためです。
API による de-identification 処理の実行
DLP UI における De-identification の「テスト」タブで行った処理を API Method: projects.content.deidentify で行うためには、以下のようにします。
dl-req.json
{
"deidentifyConfig": {},
"inspectConfig": {},
"item": {
"value": "日本語テスト。私の名前は鈴木太郎です。\nあいうえお、かきくけこ。"
},
"inspectTemplateName": "projects/my-project-20210328/locations/global/inspectTemplates/my-inspection-template-20210421-3",
"deidentifyTemplateName": "projects/my-project-20210328/locations/global/deidentifyTemplates/my-deidentification-template-20210421-2"
}
実行例 (my-project-20210328 はお使いのプロジェクト ID に書き換えてください。)
curl -sS -XPOST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H 'Content-Type: applicaiton/json' \
https://dlp.googleapis.com/v2/projects/my-project-20210328/content:deidentify \
-d @dlp-req.json
{
"item": {
"value": "[MY_INFO_TYPE_20210421_3]。私の名前は[PERSON_NAME]です。\n[MY_INFO_TYPE_20210421_3]、かきくけこ。"
},
"overview": {
"transformedBytes": "45",
"transformationSummaries": [
{
"infoType": {
"name": "MY_INFO_TYPE_20210421_3"
},
"transformation": {
"replaceWithInfoTypeConfig": {}
},
"results": [
{
"count": "2",
"code": "SUCCESS"
}
],
"transformedBytes": "33"
},
{
"infoType": {
"name": "PERSON_NAME"
},
"transformation": {
"replaceWithInfoTypeConfig": {}
},
"results": [
{
"count": "1",
"code": "SUCCESS"
}
],
"transformedBytes": "12"
}
]
}
}
API 実行のためには、ここではサービスアカウントを利用しています。「DLP 管理者」ロールを付与しても動きますが、上記 API 実行のための最小の権限は以下のようになります。
API 実行時に発生し得るエラー
NTP デーモンが動いていない場合
Docker コンテナ内などで gcloud を利用していると、以下のようなエラーに遭遇することがあります。これは、NTP デーモンが動いておらず時刻がずれているときに発生します。
gcloud auth activate-service-account --key-file ./my-project-20210328-04084aee5ee7.json
ERROR: (gcloud.auth.activate-service-account) There was a problem refreshing your current auth tokens: ('invalid_grant: Invalid JWT: Token must be a short-lived token (60 minutes) and in a reasonable timeframe. Check your iat and exp values in the JWT claim.', '{"error":"invalid_grant","error_description":"Invalid JWT: Token must be a short-lived token (60 minutes) and in a reasonable timeframe. Check your iat and exp values in the JWT claim."}')
CentOS7 の場合は以下のようにして NTP デーモンをインストールして対処できます。
sudo yum -y install ntp
sudo systemctl start ntpd.service
ユーザアカウントを用いている場合
サービスアカウントではなくユーザアカウントを用いている場合は、以下のようなエラーが出ます。
curl -sS -XPOST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H 'Content-Type: applicaiton/json' https://dlp.googleapis.com/v2/projects/my-project-20210328/content:deidentify -d @dlp-req.json
{
"error": {
"code": 403,
"message": "Cloud Data Loss Prevention (DLP) API has not been used in project 32555940559 before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/dlp.googleapis.com/overview?project=32555940559 then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry.",
"status": "PERMISSION_DENIED",
"details": [
{
"@type": "type.googleapis.com/google.rpc.Help",
"links": [
{
"description": "Google developers console API activation",
"url": "https://console.developers.google.com/apis/api/dlp.googleapis.com/overview?project=32555940559"
}
]
},
{
"@type": "type.googleapis.com/google.rpc.ErrorInfo",
"reason": "SERVICE_DISABLED",
"domain": "googleapis.com",
"metadata": {
"consumer": "projects/32555940559",
"service": "dlp.googleapis.com"
}
}
]
}
}
X-Goog-User-Project ヘッダを付与することで対処できます。
curl -sS -XPOST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H 'X-Goog-User-Project: my-project-20210328' \
-H 'Content-Type: applicaiton/json' https://dlp.googleapis.com/v2/projects/my-project-20210328/content:deidentify \
-d @dlp-req.json
補足: Application Default Credentials (ADC) について
上記エラーについて、インターネットで情報を調べていると Application Default Credentials (ADC) および gcloud auth application-default login に関する記述が見つかります。
gcloud auth application-default login は開発時などに用いることが想定された機能です。
サービスアカウントの key ファイルを使用する想定のアプリケーションがある場合に、ユーザアカウントの権限で同等のファイルを生成して、アプリケーションから利用させることができます。
gcloud auth application-default login
以下の認証ファイルが生成されます。
/home/vagrant/.config/gcloud/application_default_credentials.json
サービスアカウントの場合は以下のように環境変数を設定して、アプリケーションに場所を教える必要がありますが、gcloud auth application-default login の場合は環境変数の設定は不要です。
export GOOGLE_APPLICATION_CREDENTIALS=/path/to/my-project-20210328-04084aee5ee7.json
application_default_credentials.json によって access token を生成することもできます。
curl -sS -XPOST -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H 'X-Goog-User-Project: my-project-20210328' \
-H 'Content-Type: applicaiton/json' \
https://dlp.googleapis.com/v2/projects/my-project-20210328/content:deidentify \
-d @dlp-req.json
格納される infoType について
DLP のカスタム infoType には、Inspection テンプレートに内在するものと、そうでないものがあります。
Inspection テンプレートの外で定義できるカスタム infoType は「格納される infoType」と記載されています。
「単語A」および「単語B」に合致する箇所を検知する infoType と設定してみます。
Inspect テンプレートに対して、種類を「格納される infoType」とすることで紐付けることができます。「格納される infoType」の名前と、カスタム infoType の名前は同じである必要はありません。
Inspect テンプレートを De-Identification テンプレートで指定することで、確かに期待通りに動いていることが確認できます。
De-Identification で「格納される infoType」を指定するには以下のようにします。組み込みの infoType についても同様の設定が可能です。
指定していない infoType については、Inspection テンプレートが検知可能であっても、De-Identification テンプレートでは処理対象外となります。
Inspection テンプレートを指定しない場合は、DLP の既定の Inspection テンプレートが利用されることは前述のとおりです。その場合、既定の Inspection テンプレートは、「格納される infoType」を知らないため、以下のようなエラーとなります。
infoType による検知を特定の条件で除外したい場合
Inspection テンプレートにおける「検査ルールセット」を infoType に対して設定することで、特定の条件における検知を抑制することができます。
以下の例では「PERSON_NAME」infoType において「鈴木一郎」と「山田花子」を除外する設定となっています。
De-Identification テンプレートで確認すると、確かに期待通りに動いていることが分かります。
暗号化および復号処理
De-identification 処理のうち、Deterministic encryption using AES-SIV (CryptoDeterministicConfig) と Format preserving encryption (CryptoReplaceFfxFpeConfig) は、暗号化した結果を復号できます。
対称鍵の作成
暗号化および復号処理するためには、DLP の De-Identification テンプレートに対称鍵を登録します。例えば、以下のようにして対称鍵を生成します。
128/192/256 bit (16/24/32 byte) size のキーを指定する必要があります。
python で 16バイトのキーを生成するためには以下のようにできます。ASCII 1 byte を 16 文字分です。
python -c "f = open('mykey.bin', 'wb'); f.write('1234567812345678')"
サイズ確認 2byte x 8
$ od mykey.bin
0000000 031061 032063 033065 034067 031061 032063 033065 034067
0000020
openssl コマンドでも乱数から生成できます。
openssl rand 16 > mykey2.bin
$ od mykey2.bin
0000000 172051 155300 161372 167002 036714 116604 034746 143713
0000020
KMS キーの作成
上記の対称鍵を安全に GCP 上に保管するために、GCP KMS によって暗号化します。
KMS のキーは「キーリング」という鍵束の中に作成します。鍵束は以下のように作成します。
鍵束の中に鍵を作成します。
外部で作成した鍵をインポートすることもできますが、ここでは GCP 内で新規に対称鍵を生成することにします。簡単のため、鍵のローテーションも設定しません。
De-Identification テンプレートへの対称鍵の登録
作成した KMS 鍵を用いて、DLP 内で利用したい対称鍵を暗号化します。
gcloud kms encrypt --location=global \
--keyring=my-keyring-20210423 \
--key=my-key-20210423 \
--plaintext-file=mykey2.bin \
--ciphertext-file=mykey2-kms-wrapped.bin
DLP に鍵を登録するためには、base64 でエンコードする必要があります。
cat mykey2-kms-wrapped.bin | base64 -w0 && echo
先程作成した KMS 鍵のリソース名もコピーしておきます。
De-Identification テンプレートの「変換ルール」のうち、復号処理をサポートしている Deterministic encryption using AES-SIV (CryptoDeterministicConfig) を利用することにします。「仮名化 (暗号確定的トークン)」に該当します。
KMS キーのリソース名と、base64 エンコーディングした、KMS キーで暗号化 (ラップ) された対称鍵の二つを登録します。
更に「サロゲート infoType」というものも指定します。
正しく設定できていれば、以下のように変換されます。
復号できることの検証
API によって de-identification テンプレートを実行してみます。
dlp-req.json
{
"deidentifyConfig": {
},
"inspectConfig": {
},
"item": {
"value": "私の名前は田中一郎です。"
},
"inspectTemplateName": "projects/my-project-20210328/locations/global/inspectTemplates/my-inspection-template-20210421-3",
"deidentifyTemplateName": "projects/my-project-20210328/locations/global/deidentifyTemplates/my-deidentification-template-20210421-2"
}
実行例
curl -sS -XPOST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H 'X-Goog-User-Project: my-project-20210328' \
-H 'Content-Type: applicaiton/json' \
https://dlp.googleapis.com/v2/projects/my-project-20210328/content:deidentify \
-d @dlp-req.json
出力例
{
"item": {
"value": "私の名前はMY_SURROGATE(40):AYdLkcHd0L5YXbvQK2dLb0zIm8iuEwWNxyPCYXI=です。"
},
"overview": {
"transformedBytes": "12",
"transformationSummaries": [
{
"infoType": {
"name": "PERSON_NAME"
},
"transformation": {
"cryptoDeterministicConfig": {
"cryptoKey": {
"kmsWrapped": {
"wrappedKey": "CiQAPSZCCAD9MULuOWYswkN7tdUEDt7Waxm2Ab+rb4IXtcztMG4SOQAOuO8KqOFhhNhV3M4hmNVVB7OfjqYufpE0gDxiUQQrJMwd+dqcc3o84RP3TehcF76iU7xLwBFTCg==",
"cryptoKeyName": "projects/my-project-20210328/locations/global/keyRings/my-keyring-20210423/cryptoKeys/my-key-20210423"
}
},
"surrogateInfoType": {
"name": "MY_SURROGATE"
}
}
},
"results": [
{
"count": "1",
"code": "SUCCESS"
}
],
"transformedBytes": "12"
}
]
}
}
これを復号するためには、以下のようにします。
dlp-req2.json
{
"reidentifyConfig": {
},
"inspectConfig": {
"customInfoTypes": [
{
"infoType": { "name": "MY_SURROGATE" },
"surrogate_type": {}
}
]
},
"item": {
"value": "私の名前はMY_SURROGATE(40):AYdLkcHd0L5YXbvQK2dLb0zIm8iuEwWNxyPCYXI=です。"
},
"reidentifyTemplateName": "projects/my-project-20210328/locations/global/deidentifyTemplates/my-deidentification-template-20210421-2"
}
実行例
curl -sS -XPOST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H 'X-Goog-User-Project: my-project-20210328' \
-H 'Content-Type: applicaiton/json' \
https://dlp.googleapis.com/v2/projects/my-project-20210328/content:reidentify \
-d @dlp-req2.json
確かに復号できたことが確認できます。
{
"item": {
"value": "私の名前は田中一郎です。"
},
"overview": {
"transformedBytes": "57",
"transformationSummaries": [
{
"infoType": {
"name": "MY_SURROGATE"
},
"transformation": {
"cryptoDeterministicConfig": {
"cryptoKey": {
"kmsWrapped": {
"wrappedKey": "CiQAPSZCCAD9MULuOWYswkN7tdUEDt7Waxm2Ab+rb4IXtcztMG4SOQAOuO8KqOFhhNhV3M4hmNVVB7OfjqYufpE0gDxiUQQrJMwd+dqcc3o84RP3TehcF76iU7xLwBFTCg==",
"cryptoKeyName": "projects/my-project-20210328/locations/global/keyRings/my-keyring-20210423/cryptoKeys/my-key-20210423"
}
},
"surrogateInfoType": {
"name": "MY_SURROGATE"
}
}
},
"results": [
{
"count": "1",
"code": "SUCCESS"
}
],
"transformedBytes": "57"
}
]
}
}
REST API ではなく python SDK を用いた例はこちらのページに記載があります。
dlp-req2.json で指定した customInfoTypes のリファレンスはこちらです。
Re-Identification API のリファレンスはこちらです。
De-Identification API と非常に良く似ていますが、inspectConfig に customInfoTypes として「サロゲート infoType」を指定する必要があることに注意します。検知できないと Re-Identification 処理できないためです。
DLP の API をインターネットを経由せずに実行する設定
DLP API dlp.googleapis.com は VPC-SC の内部に閉じ込めることができます。詳細についてはこちらです。
