Google CloudでJupyterノートブックをセットアップしよう
テーブル目次:
- Google Cloud上でのJupiterノートブックのセットアップ
- IAMのリソース設定
2.1 サービスアカウントの作成とロールの割り当て
- Vertex AIワークベンチでのノートブックの作成
3.1 サービスアカウントの設定
3.2 TensorFlow Enterprise 2.8の導入
- リソースの作成と管理
4.1 BigQueryデータセットの作成
4.2 Cloud Storageバケットの作成
4.3 Vertex AIエクスペリメントの作成
- リソースの削除とコスト管理
- おわりに
Google Cloud上でのJupiterノートブックのセットアップ
Google Cloud上でJupiter Notebookをセットアップする方法について説明します。このセットアップにより、Pythonノートブックのコードを使用してさまざまなGoogle Cloudリソースを作成、実行、削除することができます。具体的な例として、BigQueryデータセット、Vertex AIエクスペリメント、Cloud Storageバケットの作成を考えてみましょう。本稿では、認証や認可コードの必要性を排除するために、役割、IAMポリシー、およびサービスアカウントを使用します。GCPとのシームレスな連携を実現するために、Google Cloud Consoleでこれらのリソースを設定する方法について説明します。
IAMのリソース設定
まず、IAMリソースの設定を行います。IAMと管理→IAMに移動すると、サービスアカウント、役割、IAMポリシーを管理するためのコンソールが表示されます。まず、サービスアカウントを作成します。作成したサービスアカウントのメールアドレスをコピーし、役割の割り当ては後で行うことにします。サービスアカウントが作成されたら、役割の割り当てを行うための別のインターフェースに移動します。プロジェクトレベルで役割を割り当てることにします。作成したサービスアカウントに対して、ビッグクエリの管理者権限、ストレージの管理者権限、Vertex AIの管理者権限を割り当てます。これらは広範囲なスコープを持つ役割ですが、BigQuery、Cloud Storage、Vertex AIサービスを簡単に試すために適しています。
Vertex AIワークベンチでのノートブックの作成
サービスアカウントの設定が完了したら、Vertex AIに移動してノートブックを作成します。Tensorflow Enterprise 2.8を使用して、ユーザー管理のノートブックを作成します。GPUは必要ありません。ノートブックを作成する前に、「詳細オプション」に進む必要があります。そこで、新しいサービスアカウントを選択します。「Compute Engineデフォルトサービスアカウント」ではなく、作成したサービスアカウントに置き換える必要があります。セットアップのその他の設定には、必要に応じてGPUを追加したり、マシンのサイズを変更したりすることができます。Tensorflow Enterprise 2.8には、データ分析、データサイエンス、AI機械学習に便利なライブラリが含まれています。また、これらのノートブックにはGoogle Cloud SDKも含まれており、BigQueryデータセット、Cloud Storageバケット、Vertex AI実験の作成がPythonコードで行えます。
リソースの作成と管理
では、実際にリソースを作成して管理する方法について見ていきましょう。まずはBigQueryデータセットの作成です。GitHubで共有されたBigQueryデータセットの作成コードを実行します。プロジェクトIDとデータセット名が必要になります。データセットが作成されたら、BigQueryで確認することができます。次に、Cloud Storageバケットを作成します。リージョンと名前を指定する必要があります。Google Cloud Storageバケットの名前は、Google Cloud全体で一意である必要があるため、柔軟性を持たせる必要があります。これらのリソースは作成したコードによって自動的に作成されるため、認証コードは必要ありません。最後に、Vertex AIで実験を作成します。適宜、別のリージョンを選択することもできます。必要なパッケージがデフォルトでは使用できない場合、ノートブックに追加のパッケージをインストールする必要があります。インストール方法について説明します。これらのリソースが正常に作成されたら、Cloud Consoleで確認することができます。
リソースの削除とコスト管理
実験が終了したら、作成したリソースを削除したり、ノートブックをオフにしたりすることをおすすめします。GCPの請求に驚かされることがないように、実験中に作成したリソースを削除することを忘れないでください。
おわりに
この記事では、Google Cloud上でのJupiterノートブックのセットアップ方法と、その上でのリソースの作成と管理方法について説明しました。これにより、Pythonコードを使用してBigQuery、Vertex AI、Cloud Storageのリソース管理を簡単に行うことができます。また、Vertex AIワークベンチノートブックは、GCPサービスとのシームレスな接続だけでなく、優れたセキュリティ、スケーラビリティ、アクセラレータへのアクセスも提供しています。ノートブックをオフにすることでデータを保持しつつ、クラウドコストを無視できるようにすることも可能です。実験中に作成したリソースを削除することを忘れずにしましょう。