Google CloudでJupyterノートブックをセットアップしよう

Google CloudでJupyterノートブックをセットアップしよう

テーブル目次：

1. Google Cloud上でのJupiterノートブックのセットアップ
2. IAMのリソース設定 2.1 サービスアカウントの作成とロールの割り当て
3. Vertex AIワークベンチでのノートブックの作成 3.1 サービスアカウントの設定 3.2 TensorFlow Enterprise 2.8の導入
4. リソースの作成と管理 4.1 BigQueryデータセットの作成 4.2 Cloud Storageバケットの作成 4.3 Vertex AIエクスペリメントの作成
5. リソースの削除とコスト管理
6. おわりに

Google Cloud上でのJupiterノートブックのセットアップ

Google Cloud上でJupiter Notebookをセットアップする方法について説明します。このセットアップにより、Pythonノートブックのコードを使用してさまざまなGoogle Cloudリソースを作成、実行、削除することができます。具体的な例として、BigQueryデータセット、Vertex AIエクスペリメント、Cloud Storageバケットの作成を考えてみましょう。本稿では、認証や認可コードの必要性を排除するために、役割、IAMポリシー、およびサービスアカウントを使用します。GCPとのシームレスな連携を実現するために、Google Cloud Consoleでこれらのリソースを設定する方法について説明します。

IAMのリソース設定

まず、IAMリソースの設定を行います。IAMと管理→IAMに移動すると、サービスアカウント、役割、IAMポリシーを管理するためのコンソールが表示されます。まず、サービスアカウントを作成します。作成したサービスアカウントのメールアドレスをコピーし、役割の割り当ては後で行うことにします。サービスアカウントが作成されたら、役割の割り当てを行うための別のインターフェースに移動します。プロジェクトレベルで役割を割り当てることにします。作成したサービスアカウントに対して、ビッグクエリの管理者権限、ストレージの管理者権限、Vertex AIの管理者権限を割り当てます。これらは広範囲なスコープを持つ役割ですが、BigQuery、Cloud Storage、Vertex AIサービスを簡単に試すために適しています。

Vertex AIワークベンチでのノートブックの作成

サービスアカウントの設定が完了したら、Vertex AIに移動してノートブックを作成します。Tensorflow Enterprise 2.8を使用して、ユーザー管理のノートブックを作成します。GPUは必要ありません。ノートブックを作成する前に、「詳細オプション」に進む必要があります。そこで、新しいサービスアカウントを選択します。「Compute Engineデフォルトサービスアカウント」ではなく、作成したサービスアカウントに置き換える必要があります。セットアップのその他の設定には、必要に応じてGPUを追加したり、マシンのサイズを変更したりすることができます。Tensorflow Enterprise 2.8には、データ分析、データサイエンス、AI機械学習に便利なライブラリが含まれています。また、これらのノートブックにはGoogle Cloud SDKも含まれており、BigQueryデータセット、Cloud Storageバケット、Vertex AI実験の作成がPythonコードで行えます。

リソースの作成と管理

では、実際にリソースを作成して管理する方法について見ていきましょう。まずはBigQueryデータセットの作成です。GitHubで共有されたBigQueryデータセットの作成コードを実行します。プロジェクトIDとデータセット名が必要になります。データセットが作成されたら、BigQueryで確認することができます。次に、Cloud Storageバケットを作成します。リージョンと名前を指定する必要があります。Google Cloud Storageバケットの名前は、Google Cloud全体で一意である必要があるため、柔軟性を持たせる必要があります。これらのリソースは作成したコードによって自動的に作成されるため、認証コードは必要ありません。最後に、Vertex AIで実験を作成します。適宜、別のリージョンを選択することもできます。必要なパッケージがデフォルトでは使用できない場合、ノートブックに追加のパッケージをインストールする必要があります。インストール方法について説明します。これらのリソースが正常に作成されたら、Cloud Consoleで確認することができます。

リソースの削除とコスト管理

実験が終了したら、作成したリソースを削除したり、ノートブックをオフにしたりすることをおすすめします。GCPの請求に驚かされることがないように、実験中に作成したリソースを削除することを忘れないでください。

おわりに

この記事では、Google Cloud上でのJupiterノートブックのセットアップ方法と、その上でのリソースの作成と管理方法について説明しました。これにより、Pythonコードを使用してBigQuery、Vertex AI、Cloud Storageのリソース管理を簡単に行うことができます。また、Vertex AIワークベンチノートブックは、GCPサービスとのシームレスな接続だけでなく、優れたセキュリティ、スケーラビリティ、アクセラレータへのアクセスも提供しています。ノートブックをオフにすることでデータを保持しつつ、クラウドコストを無視できるようにすることも可能です。実験中に作成したリソースを削除することを忘れずにしましょう。