データサイエンティストのためのRun AIワークスペースを使ったランニングの活用法

目次

• はじめに
• Run AIのワークスペースについて
• デモに入る前に
• デモのステップ
• ワークスペースの作成
• Cyberton分類タスクの設定
• GitHubリポジトリの設定
• ノートブックのインストールと起動
• モデルの設定と学習
• メトリクスの監視と記録
• 環境の変更
• まとめ
• よくある質問

ワークスペースを使ったランニングの活用法

こんにちは、皆さん。run AIのAkinです。今日はランニングをワークスペースとして使用する方法についてお話しするのがとても楽しみです。ただし、いくつかのバイアスに基づいています。では、このデモではJupiter Lab上でサイバータンクの分類タスクを作成しました。しかし、デモに入る前に、run AIのワークスペースに対する私たちの動機をお話ししたいと思います。

はじめに

データサイエンティストとして、企業で働いている場合、クラスタ内で行われているすべての統合に対してシステム管理者のサポートを受けています。したがって、Jupiterノートブックにアクセスし、何らかのバイアスを待つために何をする必要があるかを説明するために、システム管理者にチケットを作成する必要があります。そして、何らかの理由でプロジェクトに関連しており、必要な技術的な詳細を説明します。もちろん、それが準備できるまで時間がかかるかもしれません。幸運な場合は、なる早でアクセスを取得しますが、幸運でない場合は、ツールのアクセスに問題が発生したり、数週間後になるかもしれません。例えば、Jupiterの代わりにVS Codeに切り替えることを決めた場合、再び最初のステップに戻って、彼らに統合を作成するために別のチケットを作成する必要があります。

Run AIのワークスペースについて

2番目のケースは「ユニコーンのデータサイエンティスト」です。つまり、私たち自身がエンジニアとして行動する必要があることもあります。そして、日常業務中に使用する様々なツールに対応する必要もあります。これは非常に疲れることです。その場合、何をする必要がありますか？まず、いくつかのバイアスの統合を含むDockerファイルを作成する必要があります。例えば、トレーニングスクリプトなどです。また、Jupiterではなく、他のツールも使用できます。それから、コンテナをビルドし、プライベートなDockerリポジトリにプッシュし、作成したコンテナでトレーニングデプロイメントを実行する必要があります。最後に、JupiterのポートをローカルPCで公開する必要があります。これにより、JupiterのUIにアクセスできます。これらのバージョンの両方には、データサイエンティストにとって多くの障害がありますが、まだデータサイエンスプロジェクトを開始していません。run AIのワークスペースを使用することで、データサイエンティストが自由にツールを選択できるようにし、その摩擦を取り除くことが目指されています。

デモに入る前に

それでは、デモに入りましょう。まず、私がサイバータンクの分類タスクを作成しました。現在、GitHubリポジトリに格納されていますので、リポジトリにアクセスすることもできます。リポジトリにはrequirements.txtファイルとノートブックがあります。それでは、まずはrun AIのダッシュボードに移動し、アカウントにログインしましょう。

デモのステップ

ワークスペースの作成をクリックし、新しいワークスペースを作成します。既存のテンプレートを再利用することもできますが、今回はゼロから始めるため、スクラッチから開始します。ワークスペースの名前を「cipher10」とし、Jupiter with some biasesを環境として選択します。イメージは自動的にプルされます。コンピュータのリソースとしては、1つのGPUを選択します。なぜなら、トレーニングジョブも実行するからです。データソースがある場合は、ここでS3バケットやNFSなどを使用することもできます。今回はGitHubリポジトリを使用するため、リポジトリをマウントします。その後、ノートブックでCipher10をインストールするため、他のデータソースを選択する必要はありませんが、それも可能です。ワークスペースを作成しましょう。完了までには少し時間がかかりますが、アクティブになります。

ワークスペースの作成

ワークスペースが準備できました。アクティブな状態になっており、クリックしてJupiterまたはRed Sun Biasのダッシュボードに直接接続できます。今回は一旦Jupiterを選択しましょう。UIが準備できており、GitHubリポジトリがマウントされ、すべてのファイルが表示されています。続いて、requirements.txtをインストールして起動しましょう。これには少し時間がかかりますが、完了後は再度同じ手順を踏まなくても大丈夫です。ワークスペースを停止し、必要に応じてGPUを解放できます。作業を終了したい場合や休暇に行く予定がある場合などでも問題ありません。ワークスペースをいつでも停止し、再開できます。再開ボタンをクリックして、同じデータとインストールした要件で簡単に作業を続けることができます。

サイバータンクの分類タスクの設定

さて、準備が整いました。ここからは実際にタスクの設定を行っていきましょう。まず、必要なパッケージをインポートします。デバイスをCUDAに設定します。次に、データのパスを定義し、データをダウンロードします。データセットが正しくダウンロードされたか確認しましょう。

GitHubリポジトリの設定

次に、ニューラルネットワークの設定です。今回はResNet-50を定義し、PyTorchからウェイトをダウンロードします。また、実験の一環としてDenseNetも作成しました。自分のデータに対して異なるモデルを試すこともできます。重要なのは、weights and biasesのダッシュボードからフィルタリングできることです。

ノートブックのインストールと起動

そして、楽しい部分が来ました。トレーニングです。学習率、モメンタム、クライテリオン、オプティマイザーなどを設定し、現在はResNetです。そして、ウェイトとバイアスランの初期化を行います。自分のプロジェクトの名前を「cypherton」としました。学習率やモメンタム、モデル名などの詳細を常に監視することで、精度や損失の挙動を観察できます。そして、トレーニングループです。各エポックで精度と損失をログに記録します。

メトリクスの監視と記録

実行してみましょう。ついでに、誰が私なのかと尋ねる方がいるようですので、biasのユーザー設定をマイグレーションしましょう。APIキーをコピーして貼り付け、biasが私のプロジェクト「cypher10」を知ることができるようにします。それでは、進捗状況を確認しましょう。設定が表示され、正常に開始されたため、まだレポートするメトリクスはありませんが、時間の経過とともに表示されるようになります。カイバース10プロジェクトの下で、損失や精度などを常に確認できます。run AIのワークスペースを使用することで、weights and biasesの統合を簡単に利用できることがわかりました。

環境の変更

ワークスペースの作成時に選択したJupiter Lab with some biasesの環境を変更することもできます。自分の好みに合わせて、好きなツールを選択し、ミックス＆マッチすることができます。すべてが簡単にプラグアンドプレイできます。これが私たちの目指すところであり、お役に立てれば幸いです。ご質問がございましたら、お気軽にお問い合わせください。ありがとうございました。

ハイライト

• Run AIのワークスペースを使用することで、データサイエンティストが自由にツールを選択できます
• ワークスペースの作成からトレーニングまでのプロセスをスムーズに行うことができます
• weights and biasesの統合が簡単に利用できます
• モデルの学習中にメトリクスを監視し、記録することができます

よくある質問

Q: ワークスペースの作成にはどれくらい時間がかかりますか？ A: ワークスペースの作成には数分から数十分かかる場合があります。パソコンのリソースやネットワークの状況によって異なります。

Q: ワークスペースを停止すると、データやモデルは失われますか？ A: ワークスペースを停止しても、データやモデルは失われません。再開時には、前回の状態から続きをすることができます。

Q: weights and biases以外の統合も利用できますか？ A: はい、run AIのワークスペースでは、他の統合も利用することができます。自分の好みに合わせて、様々なツールを組み合わせて使用することができます。

Q: ワークスペースの削除はどのように行いますか？ A: ワークスペースを削除するには、run AIのダッシュボードから削除するボタンをクリックします。削除すると、すべてのデータや設定が完全に削除されますので、慎重に操作してください。

Run AI

以上、ワークスペースを使ったランニングの活用法について説明しました。ご質問がありましたら、お気軽にお問い合わせください。ありがとうございました。