Effiziente Jupiter Notebook-Bereitstellung mit Run AI

Effiziente Jupiter Notebook-Bereitstellung mit Run AI

Inhaltsverzeichnis

1. Einführung
2. Vereinfachung von Jupiter Notebook-Bereitstellungen
3. Reduzierung der GPU-Zuweisung
4. GPU-Knoten
   • 4.1 GPU-Knotenübersicht
   • 4.2 GPU-Details
5. Arbeitsbereiche
   • 5.1 Neuen Arbeitsbereich erstellen
   • 5.2 Projekt auswählen
   • 5.3 Vorlagen verwenden
   • 5.4 Arbeitsbereichsumgebung festlegen
   • 5.5 Rechenressourcen festlegen
6. Datenquellen
   • 6.1 Verbindung von Datenquellen
   • 6.2 Vordefinierte Konfigurationen
   • 6.3 Mehrere Datenquellen hinzufügen
7. Arbeitsbereich erstellen
   • 7.1 Bereitstellung des Arbeitsbereichs
   • 7.2 Netzwerkkonfiguration
   • 7.3 Zugriff auf Jupyter Notebook
8. GPU-Zuweisung überprüfen
9. GitHub-Repository klonen
10. Zusammenfassung
11. Weitere Informationen

🚀 Vereinfachung von Jupiter Notebook-Bereitstellungen und Reduzierung der GPU-Zuweisung

In diesem kurzen Video zeigen wir Ihnen, wie Sie Jupiter Notebook-Bereitstellungen vereinfachen und gleichzeitig die benötigte GPU-Zuweisung reduzieren können. Als Beispiel verwenden wir die Run AI-Plattform.

1. Einführung

Die Bereitstellung von Jupiter Notebooks kann eine Herausforderung sein, da häufig eine vollständige GPU dafür zugewiesen werden muss, was teuer und ineffizient ist. Run AI bietet die Möglichkeit, GPU-Ressourcen aufzuteilen und somit eine höhere Dichte an Bereitstellungen zu erreichen. In diesem Artikel werden wir den Prozess der Bereitstellung eines neuen Arbeitsbereichs mit Jupiter Notebook auf Run AI schrittweise erläutern.

2. GPU-Knoten

2.1 GPU-Knotenübersicht

Bevor wir mit der Erstellung eines Arbeitsbereichs beginnen, werfen wir einen kurzen Blick auf die verfügbaren GPU-Knoten. Auf Run AI können Sie mehrere GPU-Knoten mit insgesamt 32 GPUs sehen. In unserem Fall haben wir bereits 29 GPUs für laufende Aufgaben auf dem Cluster allokiert.

2.2 GPU-Details

Jeder GPU-Knoten auf Run AI ist mit NVIDIA V100 GPUs ausgestattet. Jeder Knoten enthält 16 GPUs mit 12 Gigabyte Speicher. Diese Details sind wichtig, um die GPU-Zuweisung für Ihren Arbeitsbereich zu verstehen.

3. Arbeitsbereiche

Ein Arbeitsbereich auf Run AI ermöglicht die Bereitstellung von Tools Ihrer Wahl, wie zum Beispiel Jupiter Notebook, für die Entwicklung und Ausführung von Projekten. Hier sind die Schritte, um einen neuen Arbeitsbereich zu erstellen:

3.1 Neuen Arbeitsbereich erstellen

Der erste Schritt bei der Erstellung eines neuen Arbeitsbereichs besteht darin, das Projekt auszuwählen, an dem Sie arbeiten möchten.

3.2 Projekt auswählen

Wählen Sie das Projekt aus, das dem Arbeitsbereich zugeordnet werden soll. Dies stellt sicher, dass der Arbeitsbereich alle relevanten Dateien und Informationen enthält.

3.3 Vorlagen verwenden

Wenn Sie beim Erstellen eines Arbeitsbereichs bestimmte Vorlagen verwenden möchten, können Sie dies an dieser Stelle tun. Vorlagen bestehen aus verschiedenen Komponenten, die in einem Arbeitsbereich enthalten sein können. In diesem Fall werden wir jedoch einzelne Komponenten auswählen.

3.4 Arbeitsbereichsumgebung festlegen

Als nächstes müssen Sie die Umgebung für Ihren Arbeitsbereich festlegen. Auf Run AI stehen verschiedene Umgebungen zur Auswahl, aber in diesem Fall wählen wir Jupiter Notebook. Die Umgebung bestimmt das verwendete Image und seine Einstellungen.

3.5 Rechenressourcen festlegen

Ein häufiges Problem bei der Bereitstellung von Jupiter Notebooks besteht darin, dass für jeden Notebook eine vollständige GPU zugewiesen wird. Das ist jedoch oft unnötig und teuer. Run AI ermöglicht die Zuweisung von fraktionalen GPUs, sodass Sie die GPU-Ressourcen effizienter nutzen können. Dadurch können Sie die Anzahl der zugewiesenen GPUs reduzieren und sie für andere aufwändige Aufgaben wie das Training von Modellen freigeben.

4. Datenquellen

Das Verbinden von Datenquellen mit Ihrem Arbeitsbereich kann eine weitere Herausforderung sein. Run AI vereinfacht diesen Prozess, indem es eine konfigurierte Schnittstelle für verschiedene Arten von Datenquellen bereitstellt. Hier sind die Schritte, um Datenquellen anzuschließen:

4.1 Verbindung von Datenquellen

Bei der Erstellung des Arbeitsbereichs haben Sie die Möglichkeit, Datenquellen auszuwählen, die mit Ihrem Projekt verbunden werden sollen. Dies kann eine NFS-Freigabe, ein S3-Bucket, eine PVC auf Kubernetes oder ein GitHub-Repository sein. Wählen Sie die gewünschte Datenquelle aus, in diesem Fall verwenden wir ein GitHub-Repository.

4.2 Vordefinierte Konfigurationen

Run AI bietet vordefinierte Konfigurationen für häufig verwendete Datenquellen. Sie können eine dieser Konfigurationen auswählen und müssen keine zusätzlichen Details eingeben.

4.3 Mehrere Datenquellen hinzufügen

Wenn Sie mehrere Datenquellen für Ihren Arbeitsbereich benötigen, können Sie in diesem Schritt weitere Datenquellen auswählen. Dies bietet Flexibilität und ermöglicht den einfachen Zugriff auf verschiedene Datensätze.

5. Arbeitsbereich erstellen

Nachdem Sie alle relevanten Einstellungen vorgenommen haben, können Sie Ihren Arbeitsbereich erstellen. Run AI übernimmt die Bereitstellung des Arbeitsbereichs, einschließlich der erforderlichen Ressourcen und Netzwerkkonfiguration. Dies erspart Ihnen lästige Konfigurationsaufgaben.

5.1 Bereitstellung des Arbeitsbereichs

Die Bereitstellung des Arbeitsbereichs umfasst das Hochfahren des Images und die Einrichtung aller erforderlichen Abhängigkeiten.

5.2 Netzwerkkonfiguration

Die Konfiguration der Netzwerkzugriffe kann kompliziert sein, aber Run AI vereinfacht diesen Schritt. Sie können Ihren Arbeitsbereich direkt über die Plattform erreichen und so auf Ihren Jupiter Notebook zugreifen.

5.3 Zugriff auf Jupyter Notebook

Sobald die Bereitstellung des Arbeitsbereichs abgeschlossen ist, können Sie auf Ihr Jupiter Notebook zugreifen. Wählen Sie einfach Ihren Arbeitsbereich aus, wählen Sie die Option "Verbinden" und wählen Sie das gewünschte Tool aus. In diesem Fall wählen wir Jupiter Notebook.

6. GPU-Zuweisung überprüfen

Nach dem Start des Jupiter Notebooks können Sie die GPU-Zuweisung überprüfen. Verwenden Sie das Befehlszeilentool "Nvidia SMI", um die Details anzuzeigen. In unserem Fall wurde dem Arbeitsbereich nur 0,1 GPU zugewiesen, was 1,2 Gigabyte Speicher entspricht.

7. GitHub-Repository klonen

Ein weiteres Feature von Run AI ist die Möglichkeit, ein GitHub-Repository mit Ihrem Arbeitsbereich zu verknüpfen. Dadurch werden alle Repository-Inhalte automatisch in Ihrem Arbeitsbereich verfügbar. Sie können Code, Daten und andere Ressourcen direkt in Ihrem Jupiter Notebook verwenden.

8. Zusammenfassung

Die Vereinfachung von Jupiter Notebook-Bereitstellungen und die Reduzierung der GPU-Zuweisung sind entscheidend, um die Effizienz und die Ressourcennutzung beim Entwickeln und Trainieren von Modellen zu verbessern. Run AI bietet eine benutzerfreundliche Plattform, die diese Herausforderungen löst und Entwicklern und Data Scientists eine schnelle und effiziente Arbeitsumgebung bietet.

9. Weitere Informationen

Mehr Informationen zu Run AI und der Nutzung der Plattform finden Sie in der offiziellen Dokumentation unter docs.run.ai. Wenn Sie Fragen haben, können Sie uns gerne eine E-Mail schreiben.

Highlights

• Run AI vereinfacht die Bereitstellung von Jupiter Notebooks und reduziert die benötigte GPU-Zuweisung.
• Die Plattform ermöglicht die Aufteilung von GPUs in kleinere Einheiten, um die Dichte der Bereitstellungen zu erhöhen.
• Durch die Verbindung von Datenquellen wie GitHub-Repositories können Daten und Code problemlos in den Arbeitsbereich integriert werden.
• Run AI kümmert sich um die Netzwerkkonfiguration und ermöglicht einen einfachen Zugriff auf das Jupiter Notebook.
• Die Plattform bietet eine effiziente Lösung für Data Scientists und Entwickler, um ihre Modelle zu entwickeln und zu trainieren.

Häufig gestellte Fragen (FAQ)

Frage: Wie kann ich die GPU-Zuweisung in meinem Run AI-Arbeitsbereich ändern?

Antwort: Sie können die GPU-Zuweisung ändern, indem Sie die Rechenressourcen für Ihren Arbeitsbereich anpassen. Gehen Sie dazu zu den Arbeitsbereichseinstellungen und passen Sie die GPU-Fraktion oder die Anzahl der zugewiesenen GPUs an.

Frage: Kann ich mehrere Tools in einem Run AI-Arbeitsbereich ausführen?

Antwort: Ja, Run AI ermöglicht das Ausführen mehrerer Tools in einem Arbeitsbereich. Sie können verschiedene Umgebungen und Vorlagen auswählen, um die benötigten Tools bereitzustellen.

Frage: Welche Arten von Datenquellen kann ich mit meinem Run AI-Arbeitsbereich verbinden?

Antwort: Run AI bietet verschiedene vordefinierte Konfigurationen für Datenquellen wie NFS-Freigaben, S3-Buckets, PVCs auf Kubernetes und GitHub-Repositories. Sie können eine dieser Konfigurationen auswählen oder eine benutzerdefinierte Datenquelle hinzufügen.

Frage: Wie greife ich von meinem lokalen Computer auf das Jupiter Notebook in meinem Run AI-Arbeitsbereich zu?

Antwort: Sie können auf Ihr Jupiter Notebook zugreifen, indem Sie den Arbeitsbereich auf der Run AI-Plattform öffnen und die Option "Verbinden" auswählen. Von dort aus können Sie das Jupiter Notebook in Ihrem Webbrowser öffnen und verwenden.

Frage: Bietet Run AI eine kostenlose Testversion an?

Antwort: Ja, Run AI bietet eine kostenlose Testversion an, mit der Sie die Plattform ausprobieren und sehen können, wie sie Ihren Workflow verbessert. Besuchen Sie die offizielle Website von Run AI, um weitere Informationen zu erhalten und sich für die Testversion anzumelden.

Ressourcen

• Run AI Dokumentation