Beschleunigen Sie die Objekterkennung mit Coral
Inhaltsverzeichnis:
- Einführung in das Google Coral Edge TPU
- Vorteile der Verwendung des Edge TPU
- Geschwindigkeitsvergleich mit dem Raspberry Pi CPU
- Verbindung des Edge TPU mit dem Raspberry Pi
- Schritte zum Ausführen eines TensorFlow Lite-Modells auf dem Edge TPU
- Kompilieren des TensorFlow Lite-Modells für den Edge TPU
- Installation der Edge TPU-Runtime auf dem Raspberry Pi
- Aktivieren des Edge TPU bei der Modellausführung
- Zusätzliche Vorteile der Edge TPU-Nutzung
- Vorinstallierte Modelle und Verwendungsfälle
Einführung in das Google Coral Edge TPU
Im letzten Video unserer "Machine Learning auf dem Raspberry Pi" Serie erfahren Sie, wie Sie Ihr Objekterkennungsmodell auf Ihrem Raspberry Pi mit Hilfe des Google Coral Edge TPU-Chips deutlich schneller machen können. Der Edge TPU-Chip wurde speziell für die Ausführung von maschinellen Lernmodellen entwickelt und bietet eine erheblich höhere Geschwindigkeit als eine allgemeine CPU. Sie können Ihren Raspberry Pi mit einem Edge TPU über verschiedene Coral-Beschleuniger verbinden, wie zum Beispiel einem USB-Gerät oder einem Coral Dev Board, das ähnlich wie ein Raspberry Pi aussieht, jedoch mit einem Edge TPU ausgestattet ist. Im Vergleich zur Raspberry Pi-CPU können Sie sehen, dass die Frame-Rate allein durch die Verwendung des Edge TPU um das Dreifache gesteigert wird.
Vorteile der Verwendung des Edge TPU
Die Verwendung des Edge TPU bietet eine Vielzahl von Vorteilen. Nicht nur die schnellere Inferenz ist bemerkenswert, sondern Sie können auch CPU-Zyklen für andere Aktivitäten freihalten, beispielsweise für die Verarbeitung der Ausgabe der maschinellen Lernmodelle. Die Ausführung eines Objekterkennungsmodells ist eine äußerst rechenintensive Aufgabe. Wenn Sie Inferenz mit der CPU durchführen, ist diese vollständig ausgelastet und kann keine parallelen Aufgaben ausführen. Durch die Verwendung des Edge TPU können Sie jedoch eine hohe Frame-Rate beibehalten und gleichzeitig andere Aktivitäten auf der CPU ausführen. Dies ist besonders nützlich, um eine reibungslose Benutzererfahrung während der Inferenz zu gewährleisten.
Geschwindigkeitsvergleich mit dem Raspberry Pi CPU
Um den Geschwindigkeitsunterschied zwischen dem Raspberry Pi CPU und dem Edge TPU zu verdeutlichen, wurde das gleiche Modell auf beiden Plattformen getestet. Bei der Verwendung des Edge TPU war die Frame-Rate etwa dreimal höher als bei der Verwendung der Raspberry Pi-CPU. Dies bedeutet, dass die Inferenz deutlich schneller erfolgt und somit Echtzeit-Objekterkennung in Anwendungen ermöglicht.
Verbindung des Edge TPU mit dem Raspberry Pi
Um das Edge TPU mit Ihrem Raspberry Pi zu verbinden, müssen Sie einen Coral USB-Beschleuniger anschließen. Beachten Sie dabei, dass Sie den USB 3.0-Anschluss verwenden müssen, um die volle Geschwindigkeit des Edge TPU nutzen zu können. Ältere Raspberry Pi-Modelle, wie z.B. der Raspberry Pi 3, verfügen nicht über einen USB 3.0-Anschluss, daher ist die Geschwindigkeit bei der Verbindung eines Coral USB-OSzillators begrenzt.
Schritte zum Ausführen eines TensorFlow Lite-Modells auf dem Edge TPU
Um ein Objekterkennungsmodell oder ein beliebiges TensorFlow Lite-Modell auf dem Edge TPU auszuführen, sind drei Schritte erforderlich: das Kompilieren des Modells, die Installation der Edge TPU-Runtime und die Aktivierung der Edge TPU bei der Modellausführung. Zuerst müssen Sie das TensorFlow Lite-Modell mithilfe des Edge TPU-Compilers kompilieren. Anschließend müssen Sie die Edge TPU-Runtime auf Ihrem Raspberry Pi installieren. Schließlich müssen Sie die Edge TPU aktivieren, während Sie das TensorFlow Lite-Modell ausführen.
🔍 Kompilieren des TensorFlow Lite-Modells für den Edge TPU
Um das TensorFlow Lite-Modell für den Edge TPU zu kompilieren, können Sie das Google Collab-Notebook verwenden oder den Vorgang auf Ihrem Computer oder Raspberry Pi durchführen. Sie müssen das benutzerdefinierte Objekterkennungsmodell herunterladen und den Edge TPU-Compiler installieren. Anschließend können Sie den Compiler aufrufen, um das TensorFlow Lite-Modell für den Edge TPU zu kompilieren. Kopieren Sie abschließend die Metadaten von dem originalen TensorFlow Lite-Modell auf das Edge TPU-Modell.
✅ Vorteile:
- Deutlich schnellere Inferenzgeschwindigkeit im Vergleich zur Raspberry Pi-CPU
- Möglichkeit, CPU-Zyklen für andere Aktivitäten freizugeben
❌ Nachteile:
- Ältere Raspberry Pi-Modelle haben keine Unterstützung für USB 3.0, was die Geschwindigkeit der Edge TPU beeinträchtigt
Installation der Edge TPU-Runtime auf dem Raspberry Pi
Die Edge TPU-Runtime muss einmalig auf Ihrem Raspberry Pi installiert werden. Sie können den Coral-Dokumentationen folgen, um die Edge TPU-Runtime zu installieren. Sobald die Installation abgeschlossen ist, müssen Sie den Coral USB-OSzillator an den Raspberry Pi anschließen, damit die Coral-Software das USB-Gerät erkennen kann.
✅ Vorteil:
- Einfache Installation der Edge TPU-Runtime auf dem Raspberry Pi
Aktivieren des Edge TPU bei der Modellausführung
Um das TensorFlow Lite-Modell mit aktiviertem Edge TPU auszuführen, müssen Sie das entsprechende Python-Skript verwenden. Stellen Sie sicher, dass Sie den gewünschten Edge TPU-Modellpfad angeben und die Edge TPU aktivieren. Damit wird sichergestellt, dass das Modell auf dem Edge TPU und nicht auf der CPU ausgeführt wird.
✅ Vorteil:
- Deutlich höhere Frame-Rate während der Modellausführung
Zusätzliche Vorteile der Edge TPU-Nutzung
Die Verwendung des Edge TPU bietet weitere Vorteile neben der schnelleren Inferenzgeschwindigkeit. Ein großer Vorteil besteht darin, dass die CPU für andere Aktivitäten, wie die Verarbeitung der Ausgabe der maschinellen Lernmodelle, freigehalten werden kann. Da die Ausführung eines Objekterkennungsmodells rechenintensiv ist, kann die CPU die Aufgaben Parallel zur Inferenz bearbeiten, was die Gesamtleistung und Geschwindigkeit erhöht.
Vorinstallierte Modelle und Verwendungsfälle
Coral bietet eine Repository vorinstallierter Modelle, die speziell für die Ausführung auf dem Edge TPU optimiert wurden. Diese Modelle umfassen unter anderem Pose-Erkennung, Objektverfolgung, semantische Segmentierung und Hohlraumerkennung. Weitere Informationen zu Coral und den unterstützten Machine Learning-Anwendungsfällen finden Sie in den Link in der Videobeschreibung.
🔍 Zusammenfassung: Das Google Coral Edge TPU für schnelle Inferenz auf dem Raspberry Pi
Der Google Coral Edge TPU-Chip bietet eine erheblich höhere Geschwindigkeit bei der Ausführung von maschinellen Lernmodellen im Vergleich zur Raspberry Pi-CPU. Dies ermöglicht Echtzeit-Objekterkennung und bietet die Möglichkeit, CPU-Ressourcen für andere Aktivitäten freizugeben. Durch das Kompilieren des TensorFlow Lite-Modells für den Edge TPU, das Installieren der Edge TPU-Runtime und das Aktivieren der Edge TPU bei der Modellausführung können Sie die volle Leistung des Edge TPU nutzen. Coral bietet auch eine Vielzahl von vorinstallierten Modellen für verschiedene Anwendungsfälle. Erfahren Sie mehr über Coral und seine Einsatzmöglichkeiten in der maschinellen Lernung.
Highlights:
- Der Google Coral Edge TPU-Chip ermöglicht eine deutlich schnellere Inferenzgeschwindigkeit auf dem Raspberry Pi im Vergleich zur CPU.
- Die Edge TPU bietet zusätzliche Vorteile, wie die Freigabe von CPU-Zyklen für andere Aktivitäten und die Möglichkeit zur parallelen Verarbeitung der Ausgabe der maschinellen Lernmodelle.
- Durch das Kompilieren des TensorFlow Lite-Modells für den Edge TPU, die Installation der Edge TPU-Runtime und das Aktivieren der Edge TPU bei der Modellausführung können Sie die Leistung des Edge TPU optimal nutzen.
- Coral bietet vorinstallierte Modelle für verschiedene Anwendungsfälle wie Pose-Erkennung, Objektverfolgung und semantische Segmentierung.
FAQ:
Q: Wie kann ich die Edge TPU mit meinem Raspberry Pi verbinden?
A: Sie können die Edge TPU über verschiedene Coral-Beschleuniger, wie z.B. einen USB-Gerät oder ein Coral Dev Board, mit Ihrem Raspberry Pi verbinden. Stellen Sie sicher, dass Sie den USB 3.0-Anschluss verwenden, um die volle Geschwindigkeit des Edge TPU zu nutzen.
Q: Muss ich die Edge TPU-Runtime auf meinem Raspberry Pi installieren?
A: Ja, Sie müssen die Edge TPU-Runtime einmalig auf Ihrem Raspberry Pi installieren. Befolgen Sie die Anweisungen in der Coral-Dokumentation, um die Installation abzuschließen.
Q: Welche Vorteile bietet die Verwendung des Edge TPU?
A: Die Verwendung des Edge TPU bietet eine deutlich höhere Inferenzgeschwindigkeit im Vergleich zur Raspberry Pi-CPU. Darüber hinaus können CPU-Ressourcen für andere Aktivitäten freigegeben werden, da die CPU nicht vollständig für die Inferenz ausgelastet ist.