SiMa.aiのマシンラーニングSDKでエッジAIシステムの性能/ワットを向上させよう

目次

• 1. イントロダクション
• 2. マシンラーニング SDKの紹介
     • 2.1 ソフトウェア・ハードウェアの共同設計について
     • 2.2 デモの概要
• 3. SDKの使用方法
     • 3.1 アプリケーションの準備
     • 3.2 APIを使用してネットワークを実行する
     • 3.3 グラフの量子化
     • 3.4 ハードウェア依存の最適化
• 4. ベンチマークと結果
     • 4.1 パフォーマンス指標
     • 4.2 ワークロードの種類とサイズ
     • 4.3 シミュレーションとエミュレーションの結果
• 5. カスタマイズと追加の機能
     • 5.1 カスタム演算子のサポート
     • 5.2 メモリ管理とオフチップアクセス
     • 5.3 プラグインとAPIの統合
• 6. ターゲット市場と展望
     • 6.1 コンピュータビジョン市場
     • 6.2 その他のエッジ市場
     • 6.3 認証と安全性の考慮事項
• 7. まとめ

1. イントロダクション

Sima.aiは、マシンラーニングアクセラレータを開発しているエッジAIスタートアップです。この記事では、Sima.aiの副社長であり、システムソリューション担当のKavitha Prasad氏によるプレゼンテーションの内容を紹介します。Sima.aiは、ソフトウェアとハードウェアの共同設計に注力しており、最適なパフォーマンスを引き出すためのソフトウェアSDKを提供しています。この記事では、マシンラーニングSDKの特徴、使用方法、ベンチマーク結果、さらにはカスタマイズや追加の機能について詳しく説明します。また、Sima.aiのターゲット市場や将来の展望についても触れます。

2. マシンラーニング SDKの紹介

2.1 ソフトウェア・ハードウェアの共同設計について

Sima.aiのマシンラーニングアクセラレータは、ソフトウェアとハードウェアの共同設計によって最適化されています。最適なパフォーマンスを引き出すためには、ハードウェアの最適なアーキテクチャだけでなく、堅牢なソフトウェアスタックも必要です。このため、Sima.aiは業界標準のPVMフレームワークをベースにしたソフトウェアSDKを開発しました。SDKは、シミュレーション環境やエミュレーション環境で実行することができ、シンプルなAPIと統合された開発環境も提供されています。

2.2 デモの概要

この記事では、マシンラーニングSDKの使い方についても詳しく解説します。まず、アプリケーションの準備から始めます。次に、提供されたAPIを使用してネットワークを実行し、最適化を行います。また、ネットワークの量子化やハードウェア依存の最適化についても説明します。さらに、ベンチマーク結果やカスタマイズの方法についても触れます。最後に、Sima.aiのターゲット市場や将来の展望についても紹介します。

3. SDKの使用方法

3.1 アプリケーションの準備

マシンラーニングSDKを使用するためには、まずアプリケーションを準備する必要があります。SDKには、さまざまなフレームワーク（PyTorch、TensorFlowなど）に対応しており、シンプルなAPIを介してネットワークを指定することができます。ネットワークの入力と出力を指定し、SDKによる最適化を行います。

3.2 APIを使用してネットワークを実行する

ネットワークを実行するためには、提供されたAPIを使用します。ネットワークの実行時には、ハードウェア非依存の最適化が行われます。また、計算スケジューリングやメモリ管理など、ハードウェア依存の最適化も行います。SDKには、ネットワークの実行状況を可視化するための開発環境も統合されており、デバッグやプロファイリングが容易に行えます。

3.3 グラフの量子化

ネットワークの量子化は、MLSoCの特性に合わせて行われます。SDKでは、カスタマイズ可能な量子化手法を提供しており、パフォーマンスと精度のバランスを調整することができます。量子化には、量子化意識トレーニングを行う方法と、予め量子化されたモデルを使用する方法の2つがあります。SDKは、どちらの方法にも対応しています。

3.4 ハードウェア依存の最適化

ネットワークの実行時には、ハードウェア依存の最適化が行われます。SDKは、アーキテクチャに最適化されたコンパイラを利用して最適化を行います。これにより、ハードウェアのパフォーマンスを最大限に引き出すことができます。また、SDKは、プラグインとAPIを統合した開発環境も提供しており、パフォーマンスの可視化やデバッグが容易に行えます。

4. ベンチマークと結果

4.1 パフォーマンス指標

ベンチマーク結果は、ネットワークのパフォーマンスを評価するための指標です。SDKでは、インフェレンスパフォーマンスやフレームレートなど、さまざまなパフォーマンス指標を提供しています。さらに、メモリ使用状況やネットワークの利用状況などの情報も取得することができます。

4.2 ワークロードの種類とサイズ

SDKのベンチマークでは、さまざまなワークロードを実行しています。オブジェクト検出や画像分類、セマンティックセグメンテーションなど、さまざまなタスクに対応しています。ワークロードのサイズも様々であり、24x24から4Kまでの画像サイズを扱うことができます。

4.3 シミュレーションとエミュレーションの結果

ベンチマーク結果は、さまざまなシミュレーションやエミュレーションの結果に基づいています。シミュレーションやエミュレーションを通じて、SDKのパフォーマンスを評価し、特定のワークロードに対して最適な設定を見つけることができます。また、現在も開発が進行中であり、さらなる最適化が行われています。

5. カスタマイズと追加の機能

5.1 カスタム演算子のサポート

SDKは、カスタム演算子のサポートも提供しています。カスタム演算子を使用することで、ユーザーは自身のニューラルネットワークを効率的に実装することができます。SDKは、カスタム演算子を取り込むための柔軟なAPIを提供しており、既存のフレームワーク（PyTorch、TensorFlowなど）との統合も容易です。

5.2 メモリ管理とオフチップアクセス

SDKでは、効率的なメモリ管理とオフチップアクセスが重要な役割を果たしています。ネットワークの実行時には、メモリ使用量やアクセス頻度を最適化し、パフォーマンスを向上させます。また、SDKは外部メモリ（DDR4など）へのアクセスを制御し、適切なバッファリングとキャッシングを行います。

5.3 プラグインとAPIの統合

SDKには、さまざまなプラグインとAPIが統合されています。これにより、開発者は既存のツールやフレームワークとの連携が容易になります。SDKは、Eclipse Theiaベースの統合開発環境（IDE）も提供しており、デバッグやプロファイリングが簡単に行えます。

6. ターゲット市場と展望

6.1 コンピュータビジョン市場

Sima.aiのマシンラーニングSDKは、コンピュータビジョン市場をターゲットにしています。IPカメラやベースカメラなどのアプリケーションに最適化されており、オブジェクト検出や画像認識などのタスクをサポートしています。リアルタイムで高性能な処理が求められるコンピュータビジョンアプリケーションにおいて、Sima.aiのソリューションは大きな価値を提供します。

6.2 その他のエッジ市場

Sima.aiのソリューションは、コンピュータビジョン市場だけでなく、さまざまなエッジ市場で活用されることが期待されています。ロボティクスやスマートビジョン、監視カメラ、高度なセキュリティシステムなど、さまざまなアプリケーション領域での利用が可能です。エッジデバイスにおける高性能なマシンラーニング処理を実現するために、Sima.aiのソリューションは重要な役割を果たすでしょう。

6.3 認証と安全性の考慮事項

Sima.aiのマシンラーニングSDKは、認証と安全性の観点からも検討されています。開発プロセスや設計手法において、認定基準やセキュリティ要件を考慮しています。将来的には、認証の取得を目指しており、早期の2021年には一般のユーザーにも提供される予定です。

7. まとめ

本記事では、Sima.aiのマシンラーニングSDKについて詳しく紹介しました。ソフトウェアとハードウェアの共同設計により、最適なパフォーマンスを引き出すことができます。SDKの使用方法やベンチマーク結果、カスタマイズや追加の機能についても解説しました。また、Sima.aiのターゲット市場や将来の展望についても触れました。コンピュータビジョン市場をはじめとするさまざまなエッジ市場で活用されることが期待されるSima.aiのソリューションは、高性能なマシンラーニング処理を実現するための重要なツールです。

【参考資料】

• Sima.ai 公式ウェブサイト: www.sima.ai