NVIDIAの次世代ロボティックス向けjetson,Orinシリーズ

koba @tetsu_koba

NVIDIAから次世代ロボティックス向けのjetsonとしてorinシリーズが発表されたので、その内容を見ていくよ。 nvidia.com/ja-jp/autonomo…

koba @tetsu_koba

高機能向けのAGXシリーズと低価格向けのNXシリーズがある。 jetson Orin AGX モジュールはメモリ64GBと32GBの2種類。 jetson Orin NXモジュールはメモリ16GBと8GBの2種類。

koba @tetsu_koba

Jetson AGX Orin 開発者キットはもう注文できるようだ。 NXシリーズはjetson nanoとピンコンパチ。これがjetson nanoの後継になるわけか。

koba @tetsu_koba

スペックを見るとそれぞれCPUのコア数やエンコード能力が異なる。 でもおそらくSoCとしては同一のもので、選別してCPUコアに一部不良があったり高クロックで動作できないものをその部分を無効化して下位モデルとして売るのだと思う。

koba @tetsu_koba

メインCPUはArm Cortex-A78AE。2020年9月に発表されたもので車載向けIP。 これが4つでひとつのクラスタを構成し、それが最大3クラスタ。合計12コア。 L1, L2 キャッシュはコアごとにあり、L3キャッシュはCPUクラスタで共有される。

koba @tetsu_koba

12コアを全部使うこともできるけど、過酷な車載向けの環境では3つのクラスタを冗長構成にして、多数決で動かすこともできるようになっているのかな。 マギシステムと同じですね、リツコさん。

koba @tetsu_koba

GPUは私は詳しくないので端折るけど、Ampere アーキテクチャと書いてある。今回最新のHopperが発表されたけど、そのひとつ前の世代のもの。利用できる範囲での最新のものだと思う。出し惜しみは無しだ。

koba @tetsu_koba

Jetson AGX Orin SOM(System On Module)のデータシートを見ると、Platform security controller としてRISC-V subsystem, PKC crypto[RSA3D] と書いてある。おや？RISC-Vがこんなところに。

koba @tetsu_koba

AGX SOMの64GBモデルは3CPUクラスタで12コア。32GBモデルは2CPUクラスタで8コア。 NX SOMの16GBモデルは8コア。8GBモデルは6コアと書いてある。さっき書いたように、CPUが全部動かなかったものをNX用に回すのだと思う。

koba @tetsu_koba

ビデオデコーダ。H.264, H265, AV1, VP9をサポート。64GBと32GBで処理できるピクセル数/secの上限が異なる。でも32GBのほうでもAV1で8K30fpsいけると書いてある。

koba @tetsu_koba

ビデオエンコーダ。H.264, H.265, AV1。待望のAV1のハードウェアエンコード！ ProfileがUHPとHQがある。Ultra High Performance とHigh Qualityという意味かな。 32GBモデルでもAV1のUHPで4K60fpsと書いてある。リアルタイムのAV1エンコーディングの期待が高まる！

koba @tetsu_koba

Orin SoCにはメインのCPUの他にもサブCPUがたくさん入っている。Boot and Power Management Processer(BPMP)、それからSensor Processing Engine(SPE)としてそれぞれArm Corex-R5。オーディオ処理用としてCortex-A9 NEON付き。

koba @tetsu_koba

Cortex-A9はL1,L2キャッシュもあるフルセットのもの。Linuxカーネルも動かせるはず。10年前なら主役張ってたものだぞ。

koba @tetsu_koba

このCortex-A9はメインCPUとはDRAMを共有していて、メインCPUから実行コードをDRAM上にロードして、リセットベクタをそこにセットすることで任意のコードを動かせるようだ。これでオーディオの加工、ミキシング、エンコード、デコードを行うことを想定しているようだ。

koba @tetsu_koba

センサー用のCorex-R5はSoC全体がDeep Sleepモードでも生きている。Alway-On-MICという機能がある。これで音声認識を常時動かしておいて、スリープモードの状態からでも呼びかけると起きるということができそう。すげえ。

koba @tetsu_koba

そういえば、メインのCPUはCortex-A78AEという高性能型のもののクラスタになっている。今までだったら高性能コアと低消費電力高効率コアを組み合わせるbig.LITTLEだったけど、そうしなかった。高性能コアのクロックを落とせばスケーラブルに低消費電力にできるようになったということなのかな？

koba @tetsu_koba

まとめました。 togetter.com/li/1864302

koba @tetsu_koba

映像の処理はハードウェアアクセラレータがあるけど、音声はCPUで処理する必要があった。音声はリアルタイム処理が必須で、間に合わないとノイズとしてユーザにすぐにバレてしまう。その音声処理にCortex A9を入れたのは面白い。

koba @tetsu_koba

32bit ARM + NEON向けにカリカリチューンされた既存のライブラリをそのまま使えるのはいいね。

koba @tetsu_koba

そういえば、メインのCortex-A78には、32bit ARMの互換モードはまだ残っているのかな？

koba @tetsu_koba

@voluntas なるほど。Orin NXよりさらにローコストのものがNano Nextなんですね。AV1のエンコーダが載ると期待。

koba @tetsu_koba

教えてもらった。 Jetson Roadmap。Orin NXとは別にさらにローコストなNano Nextが2023に来そう。 developer.nvidia.com