自動車ADAS 先進運転支援システム (ADAS) の技術は、自動車の環境規制や消費者からの要望などに対応していく中で進化を続けています。ADASはドライバーが運転中に周囲をつねに把握しやすくして、より楽で安全、かつ快適なドライブを提供します。ADASは初期の運転支援 (DA) システムから完全自動運転車へと進む道の最初の一歩で、RADAR, LIDARなどのデジタルセンサと、運転中の車の周囲環境をキャプチャ、融合して処理するCMOSカメラなどで作られるのが一般的です。代表的なカメラベースのADASの機能には次のようなものがあります。 複数台のカメラで構成する360度のサラウンドビュー リアビューカメラによる駐車支援機能 Lane Departure Warning (LDW) – 車線検出アルゴリズムに基づき、車が意図せず車線を外れそうになっていることをドライバーに知らせる Pedestrian Detector (PD) – 車両の前の歩行者を検出できるように作られた物体検出アルゴリズムがベースになる Forward Collision Warning (FCW) – 通行路前方にある複数台の車両を検出できるようにした物体検出アルゴリズムがベースになる Traffic Sign Recognition (TSR) – 車両の周囲の信号を検出・認識するための物体検出・分類アルゴリズムがベースになる ホワイトペーパー: Xilinx Zynq-based Development Platform for ADAS Figure 1: TySOM-3-ZU7EV Figure 2: FMC-ADAS expansion card ADASテクノロジーの進化に伴い、高性能で再プログラム可能なプラットフォームの必要性はかつてないほど高まっています。アルデックは、TySOM 組込み開発ボードとFMC-ADAS拡張カードをベースにしたリファレンスデザインとチュートリアルを含むADAS開発プラットフォームを提供します。 Figure 3: FMC-ADAS functionalities ADASアプリケーションには、次の機能が含まれています。 バードアイビュー マルチカメラ・サラウンドビュー ドライバーの眠気検出 スマート・リアビューカメラ Figure 4: ADAS solution processing detail 主な特徴 組込開発ボード (TySOM-3-ZU7EV/TySOM-2-7Z100/TySOM-2-7Z045/TySOM-2A-7Z030)とFMC-ADASのハードウェア・プラットフォーム Dual-core/Quad-core ARM Cortex-A9 APU + 1GB DDR3メモリ カスタム・ハードウェア・アクセラレータとペリフェラルコントローラを構成するためのプログラマブル・ロジック (PL) ヒューマンインタフェースデバイス (HID) 用オンボードコネクタ: USB3.0,USB2.0, Ethernet, HDMI, QSFP+, Wi-Fi/Bluetooth FMC-ADAS: デシリアライザDS90UB914Qのカメラインタフェース5本、超音波センサ・LIDARセンサコネクタ、ブザー搭載 自動車用広角レンズ: HDR Blue Eagleカメラ 192度 4台および52度 1台 マルチカメラサラウンドビュー、ドライバの眠気検出、およびスマートリアビューのハードウェア、ファームウェア、ソフトウェアを含むリファレンスデザイン 組込みLinux OS: コマンドラインインタフェースをHDMI接続のディスプレイで確認可能 V4L2互換のビデオ入力ポート (VIP) カメラインタフェース 超音波センサのHW/SWサポート ブザーデバイスのHW/SWサポート DRM互換のHDMI出力インタフェース カメラ4台同時ストリーミング、エッジ検出、フレームマージングタスク用のLinuxユーザーアプリケーション。クリティカルな部分はXilinx SDSoCで高速化。 ソリューションの内容 組込開発ボード (TySOM-3-ZU7EV/TySOM-2-7Z100/TySOM-2-7Z045/TySOM-2A-7Z030)とFMC-ADAS 拡張カード、および高機能RTLシミュレーション/デバッギングプラットフォームRiviera-PRO（オプション） 技術ドキュメント、チュートリアル、ホワイトペーパー マルチカメラサラウンドビュー、ドライバの眠気検出、およびスマートリアビューのリファレンスデザインのクイックスタートガイド マルチカメラサラウンドビュー、ドライバの眠気検出、およびスマートリアビューのリファレンスデザインのバイナリ SDSoCハードウェアプラットフォーム・パッケージ (Board Support Package - BSP) Blue EagleカメラのLinuxデバイスドライバのソースコード Linuxユーザーアプリケーションのソースコード Xilinx Vivado Design Suite の1年間のバウチャー (最新バージョン) Xilinx SDSoC tool の1年間のバウチャー (最新バージョン) バードアイビュー バードアイビューは、360度のトップダウンビューを提供する自動車ADASテクノロジーで使用されるビジョンモニタリングシステムです。このシステムの主な利点は、ドライバが車両を安全に駐車できるよう支援することです。さらに、車線逸脱および障害物検出にも使用できます。アルデックは、ADAS 設計者を支援するバードアイビューアプリケーションを設計および作成しました。このアプリケーションは、TySOM-3-ZU7EV組込み開発ボード、 FMC-ADAS ドーターカード、30fpsで動作する192度のワイドレンズを備えた4つのBlue Eagle カメラを使用して実装されます。ハードウェアのセットアップと出力を次の図に示します。 コードの最も多くのコンピュータ処理が集中する部分は、Xilinx SDSoC™ ツールを使用してARM Cortex-A9からXilinx® Zynq Ultrascale+ MPSoCデバイスのFPGA部分にオフロードされ、リアルタイム処理パフォーマンスの目標を達成します。このデモデザインのプロセスは、次のようにFPGAとARMプロセッサを使用して行われる6段階で構成されています： フレームキャプチャ (ARMプロセッサ) フレームのリサイズ (FPGA) レンズの歪みを除去 (FPGA) 遠近法変換 (FPGA) 最終イメージを作成 (ARM) 結果を表示 (ARMプロセッサ) 次の図は、この実装の詳細を示しています。 マルチカメラ・サラウンドビュー ADASマルチカメラ・サラウンドビュー技術は今日のミッドレンジからハイエンドの自動車に搭載されている駐車支援システムです。中核は車両を取り囲むように搭載されたHDR広角レンズカメラ4台です。これで360度のサラウンドビューを1台のディスプレイに表示します。リファレンスデザインは4台のカメラからのビデオストリームをリアルタイムで同時に捉え、処理して表示します。計算負荷のいちばん高い部分のコードは、Xilinx SDSoC™ツールを使い、Xilinx® Zynq-7000 All-ProgrammableとXilinx® Zynq Ultrascale+ MPSoCデバイス上のARM Cortex-A9 CPUからFPGA回路部にオフロードされ、これによってリアルタイム処理能力の目標が達成されています。高速化された部分は、エッジ検出部と色空間変換部とフレームマージングタスクです。エッジ検出部は、人間の眼では気付きにくい車両の周りの障害物をハイライトします。 Figure 5: Multi-camera surround view processing detail ドライバの眠気検出 最近の自動車事故のほとんどは、ドライバ、特にトラックドライバの眠気が原因で発生しています。昨今、このような衝突を防ぐためにスマート車両では特定のカメラを使用して、ドライバーの眠気を早期に認識します。アルデックのADASソリューションでは、ドライバに割り当てられた1台のHDRカメラを使用して、この機能を実現しています。このアプリケーションでは、処理速度が速く、変更が容易なため、ピクセル強度比較ベースのオブジェクト検出（PICO）アルゴリズムが使用されます。 このアプリケーションでは、最も多くのコンピュータ処理が集中する部分Xilinx SDSoC™ ツールを使用してARM Cortex-A9からXilinx® Zynq-7000 All-Programmableおよび Xilinx® Zynq Ultrascale+ MPSoCデバイスのFPGA部分にオフロードされ、リアルタイム処理パフォーマンスの目標を達成します。高速化された部分には、色空間変換とヒストグラム均等化が含まれます。 次のステップでは、顔の検出、目の検出およびまばたき検出が処理されます。意思決定セクションでは、ドライバーが眠気を感じるとブザーが鳴ります。 下記の図は、ドライバの眠気検出アプリケーションの手順を示しています。 Figure 6: Driver Drowsiness Detection processing detail スマート・リアビューカメラ 現在の最新の自動車はバック中に車両の背後を確認できるリアビューカメラを基本装備として持っています。車載グレードのメガピクセルHDRカメラと、超音波センサとヒューマンインタフェースデバイス (HID) が不可欠なので、後部ナンバープレートのカメラを利用するのがちょうどよいものとなります。リファレンスデザインはTySOM-2ボード上で組込みLinux OSの制御の下で実行されます。複数のデジタルセンサから同時に送られてくるデータの収集、融合および処理については、Xilinx Zynq-7000 All-Programmable デバイス上のARM Processing System (PS) とFPGAプログラマブルロジック (PL) のうち最適な方を使って進めることが簡単にできるようになっています。処理されたデータを活用して、車両の近くに障害物があるかもしれない場合にリアビューのビデオストリーム上に警告表示を出したり、音声で危険を知らせたりします。 Figure 7: Smart rear-view processing details
