备受期待的“永远不会发生碰撞的汽车”

　　目前，顾客在选购汽车的时候，除了考虑汽车的性能、舒适性以及低油耗等方面之外，对汽车安全性也是重点考虑因素之一。在此背景下，汽车的安全技术也从考虑安全带及安全气囊等“发生碰撞后的对策(被动安全技术)”进化到了对事故防患于未然的“避免或降低碰撞风险的对策(主动安全性技术)”。

　　其中，在汽车上搭载可帮助驾驶员安全驾驶的“ADAS(Advanced Driver Assistance System：先进驾驶辅助系统)”的做法得到了迅速发展，这种技术不仅作为面向高级轿车的选配项目，搭载到普通汽车上的情况也正得到普及。其主要功能就是通过雷达及摄像头等的传感器感知到障碍物后自动刹车使车停下来(图1)，作为在高速公路上及汽车专用通道上跟随前方车辆行驶的安全技术已广为人知，搭载了上述ADAS的汽车成为“永远不会发生碰撞的汽车”而广受社会期待。

　　不断进化的ADAS所面临的开发课题是?

　　作为汽车周边环境的识别对象，识别范围已经从识别前方车辆及行驶线路等扩大到了对步行者、自行车，甚至夜间使用时的识别等。而且，用于确认后方安全的“Rear View(后视系统)”目前也已进化到“Surround View(360度汽车全景系统)”，此技术不仅适用于停车时，也适用于低速行驶时，是目前最为引人关注的技术。

　　360度汽车全景系统是一种通过将车辆左右两边搭载的车载摄像头的影像进行合成后，显示出车辆周边状况以帮助驾驶的汽车安全系统。今后，还将发展成为可显示更高精度的图像、更实时地显示出其他车辆、步行者以及障碍物等具备更高性能的安全系统。瑞萨电子将具有对周围物体感知功能的全景系统称为“全景可视系统”，并建议将之作为未来的ADAS系统。

　　对于全景可视系统的社会关注度很高，被视为是ADAS的未来发展趋势，在先进的ADAS开发过程中，大多数顾客面临如下三大课题：

　　1)随着感测对象的扩大及摄像头的高像素化，为了进行高度运算的运算量也将爆炸性增加(图2)。在实现高度运算能力的同时，还需实现低功耗及维持全景可视系统的安全性和高品质。

　　2)如何才能提高在系统开发中比重不断增高的软件开发的开发效率也是必须面临的大课题之一。

　　3)在使用了多个摄像头的系统中，必须确保带宽以及实现多个摄像头的同步等。作为今后车载高速网络的主流技术，虽然“Ethernet AVB(Audio Video Bridging，以太网音视频桥接技术)”广受期待，但还需考虑使其对应不断变化的新规格。

　　开发过程中的最强技术——瑞萨电子的ADAS解决方案“全景可视系统的演示系统已完成!”

　　瑞萨电子在面向车载信息设备已具备丰富实绩的SoC(系统LSI)“R-Car”系列产品中，开发出强化ADAS所需各种功能的“R-Car V2H”。

　　“R-Car V2H”在CPU中搭载了ARM® Cortex®-A15(双核)，且使GPU“PowerVR SGX531”与图像识别内核的IMP-X4实现了单芯片化，在实现高运算能力的同时也实现低功耗化。其最大运行频率达1.0GHz，且处理性能达到了7，000DMIPS，进行系统演示时，在全景可视系统的图像合成及4个摄像头分别对步行者进行识别的情况下，其内核功耗还不到2W，功耗非常低。

　　“R-Car V2H”除了支持ECC等安全构件(用于修正存储器的一部分中的数据错误)之外，还在OS中早期导入了具有高度可靠性的美国Green Hills Software公司(GHS)的实时系统--INTEGRITY®，从硬件和软件两方面都切实采取了保证实现功能安全的举措。

　　作为“R-Car V2H”的Ready to Use(随时可使用)解决方案，我们准备了评价用主板与美国的Green Hills Software公司的实时系统—INTEGRITY®，以及为了使该系统支持此评价用主板所需的BSP(Board Support Packages，主板支持包)。一般来说，像图像识别内核这样的硬件处理部分是无法通过高级语言进行操作的，而且难于编程，因此我们通过提供IMP数据库来解决此问题。顾客只需通过C语言等将数据库调出，便可在无需考虑图像识别加速器的硬件的情况下进行编程。

　　另外，由IMP-X4提供的图像识别数据库也支持开源的图像识别包—OpenCV。运用这些解决方案，便可使用最大限度提高开发效率的“R-Car V2H”进行软件开发。而且，我们使用了备受期待的“Ethernet AVB(Audio Video Bridging，以太网音视频桥接技术)”作为高像素摄像头的传送方式，因此还可用来构筑下一代的车载摄像头系统。由于通过廉价的对线便可实现数字信号的高速传送，因此有望能对汽车的轻量化及降低成本作出贡献。

　　由“R-Car V2H”构筑的先进全景可视系统，通过4个摄像头对车辆周围进行摄像，再通过转换视点以及图像合成等便可做成俯瞰图像。目前，市面上的全景系统一般都是通过将模拟摄像头的输入信号来做成俯瞰图像的，而此系统是通过百万像素等级的数码相机进行信号输入，并且具备对周边的步行者进行识别的功能。与模拟相机相比，除了在高精细度上占了压倒性优势之外，还不会出现渗色，从而大幅提高了易辩性。即使很小的检测物也可清晰地便认出了。另外，还使用了图形引擎来强调显示作为注意对象的步行者，所以可防止看漏了。从后视图像向可视系统进化的俯瞰图像可大大提高安全性。

【R-Car V2H】

Overview

The R-Car V2H is Renesas’s first R-Car ADAS device.

The functions required for ADAS are packed in a single chip, which also allows reduced power consumption. The R-Car V2H enables each camera to prevent oversight with Renesas' image recognition technology and to switch the field of view depending on the situation. The R-Car V2H delivers the smartest high-resolution surround monitoring systems having enhanced visibility.

Features

Provides sophisticated surround monitoring system

The R-Car V2H has six IMR channels which are used as dedicated hardware that converts data input from cameras to panoramic stereoscopic video which is obliquely viewed, and provides clear HD video.

The incorporated IMP-X4 (4th generation image recognition H/W) expands the image recognition library to include an open source library (OpenCV) and improves the software development efficiency.

Offers ready-to use solutions.

Provides sample code and board support packages useful for application development and accelerates application samples for customers by exploiting the ecosystem of the R-Car family products.

System Block Diagram

Image recognition or conversion is performed by the dedicated H/W, and consequently the robust (or high performance) CPU allows users to add their own functionality.

R-Car V2H System Block Diagram

Product specification

*Arm, Cortex is a trademark or a registered trademark of Arm Limited.
*PowerVR, SGX is a trademark or a registered trademark of Imagination Technologies Ltd.
*CAN (Controller Area Network): An automotive network specification developed by Robert Bosch GmbH of Germany.
Other product name and service name under release are the trademarks or registered trademarks that all belong to each owner.

　　持续支持ADAS的进化

　　瑞萨电子面向ADAS的解决方案以探讨更安心和安全的下一代解决方案为开始。虽然在“R-Car V2H”所构成的解决方案中已经实现了包括步行者识别技术的全景可视系统，我们还考虑在下一代推出支持可避免碰撞以及可在专用道路上的无人驾驶解决方案，我们的目标是：在下一代的安全系统中，为了实现可在一般道路上无人驾驶的“永远不会发生碰撞的汽车” 作出贡献(图3)。

　　【高级驾驶辅助系统 】

     高级驾驶辅助系统 是利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。 近年来ADAS市场增长迅速，原来这类系统局限于高端市场，而现在正在进入中端市场，与此同时，许多低技术应用在入门级乘用车领域更加常见，经过改进的新型传感器技术也在为系统布署创造新的机会与策略。

　　高级驾驶员辅助系统(ADAS)基础型后视摄像头

　　后视摄像头系统可以帮助驾驶员发现车后的物体或人员，以便在确保安全的情况下倒车并顺利停车入位。高级系统中部署100万像素的高动态范围(HDR)摄像头，并通过非屏蔽双绞线实现高性价比的高速以太网连接和视频压缩。其他系统要求包括适当的物理层接口和电源。智能后视摄像头可在本地对视频内容进行分析，以实现物体与行人侦测。此外，它们还支持全面的本地图像处理及图形叠加创建。它们能够测量物体距离，并触发制动干预。这种功能可以帮助驾驶员安全倒车，方便他们停入车位。飞思卡尔解决方案具有高集成度和低功耗的特点，支持开发极小规格的摄像头模块。智能后视摄像头与简易型模拟摄像头使用相同的接口，提供了一种极具吸引力的升级换代途径。

　　高级驾驶员辅助系统(ADAS)前视摄像头

　　高级驾驶员辅助系统中的摄像头系统可以分析视频内容，以便提供车道偏离警告(LDW)、自动车道保持辅助(LKA)、远光灯/近光灯控制和交通标志识别(TSR)。在前视黑白摄像头中，图像传感器会向配备DSP扩展的双核MCU提供传入视频帧，以进行图像处理。其他系统要求包括提供适当的物理通信接口、电源、可选的DRAM以及可降低系统成本的嵌入式闪存。

　　ADAS的传感器

　　高级辅助驾驶系统基于不同的传感器技术， 77GHz的雷达传感器目前已经在高端奢华轿车上的主动式巡航控制系统(ACC)上应用多年了。该系统的传感器可以丈量前方车辆的速度以及两车之间的间隔，同时可以监测自身车辆的速度和间隔。目前已经在中级轿车和经济型轿车市场上开始应用的机载激光雷达(Lidar)传感器是远程传感器中比较经济的选择。相比于雷达，这种传感器发射激光脉冲，并能检测从其他物体反射回来的光线。与其他物体之间的间隔可以通过信号延迟的时间来进行计算。。

　　短程雷达传感器的工作频率是24GHz，用于监测车辆四周的物体。这种传感器一般安装在车辆的侧面，其信息用于盲点检测(BSD)和并线辅助(LCA)功能，比如在盲点中出现物体或者邻近车道车辆进入盲点时，会向司机提出预警。下一步，其信息能够与导航系统相结合，更好地实现车辆引导。安装在车辆前方或后方的24GHz雷达传感器可以用于预防碰撞发生。

　　视频传感器能够监测图像信息，比如侧面物体的大小和外形。视频传感器能够监测其他的道路使用者、交通讯号和路标等情况。传感器发出的信息能够实现车道偏离警告和交通讯号识别功能。

　　其他基础设施如交通讯号、转弯或山坡等信息可以通过舆图来获得。超声波传感器用于低速情况，比如停车，同时不需要高探测范围。而且内部数据可以收集起来提供给其他车辆。通过车对车通讯进行数据传递，来监测车流密度。

　　另外，通过不同传感器获得的数据可以相互融合，用于增加系统功能或增强现有的功能。比如，雷达、摄像机和机载激光雷达与导航数据的融合对改善车辆性能十分重要。通过将从摄像机和舆图的信息进行结合，就能进步交通讯号识别系统的识别率。探测到的交通讯号再与eHorizon的数据进行对比，eHorizon能够通过提供基于导航数据的道路基础设施具体信息来支持ADAS的功能。计算置信水平就能决定向司机显示哪种交通讯号。融合这些传感器还能获得一种新的功能，即Sensitive Guidance，这是融合了雷达或摄像机系统的导航系统。导航系统的输出与交通情况、雷达或摄像机传感器相适应，比如监测盲点中或其他车道中的车辆。