Contact us

在新窗口打开 在新窗口打开

图像识别系统

先进的安全车辆(ASV)配备基于摄像头视觉的高级驾驶员辅助系统(ADAS),这种趋势得到了日益迅猛的发展。
此类ADAS采用一个或多个车用摄像头(单目或立体摄像头)通过图像识别技术以检测并识别我们车辆四周的车辆、行人、交通标志等等,以及我们车辆内部的驾驶员和乘客状态。
东芝的图像识别处理器TMPV75系列集成了RISC型MPE(媒体处理引擎)和图像处理加速器,适用于以上ADAS中的各种图像处理。MPE具有3粒度并行结构,分别是用于任务级并行的多核、用于指令级并行的VLIW(超长指令字)以及用于数据级并行的SIMD(单指令流、多数据流),所以获得了高的图像数据处理性能。图像处理加速器有助于在低功耗条件下进行实时图像处理。下面将举例介绍TMPV75系列对于以上ADAS的各种图像识别处理应用。

高级驾驶员辅助系统的图像识别应用举例

东芝的高性能异构多核结构(包括不同结构的多核)图像识别处理器TMPV7500系列实现了在高级驾驶辅助系统(ADAS)中的各种应用,它能使用多个摄像头检测和识别自身车辆周围的实时交通线、车辆、行人、交通标志、交通信号灯等信息,以及驾驶员和乘客的状态。

车道偏离警告(LDW)
当车辆在高速公路上行驶时,如果在没有车道变换信号的情况下偏离了当前的行驶车道,则车道偏离警告(LDW)系统可以通过检测前后摄像头中的图像数据进行检测车道并向驾驶员发出警告。
交通标志识别(TSR)
交通标志识别系统(TSR)利用前置单目摄像头的图像数据来识别交通标志并将识别的交通标志信息显示在仪表盘上。该系统可用于比较识别到的车速限制和通过CAN读取车速,并通知司机。
前方防撞警告(FCW)
前方防撞警告(FCW)通过使用自身车辆的前置立体摄像头或具有毫米波雷达的单目摄像头所获取的图像信息来检测前方车辆,并根据两车之间的距离和本车的速度,对于可能发生的撞车风险向司机发出警告。后方防撞警告(BCW)系统通过使用后置单眼相机中的图像信息来检测本车后方的车辆。
变道辅助(LCA)
变道辅助(LCA)系统将检测车辆周围对于变道有所防碍的障碍物(比如周围的车辆),并警告驾驶员存在撞车的危险。它可以在车后方采用一个单目摄像头,或是在左后方和右后方各用一个单目摄像头。
障碍物检测
障碍物检测系统可以检测本车周围的车辆等障碍物,从而提供变道辅助和前方防撞警告。它使用三个单目摄像头(一个在车前,另外两个分别在车辆的右后方和左后方)。
左转/右转提醒
左转/右转提醒系统利用安装在车辆左侧或右侧的摄像头来检测行人、自行车和摩托车,并警告驾驶员以防止撞到他们。
前方行人防撞警告
前方行人防撞警告系统通过前置摄像头检测行人并通知驾驶员。红外摄像头应用于夜间(此类系统也称为夜视系统)。倒车防撞(后方行人防撞警告)系统可通过在车辆后方安装摄像头予以实现。
驾驶员状态监控(DSM)
驾驶员状态监控系统(DSM)可以追踪司机的面部方向,当驾驶员未注意前方路况时予以提醒。
俯视停车辅助系统
俯视停车辅助系统使用四个鱼眼或广角镜头摄像头来拍摄车辆周围的图像,并将拍摄到的4个图像转换为鸟瞰图,然后合成以上4个图像和本车俯视图并予以显示,以便在停车时提供必要的辅助。

高级驾驶员辅助系统举例

ACCS:自适应巡航控制系统

LKAS:车道保持辅助系统

PCSS:预防碰撞安全系统

图像识别处理器

图像处理器
器件型号 CPU MPE 图像处理加速器 视频输入 主要特点 封装
TMPV7608XBG 东芝原创的32位RISC MeP × 2 8通道 仿射变换、过滤器、直方图、HOG、增强型CoHOG、匹配、金字塔、SfM 8通道
(最大值)
片上存储器、主存储器控制器、CAN、I2C、UART、SPI、PCM、定时器/计数器、外部MCU接口等 PFBGA796-球
TMPV7528XBG 东芝原创的32-位RISC MeP和ARM Cortex-A9 MPCore 4通道 仿射变换、过滤器、直方图、HOG、匹配 4通道
(最大值)
片上存储器、主存储器控制器、PCI Express、CAN、I2C、UART、SPI、PCM、定时器/计数器、外部MCU接口等 PBGA516-球
TMPV7506XBG
东芝原创的32位RISC MeP
TMPV7504XBG
仿射变换、过滤器、直方图、匹配 2通道
(最大值)
片上存储器、主存储器控制器、CAN、I2C、UART、SPI、PCM、定时器/计数器、外部MCU接口等
TMPV7502XBG 2通道 仿射变换、过滤器、直方图、HOG、匹配 1通道 片上存储器、主存储器控制器、CAN、I2C、UART、SPI、PCM、定时器/计数器等 PLFBGA324-球
汽车显示控制器
器件型号 摄像头/视频输入 显示输出 CPU内核 主要特点 封装
TMPA970C20XBG 2通道 2通道 双核ARM Cortex-A9 3D/2D图形、CAN、MediaLB、片上存储器 PBGA516-引脚
TX4966XBG-280 2通道 2通道 TX49/L4 3D/2D图形、CAN、MediaLB、片上存储器

PBGA456-引脚

TX4961XBG-240 1通道 1通道 TX49/H3 2D图形、A/D转换器、CAN、MediaLB
TX4964FG-120 TX49/L4 2D图形、CAN、片上存储器 LQFP176-引脚
TMPR463XBG-300 1通道 2通道 ARM Cortex-R4 2D图形、A/D转换器、CAN、MediaLB、片上存储器、步进马达控制器 PBGA328-引脚
TMPR462XBG-300
TMPR461XBG-300
TMPR460XBG-300 1通道 2D图形、A/D转换器、CAN、片上存储器、步进马达控制器 PBGA244-引脚
汽车图像传感器
器件型号 输出像素 光学格式 长宽比 帧速率(全) 主要功能 封装
TCM3232PBA 1080p 1/3英寸 16:9 60fps HDR,CNR PBGA
TCM3212GBA VGA 1/4英寸 4:3 60fps

HDR、屏幕显示、独立操作支持(SAOS)、定时器、缩放

CSP

* ARM、Cortex 和Thumb是ARM有限公司在欧洲和其它国家的注册商标。

* MediaLB 是Microchip Technology Inc.在美国和其它国家的注册商标。

* 本文提及到的系统和产品名称可能是各自公司或组织的商标或注册商标。

相关产品目录

分立器件
光学半导体器件
传感器
微控制器

联系方式

如您需查询,请点击其中任何一个链接

技术方面的问题
购买、样片和IC可靠性的相关咨询
·Before creating and producing designs and using, customers must also refer to and comply with the latest versions of all relevant TOSHIBA information and the instructions for the application that Product will be used with or for.