Contact us

在新窗口打开 在新窗口打开

东芝推出全新阵容的车用图像识别处理器

使用单目摄像头的夜间行人检测和3D重建:TMPV7608XBG

This is a photo of TMPV7608XBG.

TMPV7608XBG是Visconti™4(TMPV760)系列的新增产品,主要优化用于下一代高级驾驶辅助系统(ADAS),它要求新车辆具备在白天和夜间防止撞上行人的安全功能,该功能将成为欧盟新车安全评鉴协会(Euro NCAP)的评估要素。

特点

东芝原创的采用颜色特征的图形识别技术

This is an image of detecting at night-time by color feature value pattern recognition.

TMPV7608XBG使得ADAS在夜间识别行人的可靠性能够与使用传统视觉系统在白天识别行人的能力相媲美。东芝原创的增强型CoHOG(方向梯度共现直方图)加速器融合了基于亮度的CoHOG特征描述符和使用全新开发技术获得的基于色彩的特征描述符。该增强性能实现了识别精度的巨大改进,特别是在夜间或者目标对象与背景的亮度差较小的情况下。而且,增强型CoHOG加速器提供卓越的计算性能,可缩短识别所需要的时间。

使用3D重建技术的一般障碍物检测

TMPV7608XBG采用了运动架构(SfM)加速器,它实现了对于坠落物体和滑坡等一般静止障碍物的检测。SfM加速器将根据从单目摄像头获得的图像序列对到达静止障碍物的距离、该障碍物的高度和宽度进行三维(3D)估计。该加速器能够在不需要学习曲线的情况下检测所有静止障碍物、移动物体(通过运动分析)、行人及车辆等特殊对象(通过图形识别)。使用3D信息有助于缩小识别对象中的兴趣区域(ROI),从而改进了图形识别速度,能提供更快速的驾驶辅助和控制。

This is an explanatory diagram of the general obstacle detection using 3D reconstruction technology.

并行执行最多达8个图像识别应用

TMPV7608XBG采用了8个名为媒体处理引擎(MPE)的全新图像处理引擎,双精度浮点单元,以及各种图像处理加速器(总数达14个),其图像处理性能是传统产品的10倍*。因此,TMPV7608XBG实现了最多8个图像识别应用的并行执行。所有图像处理引擎和加速器能够在50毫秒内同时识别行人和车辆,其运行的时钟频率高达266.7MHz。

* 与前一代东芝型号比较

This is an example of simultaneous, parallel execution of multiple applications.

处理时间缩短一半

This is a comparison diagram of image recognition processors performance.
A performance comparison of a new and conventional products

基本的系统结构

This is the basic system configuration example of image recognition processor (TMPV7608XBG).

* TMPV7608XBG的视频输入接口具有一个4/8视频开关。

TMPV7608XBG的基本系统结构举例

一般规格

系列名称/产品名称 Visconti4/TMPV7608XBG[开发中]
CPUs 东芝原创32位RISC
媒体嵌入式处理器(MeP)x2组
图像处理引擎 东芝原创32位RISC媒体处理引擎
双精度媒体处理引擎(MPE)
FPU x 8组,256KB L2缓冲x2组
图像处理加速器 仿射变换 3通道(透镜不失真、仿射变换、视角转换等)
过滤器 2通道(平滑化、边缘检测、角点检测、方向梯度计算、色彩空间转换、去马赛克等)
直方图 1通道(直方图、使用LUT的图像变换等)
方向梯度直方图(HOG) 1通道(HOG/CoHOG特点+线性支持向量机L-SVM)
增强型CoHOG 2通道(HOG/CoHOG/彩色-CoHOG特点等+线性支持向量机)
配对 2通道(跟踪、运动检测)
金字塔 2通道(金字塔图像生成)
运动构架(SfM) 1通道(3D重建)
片上存储器 掩膜ROM 80KB
SRAM 1632KB
片上外围设备 视频输入接口 最多8通道(CMOS I/F:最多4通道/最大SXGA,60fps | MIPI® CSI-2 I/F:最多4通道/最大1080p,60fps)及视频开关(8选4输入)
视频输出接口 最多1通道
外部存储器控制器 DDR SDRAM控制器LPDDR2-800
串行NOR存储器控制器(单或四SPI)
并行SRAM/NOR存储器控制器
外部MCU接口 1通道(8位双向并行输入/输出)
通用输入/输出 24位
CAN控制器 3通道
I2C接口 最多8通道
UART接口 最多5通道(1通道只用于调试用途)
SPI接口 最多4通道
PCM接口 最多2通道
定时器/计数器 32通道
工作频率 266.7MHz(最大值)
工作电压 内核:1.1V,
I/O:3.3V,1.2V(用于LPDDR2 SDRAM)/1.2V(MIPI® CSI-2 I/F)
封装 P-FBGA 796-球型,27mm x 27mm,0.8mm球间距
Product List

产品阵容(参数搜索)
查看图像识别处理器的产品列表,找到满足您性能规格的产品。

A reference board of Image Recognition Processors.
我们提供广泛的开发工具、软件开发套件(SDK)和参考板。

* Visconti是株式会社东芝的商标。

* MIPI是MIPI Alliance公司所拥有的注册商标。

* Microsoft和Windows是微软公司在美国和/或其它国家的注册商标或商标。

* Red Hat和Enterprise Linux是Red Hat, Inc.公司在美国和其它国家的注册商标。

* HDMI是HDMI Licensing, LLC公司在美国和/或其它国家的商标或注册商标。

* MediaLB和MOST是Microchip Technology Inc.公司在美国和其它国家的注册商标。

* ARM和Cortex是ARM有限公司(或其子公司)在欧洲和/或其它国家的注册商标。

* 本文提及到的系统和产品名称可能是各自公司或组织的商标或注册商标。

联系方式

如您需查询,请点击其中任何一个链接

技术方面的问题
购买、样片和IC可靠性的相关咨询
·Before creating and producing designs and using, customers must also refer to and comply with the latest versions of all relevant TOSHIBA information and the instructions for the application that Product will be used with or for.