Contact us

Откроется новое окно Откроется новое окно

Компания Toshiba запускает в производство новую линейку процессоров распознавания изображений для автомобильных систем

Pedestrian detection at night-time and 3D reconstruction using a monocular camera: TMPV7608XBG

Фотография TMPV7608XBG.

TMPV7608XBG — это новая версия серии TMPV760, оптимизированная для использования современных систем помощи водителю (Advanced Driver Assistance Systems, ADAS). Они требуют оснащения новых транспортных средств функцией безопасности, предотвращающей столкновение с пешеходами в дневное и в ночное время, и входят в Европейскую программу оценки новых автомобилей (Euro NCAP).

Функции нового продукта

Оригинальная технология компании Toshiba, позволяющая распознавать образы на основе цветовых данных

This is an image of detecting at night-time by color feature value pattern recognition.

Продукты серии TMPV7608XBG позволяют ADAS распознавать пешеходов в ночное время так же точно, как и днем, когда используются традиционные системы технического зрения. Для построения одновременных гистограмм направленных градиентов (Co-occurrence Histograms of Oriented Gradients, CoHOG) используются оригинальные улучшенные ускорители Toshiba. Они объединяют в себе дескрипторы функции CoHOG, основанные на градиенте яркости, с дескрипторами, основанными на градиенте цвета и полученными с помощью новой технологии. Благодаря данному усовершенствованию значительно выросла точность распознавания, особенно в ночное время и в условиях слабой освещенности. Кроме того, улучшенные ускорители CoHOG позволяют достичь непревзойденной вычислительной мощности и сократить время распознавания.

Обнаружение обычных препятствий с помощью технологии трехмерной реконструкции

Продукты серии TMPV7608XBG содержат ускоритель для определения структуры объекта по отображению движения (Structure from Motion, SfM). Он позволяет распознавать обычные неподвижные препятствия, такие как упавшие предметы и обвалы. Ускоритель SfM дает трехмерные оценки расстояния до неподвижных препятствий, а также их высоты и ширины, используя для этого последовательность изображений с монокулярной видеокамеры. Он позволяет обнаруживать неподвижные препятствия без изучения кривой, а также подвижные предметы (используя анализ движения) и объекты определенного класса, такие как пешеходы и транспортные средства (используя распознавание образов). Благодаря применению трехмерных данных можно сократить исследуемую область (Region of Interest, ROI) распознаваемых объектов. Это позволяет ускорить распознавание образов и предоставление помощи водителю, а также улучшить управление.

This is an explanatory diagram of the general obstacle detection using 3D reconstruction technology.

Параллельное выполнение восьми приложений распознавания изображений

Продукты серии TMPV7608XBG содержат восемь новых процессоров для обработки изображений, которые называются медиапроцессорами (Media Processing Engines, MPE). Они содержат встроенные сопроцессоры удвоенной точности и различные ускорители обработки изображений (общим числом 14), благодаря которым изображения обрабатываются в 10 раз быстрее, чем в традиционных продуктах. В связи с этим TMPV7608XBG поддерживает параллельное выполнение восьми приложений распознавания изображений. Все процессоры и ускорители обработки изображений способны одновременно распознавать прохожих и транспортные средства за 50 миллисекунд, работая с тактовой частотой до 266,7 МГц.

This is an example of simultaneous, parallel execution of multiple applications.

Сокращение времени обработки наполовину

This is a comparison diagram of image recognition processors performance.
A performance comparison of a new and conventional products

Основная системная организация нового продукта

This is the basic system configuration example of image recognition processor (TMPV7608XBG).

* The video input interface of the TMPV7608XBG has a 4-of-8 video switch.

Пример основной конфигурации системы TMPV7608XBG

Общие характеристики нового продукта

Series Name / Product Name Visconti4 / TMPV7608XBG
CPUs Toshiba original 32-bit RISC
Media embedded Processor (MeP) x 2 sets
Image Processing Engines Toshiba original 32-bit RISC Media Processing Engine
Media Processing Engine (MPE) with Double-precision
FPU x 8 sets with 256 KB L2 cache x 2 sets
Image Processing Accelerators Affine Transformation 3 ch (Lens Undistortion, Affine Transformation, Viewpoint Conversion, etc.)
Filter 2 ch (Smoothing, Edge Detection, Corner Detection, Oriented Gradient Computation, Color Space Conversion, Demosaicing, etc.)
Histogram 1 ch (Histogram, Image Conversion using LUT, etc.)
Histogram of Oriented Gradients(HOG) 1 ch (HOG/CoHOG Features + Linear Support Vector Machine)
Enhanced CoHOG 2 ch (HOG/CoHOG/Color-CoHOG Features etc. + Linear Support Vector Machine)
Matching 2 ch (Tracking, Motion Detection)
Pyramid 2ch (Pyramid Image Generation)
Structure from Motion (SfM) 1ch (3D Reconstruction)
On-chip Memories Masked ROM 80 KBytes
SRAM 1632 KBytes
On-chip Peripherals Video Input Interface Up to 8 ch (CMOS I/F: Up to 4 ch / max. SXGA, 60fps | MIPI® CSI-2 I/F: Up to 4ch / max. 1080p, 60fps) with Video Switch (8-input to 4-select)
Video Output Interface 1 ch
External Memory Controllers DDR SDRAM Controller LPDDR2-800
Serial NOR Memory Controller (Single or Quad SPI)
Parallel SRAM / NOR Memory Controller
External MCU Interface 1 ch (8-bit bidirectional parallel input/output)
General-Purpose I/O 24-bits
CAN Controllers 3 ch
I2C Interface Up to 8 ch
UART Interface Up to 5 ch (1ch for debug use only)
SPI Interface Up to 4 ch
PCM Interface Up to 2 ch
Timer / Counters 32 ch
Operating Frequency 266.7 MHz max.
Operating Voltage Core: 1.1 V,
I/O: 3.3 V, 1.2 V (for LPDDR2 SDRAM) / 1.2V (MIPI® CSI-2 I/F)
Package P-FBGA 796-ball, 27mm x 27mm, 0.8 mm ball pitch
Список продуктов

Линейка продуктов (параметрический поиск)
Просмотрите список процессоров распознавания изображений и подберите продукты, соответствующие вашим техническим требованиям.

Эталонная плата для процессоров обработки изображений
Мы предлагаем разнообразные средства разработки, комплект для разработки программного обеспечения (SDK) и эталонные платы.

* MIPI является зарегистрированным товарным знаком компании MIPI Alliance.

* Microsoft и Windows являются товарными знаками или зарегистрированными товарными знаками Microsoft Corporation в США и/или других странах.

* Red Hat и Enterprise Linux являются зарегистрированными товарными знаками корпорации Red Hat в США и других странах.

* HDMI является товарным знаком или зарегистрированным товарным знаком компании HDMI Licensing, LLC в США и/или других странах.

* MediaLB и MOST являются зарегистрированными товарными знаками корпорации Microchip Technology в США и других странах.

* ARM и Cortex являются зарегистрированными товарными знаками компании ARM Limited (или ее дочерних компаний) в США и/или в других странах.

* Упомянутые здесь названия систем и продуктов могут быть товарными знаками или зарегистрированными товарными знаками соответствующих компаний и организаций.

Контакты

Если у вас возникли вопросы, перейдите по одной из этих ссылок:

Запрос на предоставление технической информации
Вопросы о покупке, образцах и надежности интегральных схем
To Top
·Before creating and producing designs and using, customers must also refer to and comply with the latest versions of all relevant TOSHIBA information and the instructions for the application that Product will be used with or for.