Contact us

Откроется новое окно Откроется новое окно

Система распознавания изображений

This image shows Advanced Driver Assistance Systems (ADAS)

This image shows Advanced Driver Assistance Systems (ADAS)

Быстро растет количество транспортных средств повышенной безопасности (Advanced safety vehicle, ASV), оборудованных системами помощи водителю (advanced driver assistance system, ADAS) на базе видеокамер.
В таких системах используется одна или несколько автомобильных камер (монокулярных или стереокамер). С помощью этих камер и технологий распознавания изображений система может обнаруживать и распознавать транспортные средства, пешеходов, дорожные знаки и прочие объекты, находящиеся вокруг автомобиля, а также определять состояние водителя и пассажиров.
В процессоры распознавания изображений Toshiba серии TMPV75 интегрированы модули обработки медиаданных (Media Processing Engine, MPE) с архитектурой RISC и ускорители обработки изображений, которые можно использовать для обработки различных изображений в упомянутых выше системах помощи водителю. Чтобы достичь высокой производительности обработки данных изображений, в модулях обработки медиаданных используются три архитектуры параллелизма: многоядерная архитектура для параллелизма на уровне задач, архитектура с командными словами очень большой длины (Very Long Instruction Word, VLIW) для параллелизма на уровне команд и архитектура с одним потоком команд и несколькими потоками данных (Single Instruction stream, Multiple Data stream, SIMD) для параллелизма на уровне данных. Ускорители обработки изображений позволяют обрабатывать изображения в режиме реального времени и потребляют мало энергии. Микроконтроллеры серии TMPV75 можно использовать для решения различных показанных ниже задач, связанных с распознаванием изображений, в ранее упомянутых системах помощи водителю.

Примеры областей применения, связанных с распознаванием изображений и предназначенных для систем помощи водителю.

На этом рисунке показаны примеры областей применения, связанных с распознаванием изображений.

Система предупреждения о сходе с полосы движения (Lane Departure Warning, LDW)
Во время поездки по автотрассе система предупреждения о выезде с полосы движения оповещает водителя в тех случаях, когда автомобиль может покинуть текущую полосу движения без подачи соответствующего сигнала. Это выполняется путем распознавания дорожной разметки на основе данных изображений, получаемых с передней или задней камер.
Система распознавания дорожных знаков (Traffic Sign Recognition, TSR)
Система распознавания дорожных знаков определяет дорожные знаки с помощью данных изображений, получаемых с передней монокулярной камеры, и отображает распознанную информацию на дисплее. Эту систему можно использовать для сравнения распознанных данных об ограничениях скорости с данными о собственной скорости автомобиля, получаемыми по шине CAN, и последующего уведомления водителя.
Система предупреждения о возможности столкновения с находящимися впереди транспортными средствами (Forward Collision Warning, FCW)
Эта система обнаруживает транспортные средства впереди автомобиля, используя данные изображений, полученных со стереокамеры или монокулярной камеры, а также данные, полученные с радара миллиметровых волн, расположенных в передней части автомобиля, и предупреждает водителя о потенциальном риске столкновения на основании расстояния между транспортными средствами и данных о собственной скорости автомобиля. Система предупреждения о возможности столкновения с находящимися сзади транспортными средствами (Backward Collision Warning, BCW) обнаруживает транспортные средства сзади автомобиля, используя данные изображений, полученные с задней монокулярной камеры.
Система помощи при смене полосы движения (Lane Change Assistance, LCA)
Система помощи при смене полосы движения обнаруживает препятствия, например находящиеся поблизости транспортные средства, во время смены полосы движения и предупреждает водителя об опасности столкновения с ними. Эта система использует заднюю монокулярную камеру или две монокулярные камеры, расположенные слева и справа в задней части автомобиля.
Система обнаружения препятствий
Система обнаружения препятствий определяет препятствия, например транспортные средства рядом с автомобилем, и передает данные о них в систему помощи при смене полосы движения и систему предупреждения о возможности столкновения с находящимися впереди транспортными средствами. Система использует три монокулярные камеры (одна из них расположена впереди, а остальные две — справа и слева в задней части автомобиля).
Система предупреждения при повороте налево или направо
Эта система обнаруживает пешеходов, велосипедистов и мотоциклистов с помощью камер, смонтированных в левой и правой частях автомобиля, и предупреждает водителя об опасности наезда на них.
Система предупреждения о возможности столкновения с находящимися впереди пешеходами (Forward Pedestrian Collision Warning)
Эта система обнаруживает пешеходов с помощью расположенной впереди камеры и предупреждает о них водителя. В ночное время используется инфракрасная камера (такие системы также называют системами ночного видения). Кроме того, можно реализовать систему предупреждения о возможности столкновения с находящимися сзади пешеходами (backward pedestrian collision warning). Для этого необходимо установить камеру в задней части автомобиля.
Система слежения за состоянием водителя (Driver State Monitoring, DSM)
Эта система следит за тем, в каком направлении повернуто лицо водителя, и сигнализирует, если водитель не смотрит на дорогу.
Система помощи при парковке с видом сверху
Эта система снимает все, что находится вокруг автомобиля, с помощью камер с широкоугольными объективами («рыбий глаз») и преобразует четыре разных изображения в изображение с видом сверху. Затем она объединяет полученное изображение и накладывает на него изображение самого автомобиля с видом сверху для оказания помощи при парковке.
Система переключения дальнего света
Это приложение обнаруживает свет фар встречных автомобилей и задних габаритных фонарей попутных автомобилей, чтобы автоматически выбрать соответствующую дальность действия света.
Распознавание сигналов светофора
Это приложение обнаруживает красный сигнал светофора и предупреждает водителя, если имеются признаки движения автомобиля на красный свет.
Предупреждение о столкновении с общими стационарными объектами
Это приложение обнаруживает общие препятствия на дороге, включая упавшие объекты, обвалы, оползни и конусы дорожного ограждения, и предупреждает водителя в случае опасности столкновения.

Примеры систем помощи водителю

ADAS: решения для мониторинга переднего и кругового обзора

Процессоры распознавания образов серий TMPV75 и TMPV76 способны в реальном времени обрабатывать изображения, поступающие от камер (в количестве от одной до четырех, причем позволяют также подключить до восьми камер). Процессоры серий TMPV75 и TMPV76 могут выполнять несколько приложений ADAS параллельно, распознавая автомобили, пешеходов, линии разметки, дорожные знаки и т. п. вокруг автомобиля, на котором они установлены. Возможные применения: обнаружение автомобилей и предупреждение о столкновении, обнаружение пешеходов и предупреждение о наезде, обнаружение полосы движения и предупреждение о сходе с нее, распознавание дорожных знаков и обнаружение красного сигнала светофора. В процессорах серий TMPV75 и TMPV76 сочетаются высокая производительность и низкое энергопотребление.

Image Recognition System for Front and Surround View Monitoring

This figure shows a typical system block diagram using the TMPV760 Series.

Решение ADAS для контроля заднего вида с помощью монокулярной камеры (монитор заднего вида, электронное зеркало заднего вида, электронные наружные зеркала)

Благодаря использованию одного интерфейсного канала ввода видео для монокулярной камеры в устройстве TMPV7502XBG сочетаются высокая эффективность распознавания изображений и низкое энергопотребление (0,6 Вт — типичная мощность по результатам измерений в компании Toshiba). Кроме того, устройство TMPV7502XBG выпускается в компактном корпусе. Оно подходит для использования в качестве монитора заднего вида, электронного зеркала заднего вида и электронных наружных зеркал с распознаванием автомобилей и пешеходов и обнаружением движущихся объектов.

Image Recognition  System for  Rear-View Monitoring

This figure shows a typical system block diagram using the TMPV7502XBG.

Рекомендованные продукты

Image Recognition Processors
Part Number Series CPU MPE Image Processing Accelerator Video
Inputs
Main Features Package
TMPV7608XBG TMPV760
Series
Two Toshiba-original
32-bit RISC MePs
8 Affine Transform, Filter, Histogram, HOG,
Enhanced CoHOG, Matching, Pyramid, SfM

Up to
8 ch.
On-chip Memory, Memory Controller, CAN,
I2C, UART, SPI, PCM, Timer/Counter,
External MCU Interface, etc.
PFBGA796
TMPV7528XBG TMPV752
Series
Toshiba-original
32-bit RISC MeP and
ARM®Cortex®-A9 MPCore
4 Affine Transform, Filter, Histogram,
HOG, Matching

Up to
4 ch.
On-chip Memory, Memory Controller,
PCI Express®, CAN, I2C, UART, SPI,
PCM, Timer/Counter,
External MCU Interface, etc.
PBGA516


 

TMPV7506XBG


 

TMPV750
Series
Toshiba-original
32-bit RISC MeP
TMPV7504XBG
Affine Transform, Filter, Histogram, Matching
Up to
2 ch.
On-chip Memory, Memory Controller, CAN,
I2C, UART, SPI, PCM, Timer/Counter,
External MCU Interface, etc.
TMPV7502XBG 2 Affine Transform, Filter, Histogram,
HOG, Matching
1 ch On-chip Memory, Memory Controller, CAN,
I2C, UART, SPI, PCM, Timer/Counter, etc.
PLFBGA324

* The video input interface of the TMPV7608XBG has a 4-of-8 video switch.

Video Decoders (Automotive Display Processors)
Part Number Features & Functions Operating Temperature Supply Voltage Package
TC90105FG 2 ch video decoders, 2.5 V voltage regulator, newly developed HVD enhancer, horizontal aberration correction, ITUR-656 output –40 to +85°C 1.4 to 1.6 V
2.3 to 2.7 V
3.0 to 3.6 V
LQFP80
TC90107FG 1 ch video decoder, 2.5 V voltage regulator, newly developed HVD enhancer, horizontal aberration correction, ITUR-656 output LQFP64

* ARM, Cortex и Thumb являются зарегистрированными товарными знаками компании ARM Limited в ЕС и других странах.

* MediaLB является зарегистрированным товарным знаком компании Microchip Technology Inc. в США и других странах.

* Упомянутые здесь названия систем и продуктов могут быть товарными знаками или зарегистрированными товарными знаками соответствующих компаний и организаций.

Контакты

Если у вас возникли вопросы, перейдите по одной из этих ссылок:

Запрос на предоставление технической информации
Вопросы о покупке, образцах и надежности интегральных схем
To Top
·Before creating and producing designs and using, customers must also refer to and comply with the latest versions of all relevant TOSHIBA information and the instructions for the application that Product will be used with or for.