Contact us

Es wird ein neues Fenster geöffnet Es wird ein neues Fenster geöffnet

Toshiba bringt die neue Produktlinie von Bilderkennungsprozessoren für Automobilanwendungen auf den Markt

Fußgängererkennung bei Dunkelheit und 3D-Rekonstruktion mit einer monokularen Kamera: TMPV7608XBG

Dies ist ein Foto des TMPV7608XBG.

Der TMPV7608XBG ist eine neue Erweiterung der Visconti4 (TMPV760-Serie) und für die Verwendung in erweiterten Fahrerassistenzsystemen der nächsten Generation optimiert. Diese verlangen bei neuen Fahrzeugen eine Sicherheitsfunktion zur Vermeidung von Fußgängerkollisionen bei Tag und Nacht, die Teil des European New Car Assessment Programme (Euro NCAP) ist.

Funktionen des neuen Produkts

Herkömmliche Mustererkennungstechnologie von Toshiba, die Farbeigenschaften nutzt

This is an image of detecting at night-time by color feature value pattern recognition.

Dank des TMPV7608XBG können Fahrerassistenzsysteme die Fußgängererkennung nachts genauso zuverlässig realisieren wie die Fußgängererkennung tagsüber, die mit herkömmlichen Vision-Systemen zur Verfügung steht. Die ursprünglichen erweiterten CoHOG (Co-occurrence Histograms of Oriented Gradients)-Beschleuniger von Toshiba kombinieren leuchtdichtebasierte CoHOG-Eigenschaftsdeskriptoren mit farbbasierten Eigenschaftsdeskriptoren, die über eine neue Technik erfasst werden. Diese Erweiterung führt zu einer bemerkenswerten Verbesserung der Erkennungspräzision – vor allem nachts und in Umgebungen mit wenig Leuchtdichteunterschieden zwischen Objekten und dem Hintergrund. Zudem überzeugen die CoHOG-Beschleuniger durch herausragende Rechenleistung, sodass die für die Erkennung benötige Zeit verkürzt wird.

Allgemeine Hinderniserkennung mit 3D-Rekonstruktionstechnologie

Der TMPV7608XBG integriert einen SfM-Beschleuniger (Structure from Motion), der die Erkennung von allgemeinen stationären Hindernissen, wie heruntergefallenen Objekten oder Erdrutschen, ermöglicht. Basierend auf einer Bildsequenz von einer monokularen Kamera bietet der SfM-Beschleuniger dreidimensionale Schätzungen der Distanz zu den stationären Hindernissen sowie deren Höhe und Breite. Der Beschleuniger ermöglicht die Erkennung von sämtlichen stationären Hindernissen ohne Lernkurve, von beweglichen Objekten (mithilfe von Bewegungsanalyse) sowie von einer bestimmten Klasse von Objekten, wie zum Beispiel Fußgängern und Fahrzeugen (mithilfe von Mustererkennung). Durch die Nutzung von 3D-Informationen kann die sogenannte Region of Interest (ROI) bei erkannten Objekten reduziert werden, sodass die Mustererkennung schneller erfolgen und eine schnelle Fahrassistenz und -kontrolle sichergestellt werden kann.

This is an explanatory diagram of the general obstacle detection using 3D reconstruction technology.

Parallele Ausführung von bis zu acht Erkennungsanwendungen

Der TMPV7608XBG umfasst acht neue Bildverarbeitungs-Engines, die Media Processing Engines (MPEs), mit einer Gleitkommaeinheit mit doppelter Genauigkeit und verschiedenen Bildverarbeitungsbeschleunigern (insgesamt 14). Dadurch bietet er die 10-fache Bildverarbeitungsleistung eines herkömmlichen Produkts und ermöglicht die parallele Ausführung von bis zu acht Bilderkennungsanwendungen. Alle Bilderkennungs-Engines und -beschleuniger laufen bei einer Taktfrequenz von bis zu 266,7 MHz und können Fußgänger und Fahrzeuge gleichzeitig innerhalb von 50 Millisekunden erkennen.

This is an example of simultaneous, parallel execution of multiple applications.

Um die Hälfte verkürzte Verarbeitungszeit

This is a comparison diagram of image recognition processors performance.
A performance comparison of a new and conventional products

Grundlegende Systemorganisation des neuen Produkts

This is the basic system configuration example of image recognition processor (TMPV7608XBG).

* The video input interface of the TMPV7608XBG has a 4-of-8 video switch.

Beispiel der grundlegenden Systemkonfiguration des TMPV7608XBG

Allgemeine technische Daten des neuen Produkts

Series Name / Product Name Visconti4 / TMPV7608XBG
CPUs Toshiba original 32-bit RISC
Media embedded Processor (MeP) x 2 sets
Image Processing Engines Toshiba original 32-bit RISC Media Processing Engine
Media Processing Engine (MPE) with Double-precision
FPU x 8 sets with 256 KB L2 cache x 2 sets
Image Processing Accelerators Affine Transformation 3 ch (Lens Undistortion, Affine Transformation, Viewpoint Conversion, etc.)
Filter 2 ch (Smoothing, Edge Detection, Corner Detection, Oriented Gradient Computation, Color Space Conversion, Demosaicing, etc.)
Histogram 1 ch (Histogram, Image Conversion using LUT, etc.)
Histogram of Oriented Gradients(HOG) 1 ch (HOG/CoHOG Features + Linear Support Vector Machine)
Enhanced CoHOG 2 ch (HOG/CoHOG/Color-CoHOG Features etc. + Linear Support Vector Machine)
Matching 2 ch (Tracking, Motion Detection)
Pyramid 2ch (Pyramid Image Generation)
Structure from Motion (SfM) 1ch (3D Reconstruction)
On-chip Memories Masked ROM 80 KBytes
SRAM 1632 KBytes
On-chip Peripherals Video Input Interface Up to 8 ch (CMOS I/F: Up to 4 ch / max. SXGA, 60fps | MIPI® CSI-2 I/F: Up to 4ch / max. 1080p, 60fps) with Video Switch (8-input to 4-select)
Video Output Interface 1 ch
External Memory Controllers DDR SDRAM Controller LPDDR2-800
Serial NOR Memory Controller (Single or Quad SPI)
Parallel SRAM / NOR Memory Controller
External MCU Interface 1 ch (8-bit bidirectional parallel input/output)
General-Purpose I/O 24-bits
CAN Controllers 3 ch
I2C Interface Up to 8 ch
UART Interface Up to 5 ch (1ch for debug use only)
SPI Interface Up to 4 ch
PCM Interface Up to 2 ch
Timer / Counters 32 ch
Operating Frequency 266.7 MHz max.
Operating Voltage Core: 1.1 V,
I/O: 3.3 V, 1.2 V (for LPDDR2 SDRAM) / 1.2V (MIPI® CSI-2 I/F)
Package P-FBGA 796-ball, 27mm x 27mm, 0.8 mm ball pitch
Produktliste

Produktportfolio (Parametrische Suche)
Sehen Sie sich die Produktliste an Bilderkennungsprozessoren an, um Produkte zu finden, die Ihren Leistungsanforderungen entsprechen.

A reference board of Image Recognition Processors.
Wir bieten eine breite Palette an Entwicklungstools. Außerdem stehen ein Softwareentwicklungskit und Referenzplatinen zur Verfügung.

* Visconti ist eine Marke der Toshiba Corporation.

* MIPI ist eine eingetragene Marke der MIPI Alliance.

* Microsoft und Windows sind eingetragene Marken oder Marken der Microsoft Corporation in den USA und/oder anderen Ländern.

* Red Hat und Enterprise Linux sind eingetragene Marken der Red Hat Inc. in den USA und in anderen Ländern.

* HDMI ist eine Marke oder eingetragene Marke von HDMI Licensing, LLC in den USA und/oder anderen Ländern.

* MediaLB und MOST sind eingetragene Marken der Microchip Technology Inc. in den USA und in anderen Ländern.

* ARM und Cortex* sind eingetragene Marken von ARM Limited (oder seinen Partnerunternehmen) in der USA und/oder andernorts.  

* Hier genannte Systeme und Produktnamen sind unter Umständen Marken oder eingetragene Marken der entsprechenden Unternehmen oder Organisationen.

Ansprechpartner

Für Anfragen klicken Sie auf einen der folgenden Links:

Technische Anfragen
Anfragen zum Kauf, Teilen und IC-Zuverlässigkeit
To Top
·Before creating and producing designs and using, customers must also refer to and comply with the latest versions of all relevant TOSHIBA information and the instructions for the application that Product will be used with or for.