Contact us

Une nouvelle fenêtre s'ouvre Une nouvelle fenêtre s'ouvre

Toshiba lance une nouvelle gamme de processeurs de reconnaissance d'image pour les applications automobiles

Pedestrian detection at night-time and 3D reconstruction using a monocular camera: TMPV7608XBG

Photographie du TMPV7608XBG.

Le TMPV7608XBG est le dernier-né de la série TMPV760. Il est optimisé pour les systèmes avancés d'aide à la conduite (ADAS) de nouvelle génération. En effet, le programme européen d'évaluation des nouveaux modèles de voitures (Euro NCAP) exige que les nouveaux véhicules soient équipés d'un dispositif évitant les collisions avec les piétons, de jour comme de nuit.

Caractéristiques du nouveau produit

Technologie propriétaire Toshiba de reconnaissance de motifs à partir des couleurs

This is an image of detecting at night-time by color feature value pattern recognition.

Le TMPV7608XBG permet à un ADAS de détecter les piétons la nuit avec la même fiabilité que les systèmes de détection diurne classiques. Les accélérateurs CoHOG étendus de Toshiba combinent des descripteurs CoHOG reposant sur la luminance et d'autres reposant sur les couleurs obtenus grâce à une toute nouvelle technique. Cette amélioration se traduit par une plus grande précision de reconnaissance, en particulier la nuit et dans les scènes où l'écart de luminance entre le sujet et l'arrière-plan est moindre. En outre, les accélérateurs CoHOG étendus offrent des performances de calcul exceptionnelles, réduisant ainsi le délai nécessaire pour la reconnaissance.

Détection générale des obstacles par technologie de reconstitution en 3D

Le TMPV7608XBG intègre un accélérateur SfM (Structure from Motion), qui permet de détecter les obstacles fixes généraux, tels que les objets tombés sur la voie et les glissements de terrain. L'accélérateur SfM fournit des estimations tridimensionnelles de la distance jusqu'aux obstacles fixes, ainsi que de leur hauteur et de leur largeur, à partir d'une séquence d'images prises par une caméra monoculaire. Il permet de détecter n'importe quel obstacle fixe sans courbe d'apprentissage, mais également les objets en mouvement (par analyse des mouvements) et une catégorie particulière d'objets, tels que les piétons et les véhicules (reconnaissance de motifs). L'utilisation des informations 3D permet de réduire la zone d'intérêt des objets reconnus. Elle améliore ainsi la reconnaissance des motifs, accélérant l'aide à la conduite et son contrôle.

This is an explanatory diagram of the general obstacle detection using 3D reconstruction technology.

Exécution parallèle pouvant aller jusqu'à huit applications de reconnaissance d'image

Le TMPV7608XBG intègre huit nouveaux moteurs de traitement de l'image, appelés Media Processing Engines (MPE), dotés d'une unité à virgule flottante à deux décimales, ainsi que divers accélérateurs de traitement de l'image, 14 au total, multipliant par 10 les performances par rapport à un produit classique. Le TMPV7608XBG permet ainsi l'exécution en parallèle de une à huit applications de reconnaissance d'image Tous les moteurs et accélérateurs de traitement de l'image, qui affichent une cadence d'horloge jusqu'à 266,7 MHz, reconnaissent les piétons et les véhicules simultanément en 50 millisecondes.

Exemple d'exécution simultanée de plusieurs applications en parallèle.

Durée de traitement réduite de moitié

This is a comparison diagram of image recognition processors performance.
A performance comparison of a new and conventional products

Configuration de base du nouveau produit

This is the basic system configuration example of image recognition processor (TMPV7608XBG).

* The video input interface of the TMPV7608XBG has a 4-of-8 video switch.

Exemple de configuration de base du TMPV7608XBG

Spécifications générales du nouveau produit

Series Name / Product Name Visconti4 / TMPV7608XBG
CPUs Toshiba original 32-bit RISC
Media embedded Processor (MeP) x 2 sets
Image Processing Engines Toshiba original 32-bit RISC Media Processing Engine
Media Processing Engine (MPE) with Double-precision
FPU x 8 sets with 256 KB L2 cache x 2 sets
Image Processing Accelerators Affine Transformation 3 ch (Lens Undistortion, Affine Transformation, Viewpoint Conversion, etc.)
Filter 2 ch (Smoothing, Edge Detection, Corner Detection, Oriented Gradient Computation, Color Space Conversion, Demosaicing, etc.)
Histogram 1 ch (Histogram, Image Conversion using LUT, etc.)
Histogram of Oriented Gradients(HOG) 1 ch (HOG/CoHOG Features + Linear Support Vector Machine)
Enhanced CoHOG 2 ch (HOG/CoHOG/Color-CoHOG Features etc. + Linear Support Vector Machine)
Matching 2 ch (Tracking, Motion Detection)
Pyramid 2ch (Pyramid Image Generation)
Structure from Motion (SfM) 1ch (3D Reconstruction)
On-chip Memories Masked ROM 80 KBytes
SRAM 1632 KBytes
On-chip Peripherals Video Input Interface Up to 8 ch (CMOS I/F: Up to 4 ch / max. SXGA, 60fps | MIPI® CSI-2 I/F: Up to 4ch / max. 1080p, 60fps) with Video Switch (8-input to 4-select)
Video Output Interface 1 ch
External Memory Controllers DDR SDRAM Controller LPDDR2-800
Serial NOR Memory Controller (Single or Quad SPI)
Parallel SRAM / NOR Memory Controller
External MCU Interface 1 ch (8-bit bidirectional parallel input/output)
General-Purpose I/O 24-bits
CAN Controllers 3 ch
I2C Interface Up to 8 ch
UART Interface Up to 5 ch (1ch for debug use only)
SPI Interface Up to 4 ch
PCM Interface Up to 2 ch
Timer / Counters 32 ch
Operating Frequency 266.7 MHz max.
Operating Voltage Core: 1.1 V,
I/O: 3.3 V, 1.2 V (for LPDDR2 SDRAM) / 1.2V (MIPI® CSI-2 I/F)
Package P-FBGA 796-ball, 27mm x 27mm, 0.8 mm ball pitch
Liste des produits

Gamme de produits (recherche paramétrique)
Consultez la liste des processeurs de reconnaissance d'image pour trouver les produits répondant à vos besoins.

Carte de référence de processeurs de reconnaissance d'image.
Nous disposons d'un large éventail d'outils de développement, notamment d'un kit de développement logiciel (SDK) et de cartes de référence.

* MIPI est une marque commerciale déposée détenue par la MIPI Alliance.

* Microsoft et Windows sont des marques commerciales déposées ou des marques commerciales de Microsoft Corporation aux États-Unis et/ou dans d'autres pays.

* Red Hat et Enterprise Linux sont des marques commerciales déposées de Red Hat, Inc. aux États-Unis et dans d'autres pays.

* HDMI est une marque commerciale ou une marque commerciale déposée de HDMI Licensing, LLC aux États-Unis et/ou dans d'autres pays.

* MediaLB et MOST sont des marques commerciales déposées de Microchip Technology Inc. aux États-Unis et dans d'autres pays.

* ARM et Cortex sont des marques commerciales déposées d'ARM Limited (ou de ses filiales) aux États-Unis et/ou dans d'autres pays.

* Les noms de système et produit mentionnés dans le présent document peuvent être des marques commerciales ou des marques commerciales déposées de leurs entreprises ou organisations respectives.

Contacts

Pour toute question, cliquez sur l'un de ces liens :

Questions techniques
Questions concernant les achats, l'échantillonnage et la fiabilité des circuits intégrés
To Top
·Before creating and producing designs and using, customers must also refer to and comply with the latest versions of all relevant TOSHIBA information and the instructions for the application that Product will be used with or for.