Contact us

새로운 창이 열립니다 새로운 창이 열립니다

도시바, 새로운 라인업의 차량용 화상 인식 프로세서 출시

야간 보행자 인식의 성능을 향상, 단안 카메라에 의한 정지 장애물 감지를 실현한 Visconti4 시리즈 TMPV7608XBG

This is a photo of TMPV7608XBG.

Visconti4 (TMPV760) 시리즈의 신제품 TMPV7608XBG는, 유럽에서 시행 예정인 신차 안전성능평가 “Euro NCAP ( New Car Assessment Programme )”에서 요구되는 주야간 보행자충돌방지 등이 적용되는 차세대 첨단운전자지원시스템 (ADAS : Advanced Driver Assistance Systems)를 위한 신제품입니다.

신제품의 특징

도시바 고유의 칼라 특징량 패턴 인식 처리 기술을 탑재

This is an image of detecting at night-time by color feature value pattern recognition.

TMPV7608XBG 는 첨단운전자지원시스템 (ADAS) 에서의 야간 보행자 인식을 기존 모델의 주간 보행자 인식과 동등한 수준으로 향상하였습니다. 휘도 정보를 이용한 당사 고유의 고성능 화상 특징량 CoHOG (Co-occurrence Histograms of Oriented Gradients)에 새로운 방식의 색 정보를 이용한 특징량이 더해진 복합 특징량에 의해 구현된 도시바 독자적 인식 알고리즘 Enhanced CoHOG 액셀러레이터를 탑재하였습니다. 이에 따라 야간이나 배경과 대상물의 휘도 차이가 적은 장면에서 보행자 식별 성능이 크게 향상되었으며, 액셀러레이터의 뛰어난 계산 능력에 의해 인식 시간도 대폭 단축할 수 있었습니다.

3D 재구성 기술을 탑재

TMPV7608XBG는 신기능 SfM(Structure from Motion) 액셀러레이터를 탑재하여, 낙하물・낙석・산사태 등의 예상치 못한 불특정 장애물(정지장애물)을 감지할 수 있습니다. 단안 카메라 시계열의 화상 정보에서 정지물의 거리, 높이・폭의 3D 정보를 추정할 수 있으며, 기존 제품에서 탐지 가능한 이동체(움직임 분석에서 감지) 및 보행자・차량 등의 물체(패턴 인식 기술에서 감지) 뿐만 아니라 완전히 새로운 장애물 (정지 장애물)도 사전 학습 없이 감지할 수 있습니다. 3D 정보를 이용함으로써, 증가하는 인식 대상물의 탐색 후보를 줄이고 패턴 인식을 고속으로 처리할 수 있게 되어, 보다 빠른 운전 지원과 제어가 가능합니다.

This is an explanatory diagram of the general obstacle detection using 3D reconstruction technology.

최대 8개의 화상 인식 애플리케이션을 동시실행

TMPV7608XBG 는 최대 8개의 화상 인식 애플리케이션의 동시 실행을 가능하게 하기 위해, 새롭게 배정 밀도 부동 소수점 연산 유닛을 내장 한 8개의 화상 처리 엔진 MPE (Media Processing Engine) 과 14개의 각종 화상 처리 액셀러레이터를 탑재하였고,기능을 강화함으로써 화상 처리 능력을 기존 제품 대비 10배 높였습니다. 화상 처리 엔진, 화상 처리 액셀러레이터는 최대 266.7MHz의 동작 주파수에서 보행자, 차량 등의 동시 인식을 50ms 이내에 수행할 수 있습니다.

This is an example of simultaneous, parallel execution of multiple applications.

기존 제품보다 처리 시간을 1/2로 단축

This is a comparison diagram of image recognition processors performance.
A performance comparison of a new and conventional products

기본 시스템 구성도

This is the basic system configuration example of image recognition processor (TMPV7608XBG).

* The video input interface of the TMPV7608XBG has a 4-of-8 video switch.

기본 시스템 구성도 ( Visconti4 ) TMPV7608XBG

신제품의 주요 사양

Series Name / Product Name Visconti4 / TMPV7608XBG
CPUs Toshiba original 32-bit RISC
Media embedded Processor (MeP) x 2 sets
Image Processing Engines Toshiba original 32-bit RISC Media Processing Engine
Media Processing Engine (MPE) with Double-precision
FPU x 8 sets with 256 KB L2 cache x 2 sets
Image Processing Accelerators Affine Transformation 3 ch (Lens Undistortion, Affine Transformation, Viewpoint Conversion, etc.)
Filter 2 ch (Smoothing, Edge Detection, Corner Detection, Oriented Gradient Computation, Color Space Conversion, Demosaicing, etc.)
Histogram 1 ch (Histogram, Image Conversion using LUT, etc.)
Histogram of Oriented Gradients(HOG) 1 ch (HOG/CoHOG Features + Linear Support Vector Machine)
Enhanced CoHOG 2 ch (HOG/CoHOG/Color-CoHOG Features etc. + Linear Support Vector Machine)
Matching 2 ch (Tracking, Motion Detection)
Pyramid 2ch (Pyramid Image Generation)
Structure from Motion (SfM) 1ch (3D Reconstruction)
On-chip Memories Masked ROM 80 KBytes
SRAM 1632 KBytes
On-chip Peripherals Video Input Interface Up to 8 ch (CMOS I/F: Up to 4 ch / max. SXGA, 60fps | MIPI® CSI-2 I/F: Up to 4ch / max. 1080p, 60fps) with Video Switch (8-input to 4-select)
Video Output Interface 1 ch
External Memory Controllers DDR SDRAM Controller LPDDR2-800
Serial NOR Memory Controller (Single or Quad SPI)
Parallel SRAM / NOR Memory Controller
External MCU Interface 1 ch (8-bit bidirectional parallel input/output)
General-Purpose I/O 24-bits
CAN Controllers 3 ch
I2C Interface Up to 8 ch
UART Interface Up to 5 ch (1ch for debug use only)
SPI Interface Up to 4 ch
PCM Interface Up to 2 ch
Timer / Counters 32 ch
Operating Frequency 266.7 MHz max.
Operating Voltage Core: 1.1 V,
I/O: 3.3 V, 1.2 V (for LPDDR2 SDRAM) / 1.2V (MIPI® CSI-2 I/F)
Package P-FBGA 796-ball, 27mm x 27mm, 0.8 mm ball pitch
Product List

제품 라인업 (Parametric Search)
모든 이미지 인식 프로세서 Visconti 제품군에서 특성별로 찾아보실 수 있습니다.

A reference board of Image Recognition Processors.
애플리케이션 개발을 지원하는 소프트웨어 개발 키트(SDK) 및 평가 보드, 레퍼런스 모델을 골고루 갖추고 있습니다.

* Visconti 는 도시바의 등록 상표입니다.

* MIPI 는 MIPI Alliance, Inc. 의 상표 또는 등록 상표입니다.

* 본 페이지에 기재되어 있는 시스템 또는 제품 이름은 해당 회사의 등록 상표 또는 상표입니다.

관련 링크

검토 중인 분께

문의사항이 있으시면 아래 링크를 클릭하십시오.

기술적인 질문
구입, 샘플, 신뢰성에 대한 문의
To Top
·Before creating and producing designs and using, customers must also refer to and comply with the latest versions of all relevant TOSHIBA information and the instructions for the application that Product will be used with or for.