桐烨科技推出强悍的Hi3519V101+VPU核心板,支持传统视频分析算法和深度学习算法,支持4K高清H.265编解码,支持两路CMOS SENSOR 视频输入满足全景和双目产品设计。
一、板上集成VPU芯片:
Movidius Myriad 2 VPU(Vision Processing Unit——视觉处理器)被称作为“第三次影像革命的开端”的芯片方案。Movidius 已经被Intel收购,Intel Movidius Myriad 2 VPU可在不同目标应用中提供低功耗、高性能的视觉处理解决方案,其中包括嵌入式深度神经网络、位姿估计、室内导航、3D深度感应、3D制图(3D扫描建模),视觉惯性测距,以及手势/眼部跟踪,基于深度学习的环境感知。
安防巨头海康和大华把Movidius Myriad 2视觉处理单元应用于视频监控摄像头,在完成监控和录制等传统任务外,提供人群密度监测、立体视觉、面部识别、人数统计、行为分析以及检测非法停放车辆等先进的视频分析功能。Myriad 2为大疆最近发布的首款迷你无人机Spark提供了视觉智能技术,该无人机早就大批量生产。
这颗芯片被一分为二,其中一部分有12个SHAVE 128位处理器,专为影像处理负载做优化,每颗都运作在600MHz的频率下,而且有超频潜能,第一代的180MHz显然是不够看的;与这些处理器相匹配的是Movidius称之SIPP过滤器(Streaming Inline Processing Pipeline filters)的硬件加速器——这玩意儿可完成一些预设的影像处理任务,比如将来自不同类型摄像头的数据融合到一起,或者将多个视频内容接合到一起;另外还有2个32位RISC处理器用于芯片管理。SHAVE这一端对原始影像数据做计算处理,OEM厂商可以选择不同的方案;SIPP则可协力处理通常任务;集中型的寄存器结构令芯片两侧可同时对相同的数据做处理。这些对于降低延迟是相当有价值的。
鉴于这样的架构设计,Myriad 2 VPU芯片面积是6.5mm,厚度1mm,具体的性能则是可以48fps的帧率同时处理来自12个1300万像素摄像头的数据,以60fps拍摄4K视频自然也是毫无压力,功耗低于0.5W(台积电28nm HPC工艺)。按照El-Ouazzane的说法,相比能够提供同等效果的GPU,Myriad 2的功耗低了最少10倍。
深度学习框架方面,支持Caffe,Caffe的全称是Convolutional Architecture for Fast Feature Embedding,作者是博士毕业于伯克利的浙江人贾扬清,它是一个清晰、高效的开源深度学习框架,核心语言是C++,支持命令行、Python和Matlab接口,既可以在CPU上运行也可以在GPU上运行。同时也支持Google的TensorFlow。所以C/C++、Python程序员可以快速切入深度学习的架构去工作。
深圳市桐烨科技有限公司基于ARM平台的高清摄像机解决方案,加入VPU芯片,支持深度学习算法,适合人脸识别,车牌识别,机器视觉等等图像识别产品,让客户的高清摄像机很快嵌入AI功能。
二、Hi3519V101主要特点
处理器内核
_ CORTEX-A7@ 800MHz,32KB I-Cache,32KB D-Cache /128KB
L2 cache
_ CORTEX-A17@ 1.25GHz,32KB I-Cache,32KB D-Cache
/256KB L2 cache
_ 支持Neon加速,集成FPU处理单元
_ 支持ARM® big.LITTLE大小核架构
视频编码
_ H.264 BP/MP/HP
_ H.265 Main Profile
_ H.264/H.265 支持I/P/B帧,支持双P帧参考
_ 支持MJPEG/JPEG Baseline编码
视频编码处理性能
_ H.264/H.265 编码可支持最大分辨率为16M(4608x3456)Pixel
_ H.264/H.265多码流实时编码能力:
− 3840*2160@30fps+1080P@30fps+3840*2160@2fps
抓拍
_ 支持最大JPEG 抓拍性能3840*2160@30fps
_ 支持CBR/VBR/FIXQP/AVBR/QPMAP五种码率控制
模式
_ 输出码率最高支持100Mbps
_ 支持8个感兴趣区域(ROI)编码
智能视频分析
_ 集成智能分析加速引擎,支持智能运动侦测、周界防范、视频诊断等多种智能分析应用
视频与图形处理
_ 支持3D去噪、图像增强、动态对比度增强处理功能
_ 支持视频、图形输出抗闪烁处理
_ 支持视频1/30~16x缩放功能
_ 支持两路视频无缝拼接
_ 支持图形1/2~2x缩放功能
_ 8个区域的编码前处理OSD叠加
_ 2层(视频层、图形层)视频图形叠加
ISP
_ 支持两路独立ISP处理
_ 支持3A(AE/AWB/AF)功能,3A的控制用户可调节
_ 支持去固定模式噪声(FPN)功能
_ 支持强光抑制、背光补偿、Gamma、色彩增强
_ 支持坏点校正、去噪、数字防抖
_ 支持去雾
_ 支持镜头畸变校正,支持鱼眼矫正
_ 支持图像90度/270度旋转
_ 支持图像Mirror、Flip
_ 支持Sensor Build-In WDR、4F/3F/2F - Frame base/Line
base WDR和Local Tone mapping,其中第二路ISP只
支持Sensor Built-In WDR、2F - Frame base/Line base
WDR 和Local Tone mapping
_ 提供 PC端ISP tuning tools
音频编解码
_ 通过软件实现多协议语音编解码
_ 协议支持G.711、G.726、ADPCM
_ 支持音频3A(AEC/ANR/ALC)处理
安全引擎
_ 硬件实现AES/DES/3DES三种加解密算法
_ 硬件实现RSA1024/2048/4096签名校验算法
_ 硬件实现HASH防篡改算法,支持HASHSHA1/
256、HMAC_SHA1/256算法
_ 内部集成512Bit OTP存储空间和硬件随机数发生器
视频接口
_ 输入
− 支持两路sensor输入,其中主通道最大分辨率支持到16M(4608x3456),
第二路最大分辨率支持到8M(4096x2160)或者9M(3000x3000)
− 支持8/10/12/14 Bit RGB Bayer DC时序视频输入,时钟频率最高150MHz
− 支持BT.601、BT.656、BT.1120视频输入接口
− 主通路最大支持到12xLane MIPI/LVDS/Sub-
LVDS/HiSPi接口
− 第二路Sensor接口最大支持4xLane MIPI/LVDS/Sub-LVDS/HiSPi接口
− 支持与SONY、Aptina、OmniVision、Panasonic等主流高清CMOS Sensor对接
− 兼容多种Sensor并行/差分接口电气特性
− 提供可编程Sensor时钟输出
_ 输出
− 支持1路PAL/NTSC输出,支持负载自动检测
− 提供1个BT.1120/BT.656视频输出接口,用于外扩HDMI或SDI接口,最大支持1080P@60fps输出
− 支持LCD输出
音频接口
_ 集成Audio codec,支持16bit语音输入和输出
_ 支持I2S接口,支持对接外部Audio codec
_ 支持双声道Mic差分输入,降低底噪
外围接口
_ 支持POR
_ 支持外部复位输入
_ 支持内部RTC
_ 集成3通道LSADC
_ 5个UART接口
_ IR接口、I2C 接口、SSP主接口、GPIO接口
_ 8个PWM接口(4个独立,4 个复用其它管脚)
_ 2个SD3.0/SDIO3.0接口,支持SDXC
_ 1个USB3.0/2.0 Host/Device接口
_ 1个PCIe2.0 主/从模式
_ 支持RGMII和RMII模式;支持10/100 Mbps 全双工或半双工模式,支持1000 Mbps全双工模式;支持TSO网络加速
外部存储器接口
_ DDR4/DDR3/DDR3L/LPDDR3 接口
− 支持32bit LPDDR3最高800 MHz(1. 6 Gbps)
− 支持32bit DDR4/3/3L最高933 MHz(1. 866 Gbps)
− 单颗16bit DDR颗粒最大容量支持1024 MB
− 两颗16bit DDR颗粒最大容量支持2048 MB
_ SPI Nor Flash 接口
− 支持1、2、4线模式
− 支持3Byte、4Byte 地址模式
− 最大容量支持32 MB
_ SPI Nand Flash接口
− 最大容量支持512 MB
_ 支持eMMC5.0 接口
− 最大容量支持2TB
_ NAND Flash接口
− 8bit数据位宽
− 支持SLC、MLC
− 4、8、24、40、64 Bit ECC
− 支持8GB以上容量器件
_ 可选择从SPI Nor Flash、SPI Nand Flash或NAND
Flash启动
_ 支持从eMMC、PCIe启动
SDK
_ 提供基于Linux-3.18 SDK包
_ 提供H.265的高性能PC/iOS/Android解码库
_ 提供H.264的高性能PC/解码库
芯片物理规格
_ 功耗
− 1.5W典型功耗
− 支持多级省电模式
− 工作电压
− 内核电压为0.9V
三、桐烨科技Hi3519V101+VPU核心板硬件资源介绍
1、主CPU:Hi3519V101
2、VPU: Myriad 2 VPU MA2450
3、DDR3:1G bytes
4、NAND FLASH:默认8bit总线,256M bytes,可选512M;
5、SPI FLASH:硬件支持,默认不焊;
6、网络芯片:RTL8211FI,支持100M和1000M网速;
7、简化电源电压设计,只需底板提供5V、3.3V、1.8V;
8、支持2路CMOS SENSOR信号输入;
9、支持1路BT601、BT656、BT1120数字信号输入;
10、支持1路BT1120数字信号输出;
11、支持1路CVBS输出;
12、支持1路USB2.0 HOST/DEVICE模式;
13、支持2路SDIO,可以接TF卡,SD卡;
14、支持3路SPI信号;
15、支持3路I2C信号;
16、支持4路UART串口信号;
17、支持2路音频输入;
18、支持2路audio codec输出;
19、支持2通道LSADC(低速模数转换);
20、支持ARM JTAG接口调试信号;
21、支持片上RTC电路;
22、支持至少3路PWM信号;
23、支持众多GPIO信号;
24、支持IR控制信号;
25、尺寸:长65mm * 宽45mm * 9.5mm;
四、 应用领域
1、200万以上的高清人脸抓拍产品(目前火爆的人脸识别前端产品);
2、4K高清网络摄像机,智能安防产品,比如高清IVS,高清智能IP CAMERA等等;
3、200万以上高清车牌识别产品;
4、其他嵌入式机器视觉产品,比如机器人;
5、智能交通监控产品;
6、运动相机;
7、4K高清H.265视频监控DVR;
8、HD会议电视、网络投影机;
9、双目摄像机,双目产品;
10、全景相机;
商务和项目定制联系方式(电话:0755-83660725 QQ:2505133162)
以下是配套开发板: