(注:本开发板适合做产品,完全不同那些300元左右的CORTEX-A53深度学习开发板)
Movidius Myriad 2 VPU(Vision Processing Unit——视觉处理器)被称作为“第三次影像革命的开端”的芯片方案。Movidius 已经被Intel收购,Intel Movidius Myriad 2 VPU可在不同目标应用中提供低功耗、高性能的视觉处理解决方案,其中包括嵌入式深度神经网络、位姿估计、室内导航、3D深度感应、3D制图(3D扫描建模),视觉惯性测距,以及手势/眼部跟踪,基于深度学习的环境感知。
安防巨头海康和大华把Movidius Myriad 2视觉处理单元应用于视频监控摄像头,在完成监控和录制等传统任务外,提供人群密度监测、立体视觉、面部识别、人数统计、行为分析以及检测非法停放车辆等先进的视频分析功能。
Myriad 2为大疆最近发布的首款迷你无人机Spark提供了视觉智能技术,该无人机早就大批量生产。
这颗芯片被一分为二,其中一部分有12个SHAVE 128位处理器,专为影像处理负载做优化,每颗都运作在600MHz的频率下,而且有超频潜能,第一代的180MHz显然是不够看的;与这些处理器相匹配的是Movidius称之SIPP过滤器(Streaming Inline Processing Pipeline filters)的硬件加速器——这玩意儿可完成一些预设的影像处理任务,比如将来自不同类型摄像头的数据融合到一起,或者将多个视频内容接合到一起;另外还有2个32位RISC处理器用于芯片管理。
SHAVE这一端对原始影像数据做计算处理,OEM厂商可以选择不同的方案;SIPP则可协力处理通常任务;集中型的寄存器结构令芯片两侧可同时对相同的数据做处理。这些对于降低延迟是相当有价值的。
鉴于这样的架构设计,Myriad 2 VPU芯片面积是6.5mm,厚度1mm,具体的性能则是可以48fps的帧率同时处理来自12个1300万像素摄像头的数据,以60fps拍摄4K视频自然也是毫无压力,功耗低于0.5W(台积电28nm HPC工艺)。按照El-Ouazzane的说法,相比能够提供同等效果的GPU,Myriad 2的功耗低了最少10倍。
深度学习框架方面,支持Caffe,Caffe的全称是Convolutional Architecture for Fast Feature Embedding,作者是博士毕业于伯克利的浙江人贾扬清,它是一个清晰、高效的开源深度学习框架,核心语言是C++,支持命令行、Python和Matlab接口,既可以在CPU上运行也可以在GPU上运行。同时也支持Google的TensorFlow。所以C/C++、Python程序员可以快速切入深度学习的架构去工作。
一、 Hi3516A/D主要性能参数介绍
1、ARM CORTEX-A7@600MHz, 32KB I-Cache, 32KB D-Cache /128KB L2 cache;
2、支持 Neon 加速,集成 FPU 处理单元;
3、H.264 BP/MP/HP;
4、H.265 Main Profile,H.265编码是该芯片的一个亮点;
5、MJPEG/JPEG Baseline 编码;
6、H.264/H.265 编码可支持最大分辨率为 5M Pixel;
7、H.264/H.265 多码流实时编码能力;
8、H.264/H.265 多码流实时编码能力:
***Hi3516A***:
#___1080P@30fps+720P@30fps+VGA@30fps
#___1080P@60fps+VGA@30fps
#___5M@30fps+VGA@30fps
***Hi3516D***:
#___1080P@30fps+720P@30fps+VGA@30fps
#___3M@30fps+VGA@30fps
#___5M@15fps
9、支持 JPEG 抓拍 5M @8fps;
10、CBR/VBR 码率控制, 16kbit/s~40Mbit/s;
11、编码帧率支持 1/16~60fps;
12、支持 8 个感兴趣区域( ROI)编码;
13、支持1 个 32bit DDR3/3L 最高 600MHz( 1.2Gbps)( Hi3516D 仅支持 1 个 16bit DDR3/3L 最高 600MHz),本公司为512M字节DDR3;
14、支持SPI NAND FLASH,最大支持4Gbit;
15、支持8bit 总线NAND FLASH,支持 SLC、 MLC,支持4、 8、 24bit ECC,本公司自带8bit总线128M字节的NAND FLASH。
二、 Hi3516A/D内部集成智能视频分析
集成智能分析加速引擎(IVE),支持智能运动侦测、周界防范、视频诊断等多种智能分析应用,也是该芯片的亮点;
支持DMA数据搬移,颜色空间转换,Filter 5X5滤波,Sobel-like 梯度计算;
支持 5x5 模板梯度幅值和幅角计算、 Canny 边缘提取, Erode 5x5 模板腐蚀,Dilate 5x5 模板膨胀;
支持支持图象阈值化处理,支持两幅图象相与、或、异或,支持两幅图象相加权加、减;
支持Integ积分图计算,Hist 直方图统计,支持对图像通过 256 级 map 映射赋值;
支持中值滤波、最大值滤波、最小值滤波, 16bit 数据到 8bit 数据线性转换;
支持Bernsen 二值化,两相同大小图像互相关系数计算,支持连通区域标记;
支持灰度图与 RGB 图的混合高斯背景建模,支持简单局部二值模式计算;
支持归一化梯度计算, LK 光流跟踪,ShiTomasi 角点检测,梯度前景运算;
支持背景匹配、背景更新,ANN_MLP 预测, SVM 预测;
等等,还有很多功能,(具体功能见芯片DATASHEET);
三、 视频与图形处理
支持 3D 去噪、图像增强、动态对比度增强处理功能;
支持视频、图形输出抗闪烁处理;
支持视频 1/15.99~16x 缩放功能;
支持图形 1/2~2x 缩放功能;
支持8个区域的编码前处理 OSD 叠加;
支持2 层(视频层、图形层)视频图形叠加;
四、 ISP功能
全新的ISP也是该芯片一个亮点;
支持3A( AE/AWB/AF)功能,3A 的控制用户可调节;
支持去固定模式噪声( FPN)功能;
支持强光抑制、背光补偿、 gamma、色彩增强;
支持去雾,坏点校正、去噪、数字防抖,镜头畸变校正;
支持图像 90 度/270 度旋转,图像 mirror、 flip;
支持数字 WDR,Frame base/Line base WDR 和 Tone mapping;
五、其他功能
支持音频软件实现G.711、 ADPCM、 G.726编解码;
支持音频软件回声抵消功能,支持 ANR, ALC 功能;
支持硬件实现 AES/DES/3DES 三种加解密算法;
支持数字水印技术;
低功耗设计;
视频输入:
支持8/10/12/14 bit RGB Bayer DC 时序视频输入,时钟频率最高 150MHz;
支持 BT.601、 BT.656、 BT.1120 视频输入接口;
支持MIPI、 LVDS/Sub-LVDS、 HiSPi 接口;
支持与 SONY、 Aptina、 OmniVision、 Panasonic 等主流高清 CMOS sensor 对接;
支持兼容多种 sensor 并行/差分接口电气特性;
支持输入最大分辨率为 5M Pixel;
视频输出:
支持 1 路 PAL/NTSC 输出,支持负载自动检测;
提供 1 个 BT.1120/BT656 视频输出接口,用于外扩 HDMI 或 SDI 接口,最大支持 1080P@60fps 输出,数字输出非常时候对接FPGA;
六、外围接口
SENSOR为SONY IMX291;
集成高精度 RTC;
支持TF卡;
支持音频音频输入和输出;
支持2路继电器输出;
支持2路光耦输入;
支持4个 UART 接口,其中一路作为RS485接口,另外一路作为LINUX串口调试;
支持IR 接口、 I2C 接口、 SPI 主接口、 GPIO 接口;
支持8 个 PWM 接口(4 个独立,4 个复用其它管脚);
支持2 个 SDIO3.0 接口,支持 SDXC,即支持SD卡;
支持1 个 USB 2.0 HOST/Device 接口;
支持 RGMII、 RMII 和 MII 模式;支持 100/1000Mbit/s 全双工或半双工模式,提供PHY 时钟输出;支持 TSO 网络加速;
支持 POR;
支持3G/4G模块电路,支持WIFI模块电路;
支持SPI NAND FLASH电路,空贴不焊,预留;
支持DC 12V供电;
七、 配套软件
基于Hi3516D V100R001C01SPC070开发包;
u-boot-2010.06;
linux-3.4-35;
支持yaffs2文件系统;
提供IMX291 SENSOR的驱动源码;
提供IVE部分算法调用的例子;
提供调用VPU深度学习Caffe算法例子,比如识别狗狗图片等等;
提供Hi3516D V100R001C01SPC070开发包里面的参考文档用于学习;
提供Hi3516D硬件原理图,VPU模块不提供原理图;
软件工程师提供技术支持。
八、 应用领域
1、200万以上的高清人脸抓拍产品,许多科技公司基本采用该芯片+FPGA做人脸识别产品;
2、低成本智能安防产品,比如IVS,智能IPC等等,其实就是典型的高清智能IPC方案;
3、低成本200万以上高清车牌识别产品;
4、低成本其他嵌入式机器视觉产品;
5、智能交通监控产品;
6、结合FPGA应用于人脸识别,工业控制和医疗成像等特定的应用场景。
7、门禁产品,可视对讲产品,智能家居方案。
商务和项目定制联系方式(电话:0755-83660725 QQ:2505133162)
总体评价:
Hi3516D海思一款性价比很高的HD IPC芯片,支持H265编解码,本身自带新一代ISP和很多传统机器视觉算法,并且这些算法已经固化在芯片里面的IVE,再加上支持深度学习的Intel Movidius Myriad 2 VPU,满足很多视频分析,机器视觉的应用。总之,你的高清摄像机需要升级AI功能了。