功能概述与应用领域

      采集每个水果的视觉、重量和含糖量信息，然后进行智能处理分析，可以获取每个水果的最小直径、直径、形状、颜色分量占有率（成熟度）、瑕疵个数、瑕疵面积、重量、糖酸度等信息，确定每个水果的等级，然后据此对水果进行分类包装。

      应用领域包括：脐橙、蜜桔、蜜柚、山竹、红枣、猕猴桃、柠檬、西红柿等水果的自动化分选包装。

总体设计方案及关键模块

      基于多源信息融合的超大型果品分选系统，是典型的光机电一体化系统，涉及机械设计与制造、计算机视觉、精密测量、自动控制等多学科交叉。整个系统在包括如下四个部分：
      （1）机械与电气系统：包括提升系统、排序系统、动力输送系统及选后收集系统等；
      （2）多源信息采集与智能处理系统：包括精密重量传感与计算系统、高分辨率视觉图像采集与实时处理系统、高速含糖量检测系统、基于高速多核DSP的多源信息融合处理系统；
      （3）卸果控制与贴标系统：在水果到达指定的等级通道出口时通过控制电磁阀击打果杯，使水果有序地滚动进入包装台；
      （4）上位机管理系统：包括参数配置、系统标定、状态显示以及数据库管理等功能。

解决的关键核心技术

基于多核DSP TMS320C6678的图像采集与处理硬件系统 
      视觉系统由德国BASLER ACE系列高速高分辨率CCD相机、中国物联网中心/中国科学院微电子研究所信息识别与系统控制研究中心研制的多核DSP TMS320C6678处理板卡FMC6678组成，用于对视觉图像进行采集与实时处理。相机通过千兆网接口（Gige）将采集的图像数据传输至多核DSP处理板卡，处理板卡对图像数据进行处理分析，处理分析结果通过工业以太网传输至分选模块。 
      FMC6678板卡上的DSP芯片采用的是美国德州仪器（Texas Instruments，简称TI）公司的TMS320C6678多核定点/浮点处理器，该处理器采用KeyStone架构，由8个C66X的DSP核组成，每个核工作频率高达1.25 GHz，具有32 KB的L1P，32KB的L1D和512 KB的L2 Cache。片内集成了一个4 MB L2或L3的共享SRAM，供核与核之间数据交互使用。C6678还提供一个64bit的DDR3控制器EMIF接口，可以外接DDR3-1600，支持ECC校验，其性能、功耗和体积适合用于高分辨率高速图像的实时处理，板卡的主要技术特性为：
     · 512 MB DDR3-1333存储器。
     · 64MB EMIF NAND Flash存储器。
     · 16MB SPI NOR FLASH存储器。
     · 128KB I2C EEPROM for booting。
     · 2个千兆网络接口，每路带宽≥60MB/s。
     · 一路RS485接口，可配置成RS232接口。
     · 4位用户拨码开关。
     · 6个LED指示灯。
     · 3个复位按键。
     · 3输入、3输出带光耦隔离的IO口。
     · HyperLink - 50Gbaud Operation，全双工。
     · 调试接口：60pin EMU和20pin JTAG，支持XDS560v2、XDS560、XDS510等仿真器。
     · LPC-FMC扩展接口。

基于计算机视觉的水果表面特性分析技术
      通过计算机视觉技术提取水果形状、大小、色泽、表面缺陷和损伤等外观品质指标特征信息具有非接触、信息量大、真实直观等显著优点。但是，计算机视觉能否在水果分选领域成功应用，需要面对如下难点问题：
      背景的变化：分选系统长时间运行后，现场灰尘、果杯褪色等因素都会使背景发生变化，影响水果分割；
      系统的实时性：为了保证分选系统的工作效率，从理论上来说，需要系统在保证精度的前提下采集和处理图像的速度越快越好；
      场景的适应性：在系统运行过程中，系统具有非约束性，如相邻果杯中的水果咬合、同一个果杯中出现多个小水果等问题。
      目前国内已有基于计算机视觉技术的水果分选试验系统，这些系统存在的问题是：（1）侧重于实验环境中的水果分类，与分选生产实际差距较大；（2）系统分选速度较低，无法有效改善生产效率。 
      为克服这些不足，我们自主设计了新的视觉检测系统。首先，为简化系统复杂度，减轻算法实现的难度，通过光电开关来同步视觉系统，即每过一个果杯，光电开关触发一次相机拍摄图片，由于图像的输入是由果杯通过光电开光来触发的，而果杯大小一致，可以近似认为图片和图片之间果杯的位置不发生改变。因此，我们可以离线标记果杯的位置，同时假设在连续图片中水果只能在相邻果杯间运动。这样的近似处理会给水果的分割和不同图片中同一水果的关联带来极大便利。下图显示了连续三帧的果杯图片，因此可以近似认为果杯的位置不发生改变。
      再次，我们设计了基于计算机视觉技术的图像算法实现框架，其流程如下图所示：

（1）基于混合高斯的背景建模算法 
       这里我们通过统计学方法构建背景模型用于描述背景，并通过检测出图片中与背景模型不一致的像素点来获取前景区域。背景建模的方法有很多种，比如均值法、基于单高斯模型的方法、基于混合高斯模型的方法等。考虑到水果分选环境下，背景（果杯）颜色发生缓慢变化（由黑色逐渐变为灰尘的颜色）中，背景上某个位置的颜色值具有多峰特性（黑色和灰尘的颜色），因此我们选用混合高斯模型对背景进行建模。 
      实现混合高斯模型的难点在于更新高斯函数参数，为了使噪声或者背景突然发生变化的区域（如发生褪色的区域）尽快融入背景，当检测到不属于水果的前景区域大于一定面积时，我们动态提高学习率的值。另外，属于水果的前景区域的像素点（下节将详细描述水果区域的分割）将不会用于更新背景模型。下图给出了在不同条件下的前景检测结果。

(a)原始图像

(b)前景检测结果

第一行为干净背景下的检测结果；
第二行为有灰尘和果杯褪色时的前景检测结果。

（2）水果前景分离与相连水果的分割
      我们的目标是通过连通域分析和水果的形状信息从前景中分割出不同的水果区域。
      由于果杯的形状内凹，且水果具有近似椭球的形状，我们可以假设如果某个果杯存在水果，那么果杯的中心位置一定属于水果。基于该假设我们将果杯的中心选为种子点，如果该中心点属于背景那么该果杯处无水果，否则我们通过连通域分析的方法获得与该中心点连通的所有前景像素点区域。如果该区域大于一定阈值且未通过相邻果杯中心，我们就认为该前景区域为位于对应果杯的水果区域。下图显示了水果分割结果，从图中我们可以看出水果的分割结果去除了一些噪声。

          （a）原始图像                    （b）前景检测结果                   （c）水果分割结果

      当根据以上所述的连通域分析方法分割出的水果区域过相邻果杯中心时，我们认为两个果杯内的水果连在一起，如下图所示。

                        （a）原图像                                                        （b）检测结果

      在这种情况下，我们将前景区域沿相邻两果杯中心的连线进行投影，从而获得前景区域在中心连线上各处垂直于连线方向的像素点数目。然后，在两果杯中心点之间寻找像素点数目最少的位置，并以过该位置且垂直于连线的直线作为分割线将前景区域分割为两个水果区域，如下图所示。如果分割后的某一水果区域仍然过相邻两果杯的中心点，则仍然按前述方法对该水果区域继续分割，直到每个水果区域仅过一个果杯中心。

（3）目标关联
      受一个照相机的限制，在一个时刻，我们仅能得到水果的部分信息，但是可以通过机械带动水果旋转使我们在不同的时刻获取同一水果不同部分的信息。此时，我们需要将同一水果在不同图片的信息进行关联以使描述水果的信息能够化。由于图像的输入是由果杯通过光电开关来触发的，同时因为果杯的大小一致，我们可以认为在t时刻，水果在第i个果杯，则在t+1时刻，水果在第i+1个果杯。以此类推，我们可以获取同一个水果在不同果杯处的图像信息，如下图所示。

（4）水果表面特性快速提取
      目前的基于计算机视觉技术的水果分选系统所提取的表面特性包括：直径、最小直径、水果投影面积、各个颜色区间所占水果面积的百分比、水果瑕疵面积以及水果的体积。在求取各个特性前，我们首先通过计算机标定的方法获取像素当量Rf，即每个像素点所代表的实际物理长度，单位毫米/像素。假设在水果离开采集区域前，共能采集到n帧同一水果的图片。下面分别介绍各个特性的提取过程：
      A直径、最小直径
      这里所定义的直径为过水果重心的直线。传统求直径的方法如下图（左侧）所示，先求取水果上某个边缘像素点i与重心O的连线在另一侧与水果边缘的交点j，然后求取像素点i和j的距离作为直径。求出经过每个边缘像素点的直径后，分别取值和最小值作为水果在该帧图像中水果的直径和最小直径（最后需要乘以像素当量Rf）。这种方法精度最高，但是无法满足系统对于算法实时性的要求。

      为了提高最小直径的求取速度，我们采用如下的近似方法求取水果的直径和最小直径：如上图（右侧）所示，首先将水果的边缘分成n个子区域，分别求取每个子区域的半径和最小半径（并记下对应的像素点坐标，Cimax、Cimin、Rimax和Rimin分别代表第i个区域的半径坐标点、最小半径坐标点、半径和最小半径）；然后找出各个子区间Cimax和Cimin在重心另一侧所对应的子区域j，用Rimax+Rjmax, Rimin+Rjmin代表过这两个区间的直径和最小直径；最后遍历所有边缘子区域求取水果直径和最小直径。 
      下图给出了一些水果的直径计算结果，从图中我们可以看出，这种近似计算方法可以很好的满足精度需求。　

      B横径比
      分别求取一个水果对应n帧图片的直径/最小直径。取值作为最终的横径比值。
      C水果投影面积
      椭圆形水果：分别统计一个水果在n帧图片的像素点数量，取n帧图片中的值乘以Rf的平方作为水果最终的投影面积。
      扁形水果：分别统计一个水果在n帧图片的像素点数量，取n帧图片中的最小值乘以Rf的平方作为水果最终的投影面积。 　　　
      D各个颜色区间所占水果面积的百分比 　
      统计一个水果所对应的所有n帧图片在各个颜色区间的像素点数量后除以n帧图片的总面积。 　　
      E水果瑕疵面积 　
      与统计各个颜色区间所占水果面积的百分比类似，只是颜色区间在这里定义为水果的瑕疵区间。 　　　
      F水果的体积 　　
      椭圆形水果：取一个水果对应的n帧图片中投影面积的那张图用于计算体积。体积计算公式为4πabc/3，其中a为最小半径，b为上半部分半径，c为下半部分半径。 　　
      扁形水果：取一个水果对应的n帧图片中投影面积的那张图用于计算体积。体积计算公式为πh2(3R-h)/3，其中h为最小直径，R为半径。

达到的技术性能指标

      本项目产品是我国第一台实现大规模研制、生产和应用的基于重量/视觉/含糖量信息融合的水果分选系统。项目产品通过国家级科研院所与地方企业历时3年的联合科技攻关，突破了多项关键性技术，形成了稳定可靠的产品，并成功地推向了市场，在国内外众多水果加工厂中得到实际使用，产品各项性能指标遥遥领先于国内同类产品，主要技术指标达到了的国际同类产品的先进水平，而价格不到国际先进同类产品的65%。具体来说，本产品具有如下特点和优势：
规模大效率高：是目前国内乃至亚洲的水果分选系统，占地面积4000平方米，分选速度大于40万个/小时(折合重量大于50吨/小时)。 
分选特征信息丰富：可按重量、最小直径、直径、横径比、密度、面积、表面颜色区间占有率、瑕疵面积、含糖量等信息进行任意组合进行等级设置。
测量参数精度高：重量重复误差范围为±1克，尺寸重复误差范围为±1mm，遥遥领先国内同类产品，并达到了国际先进水平。
适用种类范围广：重量分选范围9~1999克，尺寸分选范围为40~120mm，分选等级可无限扩展。可以应用于脐橙、蜜桔、柠檬、红枣、猕猴桃、山竹、樱桃等众多水果的分选。
嵌入式处理系统：核心处理模块全部采用嵌入式DSP处理器，脱离使用windows操作系统，避免产权纠纷，并提高了系统可靠性。
开放式体系结构：可以兼容内部品质（如含糖量、硬度）检测以及农药残留检测等子系统，进一步扩展分选特征信息。 
维护升级便捷：采用分布式、模块化设计，方便故障排查与修复，同时也便于系统软硬件的功能升级。 
人机交互友善：按照农业从业人员的知识结构进行系统交互界面设计，操作简单，通俗易懂，短期培训即可上岗。

项目实施效果与应用情况

      我们的分选系统与法国MAFRODA公司、意大利UNITEC公司、荷兰AWETA和西班牙FOMESA、浙江大学、中国农业大学、山东农业大学、龙口市富士包装机械有限公司、山东德州馨科机械设备有限公司等类似产品相比。我们的系统规模、分选效率、分选精度上具有绝对领先的技术优势，目前在国内高端市场的占有率超过75%。
      我们的客户包括：华润集团、云南褚橙、河南好想你枣、南丰永乐果业、南丰柳浪果业等200余家水果采后处理工厂。

      到访专家领导有：浙江大学谭建荣院士、华中农业大学邓秀新院士、江西省委书记强卫、副书记王宪魁、副省长谢茹、赣州市委书记史文清、科技部农村司郭志伟副司长、江西省科技厅王海厅长、吴文峰副厅长、左喜明副厅长。