【科技成果推介】——基于深度学习的粗细粒度融合图像检索系统CFFIRDL

  项目背景

  随着近几年深度学习的兴起,神经网络技术作为深度学习的核心技术,已经取得了较大的突破。图像分类的准确率成为了新的神经网络模型的性能检验标准。作为图像分类技术研究的热点领域之一的细粒度图像分类(fine-grained image categorization),是计算机视觉领域兴起的新的研究热点。细粒度图像分类旨在对大类别比如鸟类,进行更加细致的划分。

  早期的细粒度图像分类方法都是基于人工设计的特征的分类算法,人工设计特征的表达能力非常有限,因此分类效果并不理想。并且人工特征大多依赖于大量的人工标注信息,耗费资源的同时也限制了该类算法的应用场景。

  近年来由于深度学习技术的快速发展,特别是卷积神经网络技术的快速进步,使得深度学习特征在细粒度图像分类上应用广泛。基于深度学习得到的特征具有更强的表达能力,因此涌现大量的基于深度特征学习的算法。

  项目简介

  CFFIRDL整体框架包含特征提取、编码降维以及排序匹配三个模块。

  1.特征提取模块:在图像检索整体框架中,特征提取模块负责提取图像的特征,提取特征的优劣直接影响到检索的准确性。

  2.编码降维模块:为了提高检索的时效性,并减少特征存储的空间花销,实现基于Wasserstein距离的卷积自编码器用于降低原始特征维度。

  3.排序匹配模块:对于检索模型的输入图像,通过特征提取模块的得到其表示图像的全局特征和表示图中物体的局部特征,以及通过编码降维模块得到对应的全局降维特征和局部降维特征。

  本项目相比早期的人工设计特征,基于深度学习模型得到的特征具有更强的表达性,因此能达到更好的分类效果。此类学习方法是以弱监督的方式进行训练学习,这也反映了细粒度图像分类的发展趋势。弱监督学习方式不依赖于额外的标注信息而用图像的类别标签,从而避免了繁重的人工标注操作。产品可用于各种图像检索领域。

  技术优势

  CFFIRDL检索平均准确率在两个全球公开权威标准数据集上分别达到81.3%和86.9%,与现有5个先进图像检索模型对比效果最优,同时CFFIRDL支持基于全局特征的初次检索、基于全局降维特征的二次检索、基于局部特征的重新检索、基于局部降维特征的二次检索4种不同粒度的检索。

  图1  检索示例

  联系我们

  如您对以上项目

  产学研合作和成果转化感兴趣,

  欢迎致电咨询详情。

  本项目联系人:

  杨老师  15723522688(微信同号)

  期待与您的合作!

  关于我们

  

重庆重大知识产权运营有限公司

  重庆重大知识产权运营公司是重庆大学全资企业,成立于2018年2月,注册资本500万元,是西部地区首家由高校全资建立的专业从事知识产权运营管理、成果转化与产学研服务的公司。作为“重庆大学技术转移中心”、“国家知识产权示范高校”、“教育部高等学校科技成果转化和技术转移基地”、“重庆市电子信息产业专利导航中心”四大平台的重要运行单位,为学校和政、企、事业单位提供从创新想法到技术商品化的全生命周期运营服务。

  

重庆大学专利中心

  重庆大学专利中心成立于1985年,是国家知识产权局批准设立的专利代理机构(代码50201),也是中国人民解放军总装备部国防专利局在重庆地区唯一指定的国防专利代理机构。2003年被认定并备案为首批34所国防专利代理机构之一,全国高校仅10家。2020年获得“重庆国防专利信息服务平台”,并成为中国西部(重庆)军民两用技术知识产权联盟常务理事单位。