一种基于明星识别的衣服时尚挖掘方法及视觉感知系统与流程

本发明属于视频内容分析及感知领域，尤其涉及一种互联网视频内容感知的明星衣服时尚挖掘方法及系统。

背景技术：

近年来，随着传统互联网和移动互联网的迅速普及，互联网经济得到了迅猛发展。其中，在线视频业务与流量的逐年增长，为视频广告业务带来了巨大的商机。据报道称：“自2014年来，全球在线视频广告市场持续高速增长，国内相关市场则保持着高达40％以上的增长率，而传统的电视媒体广告已经开始面临萎缩的历史转折，随着用户的迁移，运营商正把传统电视的预算，逐渐转移到在线视频业务上来。”

根据调研，目前最常用的视频广告投放方法主要采用与传统电视广告相似的投放方式，主要包括在视频播放前、播放中与播放结束时段直接插入一段广告。然而，这些广告大多与视频内容无关。这种方式更多地考虑满足广告主的需求，并没有考虑视频用户的用户体验。所以，这种投放方式更像是将广告信息强制推送给视频用户。由于冗长的广告播放时长、广告内容与用户需求不匹配等原因，这一方面更加剧破坏了用户在观看视频时的体验，使得用户不得不引入诸如adblock或adblockplus等广告屏蔽插件，进而对广告投放效果，以及相应推广的商品带来负面的影响。另一方面，这种强制推广的方式也与互联网视频服务业务用户至上的理念相左。因此，如何根据观影用户的实际体验和需求，进行有导向性的产品推荐，成为了广告推送业务亟待解决的课题。

近年来，深度学习在图像、视频等视觉领域的迅猛发展，使得一系列基于深度学习的应用在市场上大量涌现。其中，深度卷积神经网络(cnns)在物体识别、物体探测、人脸识别、图像检索等传统视觉任务上取得的巨大成功，使得深度学习模型转换成实际场景中的应用成为了可能。

技术实现要素：

本发明依托现有的深度学习技术，特别是深度卷积神经网络等机器学习算法，将投放的广告与视频内容紧密地链接起来，降低对视频用户的侵扰，提高广告主的商品推广效率，并使视频广告更加精确、自然地推荐给观众。基于此思路，本发明提出了一种基于明星识别的衣服时尚挖掘方法及视觉感知系统。

本发明通过以下技术方案实现：

一种基于明星识别的衣服时尚挖掘方法，包括以下步骤：

a、人体探测步骤，利用深度卷积神经网络对视频原始帧图像进行人体探测，并通过探测得到的位置信息切割出人体区域；

b、姿势选择步骤，利用深度卷积神经网络训练的分类器对检测到的人体进行姿势好坏的判定，筛选出处于好的姿势的人体；

c、人脸探测和明星身份验证步骤，利用人脸探测技术对筛选后的人体进行人脸的探测；利用人脸关键点检测技术对人脸进行对齐；利用深度卷积神经网络抽取到的特征与明星人脸数据库进行身份验证；

d、衣服探测步骤，利用深度卷积神经网络训练的衣服探测器对验证之后的明星人体区域进行衣服探测，并根据探测得到的位置信息切割出明星衣服区域，构建检索候选集；

e、待检索衣服图像去冗余步骤，通过抽取探测到衣服图像的深度卷积神经网络的特征，利用聚类算法对探测到的相似的衣服进行聚类，并通过选取聚类中心的样本作为最终的待检索图像，去除冗余图像，减少检索次数。

f、相似或同款衣服图像检索及推荐步骤，利用检索图像的卷积神经网络特征在构建的衣服图像数据集中进行图像检索与相似图像的抽取，并将相似图像列表推荐给用户。

进一步地，所述步骤a包括以下步骤：

a1、通过人工标定的方式构建包含多种物体的探测数据集，其中多种物体包括人体，数据信息应包含物体的类别信息和所处图片中的位置信息；

a2、设计深度卷积神经网络，利用已有的物体探测数据集进行模型训练，对图像中的各种物体进行探测；

a3、根据探测结果，高置信度的人体区域将被系统判定为探测成功，并触发步骤b。

进一步地，所述步骤b包括以下步骤：

b1、利用人工和半人工方式进行好坏姿势的人体图像的挑选，标定正负样例，构建人体姿势选择数据集；

b2、标定正负样例的标准：全身直立模特正面的人体为正样例；而半身、衣服扭曲幅度较大等人体图像将为负样例；

b3、设计深度卷积神经网络构建二值分类器，利用标定的人体姿势选择数据集进行模型训练，并对探测到人体区域进行人体姿势好坏的判定；

b4、根据模型判定结果，具有较好姿势的人体区域将被筛选出来，并触发步骤c。

进一步地，所述步骤c包括以下步骤：

c1、根据视频所提供的演职人员名单，构建观看视频的明星人脸子集作为验证过程的基准人脸库，并利用人脸关键点检测技术，构建仿射变换矩阵，进行人脸对齐，并利用训练好的深度卷积神经网络抽取人脸特征；

c2、利用人脸探测技术探测具有较好姿势的人体区域，探测到的人脸将同样进行关键点检测和人脸对齐步骤；

c3、同样，利用相同的深度卷积神经网络抽取探测到的人脸的特征，并和基准人脸库中的人脸特征进行比对，计算距离；当距离小于一定阈值时，即可验证为该视频中出现的明星；

c4、根据验证结果，具有较好姿势的人体区域可以探测到人脸，且人脸属于该剧集明星的将触发步骤d。

进一步地，所述步骤d包括以下步骤：

d1、通过人工标定的方式构建包含多类衣服的探测数据集。数据信息应包含衣服的类别信息和所处图片中的位置信息；

d2、设计深度卷积神经网络，利用已标定的衣服探测数据集进行模型训练，对步骤c中所得到的明星人体区域进行衣服探测；

d3、根据探测结果，高置信度的衣服区域将被系统判定为探测成功，并触发步骤e。

进一步地，所述步骤e包括以下步骤：

e1、将步骤d中的衣服探测结果进行汇编；

e2、利用聚类算法将相似的衣服图像聚在一个个簇中；

e3、根据聚类结果，判定样本个数为1的簇为异常簇，这些簇最终将被舍弃；簇的样本个数大于1的，其聚类中心样本将被作为查询样例触发步骤f。

进一步地，所述步骤f包括以下步骤：

f1、通过人工和半人工标定的方式可以构建包含多类衣服的分类数据集。

f2、设计深度卷积神经网络，利用已标定的衣服探测数据集训练深度卷积神经网络图像检索模型；

f3、利用训练好的深度图像检索模型抽取候选数据集检索特征和待查询衣服图像特征；

f4、通过计算距离，对检索到的结果进行排序，得到最终的检索图像列表，并展示检索结果推荐给用户。

另一方面，本发明还提供了一种基于明星识别的衣服时尚挖掘视觉感知系统，包括：

人体探测模块，用于得到视频帧图像中的人体区域以及坐标位置；

人体姿势选择模块，用于判定所探测到的人体所处姿势的优劣并筛选出好的人体区域；

明星验证模块，用于探测人体区域中的人脸，并对探测到的人脸进行明星身份的验证；

衣服探测模块，用于得到明星人体区域所穿着的衣服子区域以及位置信息，并切割出来的衣服区域作为待检索候选集；

衣服检索图像聚类与去冗余模块，用于把切割出来的衣服图像进行聚类，去掉相似的冗余衣服图像，减少系统查询次数；

衣服图片检索与相似衣服推荐模块，用于利用深度卷积神经网络特征在衣服数据库中搜索与查询相似或同款的衣服列表，呈现结果，并推荐给用户。

进一步地，所述人体探测模块包括：

视频帧抽取子模块：用于抽取待检测人体的视频帧图像；

训练子模块，用于利用已有数据集进行多类物体的深度卷积神经网络的模型训练；

测试子模块，用于进行对视频原始帧图像进行物体探测，并给出探测结果；

输出子模块，用于判定是否探测到人体，并触发人体姿势选择模块。

进一步地，所述人体姿势选择模块包括：

训练子模块，用于利用已构建的人体姿势选择数据集进行深度卷积神经网络的模型训练，其中，全身直立、正面的人体为正样例；而半身、衣服扭曲幅度较大等人体图像将为负样例；

测试子模块，用于对探测到的人体区域进行人体姿势好坏的判定；

输出子模块，用于得到判定为较好姿势的人体区域，并触发明星验证。

进一步地，所述明星验证包括：

人脸探测子模块，用于得到被判定正样例人体姿势区域中的人脸位置及坐标信息，并切割；

人脸关键点检测子模块，用于获得探测到的人脸的关键点位置信息；

人脸对齐子模块，根据标准人脸关键点信息和探测到的人脸关键点信息，计算仿射变换矩阵，并通过仿射变换进行人脸对齐；

人脸特征提取子模块，用于提取深度卷积神经网络特征；

人脸验证子模块，用于验证探测到的人脸是否为明星人脸，从而进行身份验证。

进一步地，所述衣服探测模块包括：

训练子模块，用于利用已有数据集进行多类衣服的基于深度卷积神经网络的衣服探测模型的训练；

测试子模块，用于进行对通过验证的人体区域进行衣服探测，并给出探测结果；

输出子模块，用于输出衣服探测结果和位置信息。

进一步地，所述衣服检索图像聚类与去冗余模块包括：

特征提取子模块，用于利用已经训练好的深度卷积神经网络模型提取探测到的衣服特征；

聚类子模块，用于利用提取到的特征，使用聚类算法将检索图像进行聚类；

去冗余子模块，用于精简聚类结果中簇的个数，并簇中心样本作为查询图像。具体的，簇中样本个数为1的将被视作异常簇而被舍弃，簇中样本个数大于等于2的取簇中心样本为查询样本；

进一步地，所述衣服图片检索与相似衣服推荐模块包括：

模型训练子模块，用于利用已有的多类衣服的分类数据集的进行基于深度卷积神经网络的图像检索模型的训练；

特征提取子模块，用于利用训练好的深度图像检索模型抽取候选数据集检索特征和待查询衣服图像特征；

图像检索子模块，用于利用提取到的特征，通过计算距离，抽取候选检索集，并对检索到的结果进行排序，得到最终的检索图像列表；

检索结果展示子模块，用于展示检索到的相似和同款衣服图像列表，以推荐给用户。

本发明的有益效果是：本发明基于明星识别的衣服时尚挖掘方法及视觉感知系统，能够实现广告与明星时尚相关联，挖掘明星穿着的时尚效应和粉丝效应中潜在的巨大商机。一方面，明星是视频的核心部分，如果能够实现视频商品推荐与明星相关联，同时与视频的剧情相关，这样的广告会给明星的粉丝留下更为深刻的印象。另一方面，基于明星识别的衣服时尚挖掘方法通过设定严苛的探测和检索标准，可以大大降低推荐商品的次数，并且迎合了人性化的定向推荐，这一未来广告推荐的理念。此外，对观众来说，广告推荐的人性化可以增加观众的兴趣，把广告与视频场景结合，可以使观众深入其中，将极大的提高了广告投放效果。通过分析给定的视频，本发明采用基于明星识别的相似衣服推荐方法，能够自动挖掘出视频中的主要明星，检测出视频中明星的时尚穿着，并选择与该对象最接近的相同或同款衣服推荐给粉丝，提升推荐的有效次数。

附图说明

图1是本发明的基于明星识别的衣服时尚挖掘方法的流程图；

图2是本发明的基于明星识别的衣服时尚视觉感知系统的框图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的设计灵感来源于目前在线视频中的明星效应。具体来说，明星的衣着总是引领时尚，观看与该明星相关视频的观众通常为明星的粉丝。因此，明星的时尚穿着在一定程度上吸引大批粉丝去检索相同或者相似的同款商品。从而挖掘明星穿着的时尚效应和明星粉丝效应具有潜在的巨大商机。

附图1示出了本发明提供的基于明星识别的衣服时尚挖掘方法的流程图，其详述如下：

步骤s1：人体探测步骤。本步骤需要通过现有标定好的多物体探测的数据集进行物体探测模型的训练。数据集可以选用pascalvocobjectdetectionchallenge的数据。基于卷积神经网络(convolutionalneuralnetwork，简称cnn)的物体探测模型，无论在模型性能和准确性上，都得到了快速发展。其中以区域卷积神经网络(regioncnn)为代表的工作成为该领域的主流算法。比较有代表性的工作有fastrcnn以及fasterrcnn，以及结合了新型神经网络结构的ssd(singleshotmultiboxdetector)，yolo等工作也在不断刷新物体探测的性能。在此步骤中，本发明利用上述最新研究成果，通过考虑系统的可扩展性，训练出了多类物体探测模型。在实际系统运行中，仅在探测到人体时做出响应。具体流程如下：(1)首先抽取视频帧，通过设定起始帧(例如，1000帧)可以舍弃片头，减少探测次数。然后通过每时间间隔内取固定帧的方式(例如每秒取1帧)，减少冗余帧的抽取；(2)将抽取的视频帧喂入上述物体探测模型中进行人体探测；(3)对探测到的具有较高置信度的人体区域进行切割。

步骤s2：姿势选择步骤。不同于姿势估计任务，姿势选择步骤在于筛选出处于好姿势的人体，以便后续进行衣服探测。在系统实现中，依然考虑使用深度卷积神经网络，设计并训练出对姿势好坏进行判定的二值分类器。由于与相关领域的任务不同，需要构建自己的姿势选择数据集。数据集构建利用人工和半人工方式结合的方式进行构建。首先，通过爬取亚马逊、淘宝、街拍展示等网站的模特图像，并通过人体探测模型获得大量正样本，然后，再通过抽取其中的探测结果以及视频图像中人体探测的结果构成比例相当的负样本。人工筛选和标定的依据标准设定可参考：(1)全身直立模特正面的人体为正样例；(2)侧身、半身、衣服扭曲幅度较大等人体图像将被标定为负样例。通过设计卷积神经网络，利用构建好的数据集进行姿势好坏判定的二分类器训练，并最终得到模型。利用训练好的模型，对步骤s1中所得到的人体探测结果进行判定。从而具有较好姿势的人体区域将被保留，其它姿势的人体将被剔除。这里，“较好姿势”或“好姿势”的含义是被判定为正样例的人体姿势，相应的，“较坏姿势”或“坏姿势”的含义是被判定为负样例的人体姿势。

步骤s3：人脸探测和明星身份验证步骤。在进行人脸探测和明星身份验证步骤之前，需要实现准备好明星人脸库。明星人脸库可以从imdb等影片信息网站上爬取。构建过程需要利用人脸探测技术获得明星人脸，之后利用人脸关键点探测技术获取5个关键点位置信息，包括左右眼位置、鼻头位置、和两个嘴角位置，通过人工设定标准人脸作为人脸对齐(facealignment)的矫正基准，将探测到人脸和标准人脸进行对齐，可以获得最终的明星人脸库。在实际系统中，以美剧《生活大爆炸》为例，首先从imdb网站上通过该剧的演员列表爬取对应的7位明星图片。经过人脸探测和对齐部分，得到每位明星的人脸图像。通过人工数据清洗，为每位明星筛选出7幅人脸图像。为提高验证的准确性，对每次探测到的人脸进行7x7次验证。具体验证过程，首先抽取49幅标准人脸的2048维度的深度卷积神经网络特征，最为基准人脸特征库，即为49x2048的矩阵。同样，对探测到的人脸同样抽取2048维深度卷积神经网络特征，并与基准人脸库中的特征进行49次cosine距离计算。cosine距离公式如下：

假设探测到n个人脸，那么最终的距离矩阵为n*49。通过设定阈值，将距离矩阵二值化，亦即大于阈值的元素置1，小于阈值的元素置0。得到验证的二值矩阵。为保证验证的准确性，对于验证矩阵，全零的行代表样本与基准人脸中的每位明星都不相似，因此所对应的探测人脸样本将被视为非明星人脸。对出现多个1的行进行讨论，如果多个1出现同一个明星的区间之中，使得验证器判定该人脸为其中一位明星的则通过身份验证，输出结果。而出现多个1，且多个1出现在多位明星的验证区间上的，代表该人脸试图误导验证器的判定，因此不能通过身份验证。据此，可以通过身份验证的人脸，以及对应的人体区域将得到进一步的过滤，而被喂入下一步骤。

步骤s4：衣服探测步骤。对于通过明星身份验证的具有好姿势的人体区域，在这一步骤中将进行衣服的探测。首先需要通过人工标注的方式构建衣服探测数据集。数据获取方式可以通过网络爬虫从诸如亚马逊、淘宝等电商网站上爬取。衣服在图像中的位置数据通过人工标定的方式获得。之后通过读取数据文件，构建与pascalvoc物体探测数据集相似的数据库格式以方便衣服探测模型的训练。基于卷积神经网络的物体探测模型已经在步骤s1中进行了讨论，这里不在赘述。在此步骤中，需要将模型迁移到衣服探测数据域中，与之前物体探测步骤并无本质区别。值得注意的是，本步骤并不纠结于衣服识别的准确性，而是将关注点集中在衣服探测上，亦即衣服位置信息(boundingbox)，并据此切割出图像中的衣服区域，并构建衣服检索的查询集合。

步骤s5：待检索衣服图像去冗余步骤。尽管我们通过s1人体探测步骤、s2姿势选择步骤，s3明星身份验证步骤，s4衣服探测步骤对所要检索的样本进行层层过滤。但由于视频图像在短时间内的变动非常小，通过观测结果，发现依然有大量相同的衣服被探测出来，且将被喂入检索模块进行衣服检索。然而这些查询中存在大量冗余图像，这无疑会给系统带来大量的计算资源的浪费。因此，在次步骤中，本发明设计了利用聚类算法来精简查询(query)次数。具体来讲：通过实现训练好的深度卷积神经网络图像检索模型，抽取倒数第二全链接层的特征，作为图像的特征表达。之后将这些特征喂入密度峰值聚类算法(densitypeaksclusteringalgorithm，简称dpca)中进行聚类。通过设定超参数，最近邻样本百分比(percentage)，以及正则化参数ρ和δ的阈值范围可以获得合理的聚类簇的个数。最后，通过剔除样本个数为1的异常簇，并保留样本个数大于等于2的簇的中心样本，从而构建出最终的查询集合。

步骤s6：相似或同款衣服图像检索及推荐步骤。衣服检索的关键问题在于检索速度和检索精度。近年来，深度卷积神经网络在图像检索领域的发展，为大规模图像检索在实际系统中的应用提供了可信性方案。本步骤中，我们依然需要构建更大规模的衣服图像数据集，包括更多的衣服图像和更多的衣服类别。通过调研，使用最新的研究成果，深度二值哈希网络来进行图像特征表达的学习。具体来说，通过构建的大规模多种类的衣服数据进行深度二值哈希网络的训练。之后将查询喂入模型获得图像的哈希编码和全链接层的特征表达。通过抽取检索数据集和查询数据集的这两类特征准备好数据。通过计算查询和检索数据集的海明距离(hammingdistance)获得候选检索结果池，然后通过计算查询与候选检索结果池中样本的全链接层的特征表达之间的欧式距离，并通过升序排序可以获得最终的检索结果列表(距离最近的排在列表前面)。通过索引到列表中的样本，抽取图像数据库中的原始图像和图像网址(url)，并最终展示检索结果。

附图2所示为本发明的基于明星识别的衣服时尚挖掘视觉感知系统，包括：人体探测模块，用于得到视频原始帧图片中的人体区域以及坐标位置；人体姿势选择模块，用于判定所探测到的人体所处姿势的优劣并筛选出好的人体区域；人脸探测与明星验证模块，用于探测人体区域中的人脸，并对探测到的人脸进行明星身份的验证；衣服探测模块，用于得到明星人体区域所穿着的衣服子区域以及位置信息，并切割出来的衣服区域作为待检索候选集；衣服检索图像聚类与去冗余模块，用于把切割出来的衣服图像进行聚类，去掉相似的冗余衣服图像，减少系统查询次数；衣服图片检索与结果呈现模块，用于利用深度卷积神经网络特征在衣服检索数据库中搜索与查询相匹配的衣服列表，并呈现结果。

本发明的主要贡献有以下两点：(1)本发明提出了一种基于明星识别的衣服时尚挖掘方法及视觉感知系统，并设计出具体实现流程。通过依托机器视觉领域，深度卷积神经网络在物体识别、物体探测、人脸识别、图像检索等视觉任务上取得的巨大成功，实现明星同款衣着与电商产品相关联，挖掘明星穿着的时尚效应和粉丝效应中潜在的巨大商机。(2)本发明以明星识别为主导，将人体探测、人体姿势选择、人脸探测和明星身份验证，以及利用聚类算法对查询图像去冗余等关键技术相结合，对衣服探测和相似衣服的检索进行逐层苛刻地筛选。一方面减少了计算资源的浪费，另一方面减少了视频推送广告推荐商品的频率，提高用户的观看视频时的体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

网址：一种基于明星识别的衣服时尚挖掘方法及视觉感知系统与流程 https://mxgxt.com/news/view/1443562

相关内容

一种基于追星族公会的大数据智能推荐系统及方法与流程
基于协同过滤算法的电影推荐系统及相关电影数据挖掘
一种基于AI大数据的艺人与产品资源精准对接系统及方法与流程
基于知识图谱的视频标签提取方法与流程
一种明星知识产权生成运营及粉丝互动平台及方法与流程
商业数据的挖掘方法有哪些
明星机器人互动方法及系统与流程
时空数据挖掘算法.docx
基于隐私保护的数据挖掘技术研究
挖掘传统文化的时尚之美

随便看看