国内企业国际人脸识别测试集LFW和Megaface排名

2017-11-22 14:12:00 作者:ym 分类 : 比特网

  作为计算机视觉领域长期的热点研究方向,人脸识别由于其重要的实用价值,一直得到研究人员的重点关注。人脸识别的问题可以描述为:输入场景中的图像或视频,使用人脸数据库辨识(Identification)或验证(Verification)场景中的一个人或多个人。其中,人脸辨识(Face Identification)任务旨在给定一张输入的人脸图像,在数据库中寻找与之身份相同的图像;人脸验证(Face Verification)任务旨在给定两张人脸输入图像,判断两个人脸是否为同一个人。

  人脸识别的核心问题是:如何从图像(或视频)中获取有效的人脸特征表达(feature representation)。在人脸识别发展的过程中,标准的评测数据集在其中的重要性不言而喻。有了标准数据集,研究人员可以在固定的标准下,对算法性能做出评估,并以此为方向推动技术发展。

  户外标记人脸数据集LFW (Labeled Face in Wild) 是人脸识别研究领域的最重要人脸图像评测集合之一。LFW 人脸图像集合是由美国马萨诸塞大学计算机视觉实验室于2007年发布,图像采集自Yahoo! News, 共包括5749个人,13233张图像,其中1680人有两幅及以上的图像。大多数图像经由Viola-Jones 人脸检测器得到后,被裁剪为固定大小。由于LFW 中的图像均产生于实际场景,具备自然的光照、表情、姿势和遮挡等干扰因素,且考虑到涉及人物多数为公众人物,也涉及到化妆等更复杂的干扰因素。因此,在LFW数据集上验证人脸识别算法理论上更贴近实际应用,对实际场景下的人脸识别研究有一定挑战和借鉴意义。

  评测标准允许研究人员使用LFW数据集以外的数据对模型进行训练。目前,在LFW上得分较高的结果均加入了大量的集外数据进行训练。

  目前,在LFW官网上可以查到的中国企业的刷分状态是,face++ 99.5% , 商汤 99.53% , 腾讯 99.65% , 百度 99.77%,中科奥森 99.77% , 中科从 99.5%, 北京飞搜科技 99.67% , 颜鉴99.4%,宇泛智能 99%, 中国平安 99.8% 大华 99.78%, 海鑫 99.68% 等,谷歌针对这个人脸识别数据集的刷榜分数是 99.63% 。

  LFW作为目前人脸识别领域最权威的数据库之一,对于人脸识别中的人脸验证任务给出了详细的测试要求和评分标准,其结果在一定程度上能反应人脸识别算法的性能。但是,也有其一定的局限性。首先,LFW的6000对测试集的图像和名人身份都是完全公开的,有可能存在位置公开训练集含有LFW数据的可能,通过对数据进行针对性学习,或者以作弊的方式直接将测试集图片进行过训练,都可以得到很好的结果。其次,LFW的评测不计算时间成本,高得分可以通过硬件堆砌大规模网络来获得,距离实际应用仍然很远。另外,LFW的数据来源于网络,绝大多数是欧美的公众人物,亚洲人的样本较少,同国内实际应用中的人证比对或视频人脸比对相比,数据分布的差异较大,高分的结果也不一定适用于这些实际任务。因此,LFW评测刷得高分,仅能表明具有较强的算法基础,距离实际场景的应用,还有一定距离。仅仅通过LFW的结果就断言机器的识别能力已经超过人眼,是值得商榷的。

  人脸识别的另一个重要应用是1:N人脸辨识(Face Identification)任务, 即给定一张人脸图像(probe),在大小为N的图片库中找到与之身份相同的人脸图片。同1:1 人脸验证任务相比,1:N识别任务更适用于实际应用场景中安保、监控视频中的动态人脸识别。

  MegaFace 是由华盛顿大学(University of Washington)计算机科学与工程实验室于2015年针对名为 ”MegaFace Challenge” 的挑战而发布并维护的公开人脸数据集,是目前最为权威热门的评价人脸识别性能的指标之一。数据集中的人脸图像均采集自Flickr creative commons dataset,共包含690,572个身份共1,027,060张图像。这是第一个在百万规模级别的人脸识别算法测试标准。

  同LFW数据集,MegaFace 数据集中的图像也产生于自然场景,具备光照、表情、姿势和遮挡等干扰因素。但与LFW不同的是,MegaFace数据集中的人物身份均为普通人而非公众人物,并在收集过程中选取了图像的分辨率,并且保证了在图片来源在世界范围内的均匀分布。另外,在评测方法上,MegaFace 着眼于在百万级别的数据库中的1:N搜索性能。因此,相比于LFW数据集,MegaFace更贴近实际应用。

  MegaFace挑战将从Flickr Dataset中挑选的百万张人脸图像作为测试时的干扰项(distractors),而使用的搜索测试集(probes)来自于FaceScrub 数据集,共包含530个名人的10万张人脸图像,且性别比例大致相同(男性265人共55,472张,女性265人共52,076张),同一身份间人脸图像的差异也较大。为了保证同LFW的可比性,发布方随机选择了其中80个超过50张图像的身份,共4000张图片,作为最终的搜索测试集。

  与LFW相同,MegaFace评测也允许使用数据集以外的图片对模型进行训练。但由于MegaFace的百万人脸数据库均来自于普通人,在训练过程中作弊的难度很大,因此评测结果更加可信。

  在2015年10月公布的第一次的MegaFace 挑战结果中,俄罗斯公司NTechLAB以1选的识别准确率73.300%排名第一,谷歌以70.496%排名第二,北京飞搜科技64.803% 排名第三。随后陆续有各个公司和学术组织提交结果,截至2017年11月份,最好的结果已达到91.763%,由俄罗斯的Vocord 公司提交。国内目前最好的结果是腾讯优图实验室提交的83.290%,排名第二,其他较好的4个结果分别为:北京深感科技(81.298%),复旦大学计算机科学实验室(77.982%)和北京飞搜科技(76.661%), Shanghai Tech ( 74.049% )。

  诚然,MegaFace 的评测依然不计算时间成本,这使得部分结果的大规模网络模型距离实际应用还有距离,高分并不意味着好产品。但它提出的百万级别1:N 评测方法和指标在行业内均属首创,对于人脸识别的发展依旧做出重要贡献。

  LFW和MegaFace均为人脸识别领域重要的评测数据集。LFW是针对早期人脸验证(Face Verification)任务提出评测方法与指标,结果有借鉴意义,但已不代表目前的最难问题。MegaFace提出的关于百万级别的1:N人脸辨识(Face Identification)任务的评测指标,难度更大,是目前学术界的新主流。尽管两个数据集都存在高分数与实际应用需求间的矛盾,但由评测过程中催生出来的新方法,无疑极大的推动了人脸识别的长足进步。

最近更新
科普

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。