• 北大核心期刊(《中文核心期刊要目总览》2017版)
  • 中国科技核心期刊(中国科技论文统计源期刊)
  • JST 日本科学技术振兴机构数据库(日)收录期刊

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

复杂环境下多任务识别的人脸口罩检测算法

万子伦 张彦波 王多峰 孙怡晨 谷沣洋 陈明月

万子伦, 张彦波, 王多峰, 孙怡晨, 谷沣洋, 陈明月. 复杂环境下多任务识别的人脸口罩检测算法[J]. 微电子学与计算机, 2021, 38(10): 21-27. doi: 10.19304/J.ISSN1000-7180.2021.0056
引用本文: 万子伦, 张彦波, 王多峰, 孙怡晨, 谷沣洋, 陈明月. 复杂环境下多任务识别的人脸口罩检测算法[J]. 微电子学与计算机, 2021, 38(10): 21-27. doi: 10.19304/J.ISSN1000-7180.2021.0056
WAN Zilun, ZHANG Yanbo, WANG Duofeng, SUN Yichen, GU Fengyang, CHEN Mingyue. Face mask detection algorithm for multi task recognition in complex environment[J]. Microelectronics & Computer, 2021, 38(10): 21-27. doi: 10.19304/J.ISSN1000-7180.2021.0056
Citation: WAN Zilun, ZHANG Yanbo, WANG Duofeng, SUN Yichen, GU Fengyang, CHEN Mingyue. Face mask detection algorithm for multi task recognition in complex environment[J]. Microelectronics & Computer, 2021, 38(10): 21-27. doi: 10.19304/J.ISSN1000-7180.2021.0056

复杂环境下多任务识别的人脸口罩检测算法

doi: 10.19304/J.ISSN1000-7180.2021.0056
详细信息
    作者简介:

    万子伦    男,(1997-),硕士研究生.研究方向为图像处理

    王多峰    男,(1993-),硕士研究生.研究方向为图像处理

    通讯作者:

    张彦波(通讯作者)    男,(1979-),博士,副教授.研究方向为信号处理、通信与信息系统. E-mail:Zhangyanbo@henu.edu.cn

  • 中图分类号: TP391.4

Face mask detection algorithm for multi task recognition in complex environment

  • 摘要: 疫情期间正确的佩戴口罩可以有效的防止病毒的传播,针对人员密集场所环境下往往存在复杂的干扰因素会导致对人脸佩戴口罩的检测任务产生影响,现有的基于Faster R-CNN检测算法无法满足复杂环境小目标的口罩佩戴检测,从而提出了一种基于改进Faster R-CNN的口罩佩戴检测算法,将传统的单一RPN网络模型改进使用多任务增强RPN模型以提高检测识别精度,利用改进的Soft-NMS算法删除区域候选网络输出的冗余候选框.同时使用了性能更好的CIoU损失函数替换了原本的IoU损失函数,充分考虑了目标与检测框之间的中心点距离,从而提高了检测的准确性将3000个样本图像按1 ∶3的正负样本数目比例对模型进行训练和实验验证.实验结果表明,与Faster R-CNN算法相比,本文算法分别在人脸检测精度和人脸口罩佩戴检测精度提高了7.15%和15.99%.其平均检测精度提升了11.57%,FPS提高了4.6.
  • 图  1  Faster R-CNN架构

    图  2  ResNet-50残差网络结构

    图  3  多任务增强RPN模型

    图  4  IoU值完全相同的两矩形的三种不同重叠方式

    图  5  Faster R-CNN和本文算法P-R曲线对比

    图  6  口罩佩戴检测效果对比示例

    表  1  本文算法与其他算法比较结果

    Methods Face/% Face_Mask/% mAP/% FPS/(帧·S-1)
    SSD[11]
    Faster R-CNN
    65.17
    76.64
    67.33
    80.57
    68.61
    78.61
    29.3
    18.9
    YOLOv3[12] 73.91 81.77 77.84 32
    RetinaFace[13] 87.28 76.51 81.90 17.6
    Attention- RetinaFace[14] 90.39 84.56 87.48 18.3
    the proposed method 83.79 96.56 90.18 23.5
    下载: 导出CSV

    表  2  消融实验结果对比

    Mode(ID) ResNet-50 multi-task enhanced RPN module CIoU andSoft-NMS Face/% Face_Mask/% mAP/%
    1 × × × 76.64 80.57 78.61
    2 × × 78.33 84.91 81.62
    3 × 81.87 93.53 87.70
    4 83.79 96.56 90.18
    下载: 导出CSV
  • [1] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI:  10.1109/TPAMI.2016.2577031.
    [2] LIU S T, HUANG D, WANG Y H. Learning spatial fusion for single-shot object detection[EB/OL]. (2019-11-25). https://arxiv.org/pdf/1911.09516v2.pdf.
    [3] Zhang S F, Wen L Y, Shi H L, et al. Single-shot scale-aware network for real-time face detection[J]. International Journal of Computer Vision, 2019, 127(6-7): 537-559. DOI:  10.1007/s11263-019-01159-3.
    [4] 桑军, 郭沛, 项志立, 等. Faster-RCNN的车型识别分析[J]. 重庆大学学报, 2017, 40(7): 32-36. DOI:  10.11835/j.issn.1000-582X.2017.07.005.

    SANG J, GUO P, XIANG Z L, et al. Vehicle detection based on faster-RCNN[J]. Journal of Chongqing University, 2017, 40(7): 32-36. DOI:  10.11835/j.issn.1000-582X.2017.07.005.
    [5] 王一宁, 秦品乐, 李传朋, 等. 基于残差神经网络的图像超分辨率改进算法[J]. 计算机应用, 2018, 38(1): 246-254. DOI:  10.11772/j.issn.1001-9081.2017061461.

    WANG Y N, QIN P L, LI C P, et al. Improved algorithm of image super resolution based on residual neural network[J]. Journal of Computer Applications, 2018, 38(1): 246-254. DOI:  10.11772/j.issn.1001-9081.2017061461.
    [6] 曲忠侃, 李学峰, 李凤俊, 等. 基于Faster R-CNN的风机叶片缺陷图像多点检测系统设[J]. 电子设计工程, 2021, 29(04): 57-61. DOI: 10.14022/j.issn1674-6236.2021.04.013

    QU Z K, LI X F, LI F J, et al. Design of fan blade defect image multi-point detection system based on Faster R-CNN[J]. Electronic Design Engineering, 2021, 29(04): 57-61. DOI: 10.14022/j.issn1674-6236.2021.04.013
    [7] ZHENG Z H, WANG P, LIU W, et al. Distance-IoU Loss: faster and better learning for bounding box regression[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12993-13000. DOI:  10.1609/aaai.v34i07.6999.
    [8] 周兵, 李润鑫, 尚振宏, 等. 基于改进的Faster R-CNN目标检测算法[J]. 激光与光电子学进展, 2020, 57(10): 101009. DOI:  10.3788/LOP57.101009.

    ZHOU B, LI R X, SHANG Z H, et al. Object detection algorithm based on improved faster R-CNN[J]. Laser & Optoelectronics Progress, 2020, 57(10): 101009. DOI:  10.3788/LOP57.101009.
    [9] WANG Z Y, WANG G C, HUANG B J, et al. Masked face recognition dataset and application[EB/OL]. (2020-03-23)[2020-06-09]. https://arxiv.org/pdf/2003.09093v2.pdf.
    [10] GE S M, LI J, YE Q T, et al. Detecting masked faces in the wild with LLE-CNNs[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 426-434. DOI: 10.1109/CVPR.2017.53.
    [11] 曹城硕, 袁杰. 基于YOLO-Mask算法的口罩佩戴检测方法[J]. 激光与光电子学进展, 2021, 58(8): 0810019. DOI:  10.3788/LOP202158.0810019.

    CAO C S, YUAN J. Mask-wearing detection method based on YOLO-mask[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0810019. DOI:  10.3788/LOP202158.0810019.
    [12] 吕铄, 蔡烜, 冯瑞. 基于改进损失函数的YOLOv3网络[J]. 计算机系统应用, 2019, 28(2): 1-7. DOI:  10.15888/j.cnki.csa.006772.

    LV S, CAI X, FENG R. YOLOv3 network based on improved loss function[J]. Computer Systems & Applications, 2019, 28(2): 1-7. DOI:  10.15888/j.cnki.csa.006772.
    [13] DENG J K, GUO J, ZHOU Y X, et al. RetinaFace: single-stage dense face localisation in the wild[EB/OL]. (2019-05-04)[2020-02-10]. https://arxiv.org/abs/1905.00641.
    [14] 牛作东, 覃涛, 李捍东, 等. 改进RetinaFace的自然场景口罩佩戴检测算法[J]. 计算机工程与应用, 2020, 56(12): 1-7. DOI:  10.3778/j.issn.1002-8331.2002-0402.

    NIU Z D, QIN T, LI H D, et al. Improved algorithm of RetinaFace for natural scene mask wear detection[J]. Computer Engineering and Applications, 2020, 56(12): 1-7. DOI:  10.3778/j.issn.1002-8331.2002-0402.
  • 加载中
图(6) / 表(2)
计量
  • 文章访问数:  108
  • HTML全文浏览量:  49
  • PDF下载量:  14
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-01-11
  • 修回日期:  2021-01-23
  • 刊出日期:  2021-10-05

目录

    /

    返回文章
    返回