科技文献信息查询
服务平台
许昌科技大市场
许昌市科技创新公共服务中心
科技创新公共管理
服务平台
人才引进及技术转移
服务平台
大型科学仪器设施共享
服务平台
创新创业孵化
服务平台
  设为首页 欢迎访问许昌市科学技术情报研究所
您现在的位置: 许昌市科学技术情报研究所 > 专利技术 > 正文
基于多通道融合和轻量级神经网络的人脸表情识别方法
作者:佚名    专利技术来源:本站原创    点击数:4141    更新时间:2022/5/18         ★★★
摘要: 本发明提供一种基于多通道融合和轻量级神经网络的人脸表情识别方法,本发明针对传统人脸表情识别学习方法中特征提取过程复杂而且不能从原始图像中获取更加深入的高语义特征以及深度特征的问题,提出了一种基于多通道融合和轻量级神经网络的人脸表情识别方法,把多通道融合后的三通道特征图像作为构建的轻量级神经网络的输入,采用深度可分离卷积的设计思想来减少参数数量和计算量,同时采用残差连接机制来构建网络模型解决网络性能退化和梯度消失问题,从而在训练更深网络的同时,又能保证良好的性能。实验表明本发明所提模型可以有效提取人脸表情特征以及对表情进行分类,具有较好的准确率和鲁棒性。收起∧
专利类型:
发明专利
申请/专利号:
CN202111273460.8
申请日期:
2021-10-29
公开/公告号:
CN113989890A
公开/公告日:
2022-01-28
主分类号:
G06V40/16(2022.01)GG06G06VG06V40
分类号:
G06V40/16(2022.01), G06V10/44(2022.01), G06V10/46(2022.01), G06V10/54(2022.01), G06V10/764(2022.01), G06V10/771(2022.01), G06V10/80(2022.01), G06V10/82(2022.01), G06N3/04(2006.01), G06N3/08(2006.01), G06V40/16, G06V10/44, G06V10/46, G06V10/54, G06V10/764, G06V10/771, G06V10/80, G06V10/82, G06N3/04, G06N3/08
申请/专利权人:
主申请人地址:
471000 河南省洛阳市涧西区西苑路48号
专利代理机构:
洛阳公信知识产权事务所(普通合伙)
代理人:
李现艳
国别省市代码:
河南;41
主权项:
1.基于多通道融合和轻量级神经网络的人脸表情识别方法,其特征在于,包括以下步骤: S1、通过表情数据库或者摄像头获取图像数据,并使用基于Haar特征的Cascade级联分类器对人脸表情库图像进行人脸区域检测,获取人脸图像; S2、采用局部二值模式提取人脸区域的局部纹理特征,并基于Canny边缘检测算法对人脸区域的边缘进行检测; S3、构建并初始化轻量级神经网络; S4、把获取到的人脸图像、LBP纹理特征图像、边缘检测Canny图像进行通道融合,并将融合后的图像进行数据归一化和数据增强后输入到构建的轻量级神经网络中进行训练和识别。 2.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法,其特征在于,步骤S4在对构建的轻量级神经网络进行训练时,使用数据增强的训练集进行模型训练,并按批次训练模型,逐批生成数据,然后执行反向传播,并更新模型中的权重,重复该过程直到达到期望的epoch数量。 3.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法,其特征在于,步骤S1中,在获取人脸图像后,还需要进行图像归一化处理,把不同维度的特征值尺度调整到相近的范围内。 4.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法,其特征在于,步骤S2中,采用局部二值模式提取人脸区域的局部纹理特征的过程如下: 给定一个像素(xc,yc),采样点数为P以及采样圆形领域半径为R,得到的LBP可以用十进制表示如下: 其中p表示圆形区域中总计P个采样点中的第p个采样点,ic表示圆邻域内中心像素的灰度值,ip表示圆形邻域内P个周围像素的灰度值,函数s(x)定义为: 原始LBP的数值转化为二进制编码,对它进行循环移位操作,用数学公式表示,取所有结果中最小的那个值: 其中ROR(x,i)指对P位数x执行循环位右移i次。 5.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法,其特征在于,步骤S2中基于Canny边缘检测算法对人脸区域的边缘进行检测的过程如下: S21、采用高斯平滑滤波器进行卷积降噪,即对原始数据与高斯滤波器进行卷积操作,使图像更平滑,用数学公式表示,二维高斯函数为: 其中(x,y)为原图像h(x,y)像素点的纵横坐标点,σ为高斯函数标准差;把高斯函数和原图像h(x,y)进行卷积处理后得到H(x,y): H(x,y)=G(x,y)×h(x,y) (5) S22、噪声滤除后,对H(x,y)计算梯度幅度和方向来估计每一点处的边缘强度与方向,利用一阶偏导数有限差分计算梯度,其x和y方向的一阶偏导数矩阵为P(i,j)和Q(i,j): 由下式计算得到梯度幅值M(i,j)和梯度方向θ(i,j): 梯度角度θ范围从弧度-π到π,并把它近似到四个方向,分别代表水平,垂直和两个对角线方向(0°,45°,90°,135°),沿着梯度方向对梯度幅值进行非极大值抑制,寻找像素点的局部最大值,在每一点上,领域中心像素点与沿着其对应的梯度方向的两个像素相比,若中心像素为最大值,则保留,否则中心置0,从而可以抑制非极大值,保留局部梯度最大的点,以得到细化的边缘。 6.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法,其特征在于,步骤S4中,经通道融合后得到的图像为48×48像素的三通道图像。 7.根据权利要求6所述的基于多通道融合和轻量级神经网络的人脸表情识别方法,其特征在于,步骤S4在对输入轻量级神经网络中的图像进行识别时: 首先依次通过两个2D卷积层进行卷积操作,卷积核大小均为3×3,卷积核个数分别为32、64,步长均为1;然后将输出依次经过残差模块一、残差模块一、残差模块二、残差模块一,卷积核个数分别为128、256、256、512,其中深度可分离卷积的卷积核大小为3×3,最大池化的卷积核大小为3×3,2D卷积层的卷积核大小为1×1;再然后将输出依次送入两个深度可分离卷积层,卷积核大小均为3×3,卷积核个数分别为1024、512,步长均为1;最后把输出依次送入全局平均池化层和Softmax分类器,所有的2D卷积、深度可分离卷积操作都要经过一个Batch Normalization层和ReLU6激活层来加速网络的收敛速度和增加提取非线性特征的能力。
法律状态:
法律状态公告日
法律状态
法律状态信息
2022-01-28
公开
公开

 

 

专利技术录入:admin    责任编辑:admin 
发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口
  • 上一个专利技术:
  • 下一个专利技术:
  •  

      

    Copyright © 2003 - 2023 许昌市科学技术情报研究所 电话:0374-2965381
    豫ICP备15012589号