近日，自动化学院“人机混合智能与智慧健康研究中心”以杭州电子科技大学为第一单位在人工智能国际知名期刊Pattern Recognition（PR）上发表了文章《Preterm infant limb movement recognition with graph and convolution fusion network》。该论文的第一作者为我校自动化学院博士生鲍先富，通讯作者为研究中心负责人曹九稳教授。《Pattern Recognition》的主要领域范围是模式识别和智能系统应用等，目前为SCI中科院1区期刊，最新影响因子为7.5。
针对早产儿脆弱生理状况，连续实时视频监控在疾病早期筛查中的重要性而越来越受到关注。特别是，在新生儿重症监护室（NICU）中识别早产儿的肢体运动，对于评估早产儿的健康状况起着重要作用。早产儿肢体运动识别的主要挑战来自于不规则的运动速度和多肢体标签分类。为解决这些问题，提出了一种新型的卷积图识别网络（CGRN），通过将三维（3D）卷积神经网络（CNNs）与图卷积网络（GCNs）相结合，特别是针对3D CNN中不同通道的空间-时间频率特征泛化性较差，难以表征快速的肢体运动。因此，融合GCN以增强通道连接并提高表征学习能力。GCN通过学习节点过滤和拓扑连接，来建立不同通道之间的依赖关系。同时，论文提出了一种融合多标签损失函数，包括二元交叉熵（BCE）和多标签软边界（MSM）损失，用于训练所提出的CGRN。在早产儿活动数据集（IAD）上进行的实验证明了所提出的CGRN算法的有效性。消融研究表明，拉普拉斯矩阵的辅助性能和结构优化过程得到了验证，所提出的CGRN获得94.1%的平均准确率，88.4%的CF1值和91.7%的OF1得分。
图1.CGRN网络框架结构
人机混合智能与智慧健康研究中心隶属于杭州电子科技大学自动化学院，依托于浙江省机器学习与智慧健康国际合作基地，主要研究方向包括：机器学习、深度学习、医学信号处理、场景文字识别、自然语言处理等。研究中心现有在职教师11名，其中包含6位教授、2位副教授、3位讲师，硕博生60余名。负责人曹九稳教授是浙江省机器学习与智慧健康国际合作基地中心主任。研究中心有多位国家级和省级人才，与法国巴黎大学、新加坡南洋理工大学、加拿大温莎大学、澳门大学、复旦华山医院、浙江省儿保医院等长期保持科研合作；研究中心学生多次赴法国、加拿大等交流学习，毕业生多就职于华为、字节跳动、海康威视等国内知名企业。