近日，自动化学院“人机混合智能与智慧健康研究中心”以杭州电子科技大学为第一单位在人工智能国际知名期刊IEEE Transactions on Multimedia（TMM）上发表了文章《Multi-modal and multi-attention fusion network for ship license plate recognition》。该论文的第一作者为我校自动化学院2021级研究生周淳逸，指导老师为研究中心负责人曹九稳教授。《TMM》是人工智能领域的国际知名期刊之一，SCI中科院一区收录期刊，2023年的影响因子为7.3，在机器学习与模式识别领域具有很高的影响力。
船舶身份识别对智能航运体系建设具有重要意义，人机混合智能与智慧健康研究中心开发的“基于多模态、多注意力融合的船名标识识别模型”近期被IEEE多媒体会刊（IEEE Transactions on Multimedia）收录。该研究主要贡献如下：在“视觉-语言”多模态联合建模框架下实现了船名识别模型的建立，首次验证了船名相关语料预训练的语言模型对船名识别任务的有效性；提出了多注意力动态融合机制，用于细化主干网络抽取的视觉特征。改进的视觉特征可以有效应对船名识别的固有挑战，如字符污染、非规则排列等；设计了解决船名标识序列字间距不一、字间内插符号干扰等，用于充分挖掘空间显著文字区域的分组空间注意力模块，所提方法结构图如下。
整体结构图
人机混合智能与智慧健康研究中心隶属于杭州电子科技大学自动化学院，依托于浙江省机器学习与智慧健康国际合作基地，主要研究方向包括：机器学习、深度学习、医学信号处理、场景文字识别、自然语言处理等。研究中心现有在职教师11名，其中包含6位教授、2位副教授、3位讲师，硕博生60余名。负责人曹九稳教授是自动化学院院长，浙江省机器学习与智慧健康国际合作基地中心主任。研究中心有多位国家级和省级人才，与法国巴黎大学、新加坡南洋理工大学、加拿大温莎大学、德国伍伯塔尔大学、澳门大学、复旦华山医院、浙江省儿保医院、浙二医院等长期保持科研合作；研究中心学生多次赴法国、加拿大等交流学习，毕业生多就职于华为、字节跳动、海康威视等国内知名企业。