论文名称：Audio-Visual Cross-Modal Generation with Multimodal Variational Generative Model
作者：Zhubin Xu，Tianlei Wang†，Dinghan Hu and Jiuwen Cao†
会议名称：IEEE国际电路与系统会议（IEEE International Symposium on Circuits and Systems）
音频和视觉作为视频中的两个重要模态数据，在视频理解内容等任务中扮演着至关重要的作用。然而，在实际应用中可能会由于环境因素的干扰而导致一种模态的信息丢失。因此，近期有研究指出可以利用模态之间的共享和互补信息，从现有的数据模态中恢复丢失的模态。为此，本文提出了一种对抗分层变异自动编码器（Adversarial Hierarchical Variational Auto-Encoder, Adv-HVAE）模型来解决模态数据丢失的问题。首先使用分层变分自动编码器（VAE）模型学习多模态联合表示，同时为了获得更加稳健的多模态联合表示，还利用特征生成网络来近似缺失模态的潜在分布。最后，还证明了通过加入对抗训练网络能有效提高通过 Adv-HVAE框架生成的数据质量。经过实验验证，Adv-HVAE在两个基准数据集 avMNIST和 Sub-URMP上取得了最佳的生成结果。
模型结构图
论文名称：Automatic EEG-based Spike Ripples Detection with Multi-band Frequency Analysis
作者：Sihan Zhou，Dinghan Hu†，Tiejia Jiang，Feng Gao，Jiuwen Cao†
会议名称：IEEE国际电路与系统会议（IEEE International Symposium on Circuits and Systems）
在脑电图(EEG)中，叠加在棘波上的高频波(spike ripples)被认为是比棘波更有病理性意义的癫痫分析生物标志物。几乎所有现有的对该波形的检测都集中在高频带(80-500Hz)，而没有考虑到低频带(1-70Hz)中的棘波。在本文中，提出了一种结合低频和高频的新型基于EEG的检测算法。对于低频带，利用非线性能量算子(NLEO)得到能量直方图。当平均能量超过预设阈值时，进一步计算单调递减段的平均持续时间(ADDS)和经平滑非线性能量算子(SNEO)滤波的ADDS。同时采用改进的K-均值算法进行候选棘波的选择。对于高频带，生成峰值分布来选择高频振荡波(HFOs)。然后，从HFOs中提取21个显著特征，并训练一个二次核支持向量机(SVM)进行候选高频波的选择。如果候选高频波和棘波在同一帧中，就认为是尖波涟漪。最后，基于最大相关性和最小冗余性(mRMR)的方法对特征进行选择，以提高整体性能。所提出的算法在6个受试者的EEG上进行了测试，可以达到较高的精确度（91.35%）、召回率（93.88%）、F1分数（92.56%）和平衡准确度(96.62%)。
模型结构图
人机混合智能与智慧健康研究中心隶属于杭州电子科技大学自动化学院，依托于浙江省机器学习与智慧健康国际合作基地，主要研究方向包括：机器学习、深度学习、医学信号处理、场景文字识别、自然语言处理等。研究中心现有在职教师11名，其中包含6位教授、2位副教授、3位讲师，硕博生60余名。负责人曹九稳教授是浙江省机器学习与智慧健康国际合作基地中心主任。研究中心有多位国家级和省级人才，与法国巴黎大学、新加坡南洋理工大学、加拿大温莎大学、德国伍伯塔尔大学、澳门大学、复旦华山医院、浙江省儿保医院、浙二医院等长期保持科研合作；研究中心学生多次赴法国、加拿大等交流学习，毕业生多就职于华为、字节跳动、海康威视等国内知名企业。