(Yixian Wu, Dinghan Hu, Tiejia Jiang, Feng Gao and Jiuwen Cao*, Multi-modal Signal based Childhood Rolandic Epilepsy Detection, accepted by 6th International Conference on Cognitive Systems and Information Processing (ICCSIP 2021))
癫痫作为一种常见的脑神经系统疾病，其患者约占世界人口的百分之一，而儿童发病率为成人的10-15倍。儿童癫痫的智能检测成为当今世界的研究热点问题。与浙江大学医学院附属儿童医院合作，我院人机混合智能与智慧健康研究中心在多模态儿童运动性癫痫智能检测方向的研究论文“Multi-modal Signal based Childhood Rolandic Epilepsy Detection”近期被2021年第六届认知系统和信息处理国际会议(ICCSIP 2021)录用。该研究有效解决了视频脑电图下儿童运动性癫痫患者发作的智能检测问题，提出了基于词频直方图特征(HWF)的多模态视频脑电癫痫检测算法。
脑电图(EEG)被视为癫痫诊断的“黄金标准”，基于EEG的智能癫痫检测研究方法层出不穷，也愈发成熟。随着视频脑电图的普及，越来越多研究者将目光投向基于视频的智能癫痫检测研究。现有基于视频的儿童智能癫痫检测方法存在以下不足：1）应用环境较为严苛：仅用于夜晚睡眠时癫痫发作检测，患者的随机运动易与发作动作混淆；2）手工设计的特征，仅针对某种特定的癫痫发作类型，受患者个体差异和癫痫发作类型影响较大，泛用性较差; 3) 受遮挡、旁人等环境干扰影响大。针对这些问题，论文提出了以下解决方案：1) 采用基于时空兴趣点(STIP)的方法提取视频序列的有效信息，以剔除大量冗余信息，降低计算复杂度，以HOG、HOF描述子表征每个时空兴趣点的信息，并以此构建词袋模型，提取词频直方图特征(HWF)用以表征视频信息。基于STIP的特征为局部特征，鲁棒性较强，可有效解决手工设计特征受环境影响大、泛化性差等问题。 2) 使用梅尔频率倒谱系数（MFCC）和线性预测倒谱系数（LPCC）特征来表征EEG信号，将获取的脑电特征与视频特征进行融合，获得的视频脑电多模态特征用以训练分类模型。3) 采用SMOTE+TomekLinks数据均衡方法，应对癫痫发作的突然性和短暂性导致的癫痫发作期和发作间期样本不均衡问题。论文的检测算法在浙江大学医学院附属儿童医院13例癫痫患儿的临床数据上得到了验证。
论文第一作者为研究生吴逸仙，指导教师曹九稳教授为论文通讯作者，研究获得了国家自然科学基金重点、科技部重点研发和浙江省重点研发等项目的资助。
视频特征提取演示
核心算法框图
视频特征提取模块细节
时空兴趣点提取数目对比
时空兴趣点表征
词频直方图特征差异性比较
实验结果混淆矩阵
