上消化道疾病人工智能辅助决策方法研究
李 玲，丁 帅，李霄剑，杨善林
(合肥工业大学管理学院，安徽 合肥 230009)
摘 要： 在基于电子胃镜影像的上消化道疾病智能辅助决策过程中，现有的方法较少涉及胃镜图像的可疑病灶定位和细粒度分类，且服务延迟较高。此外，这类方法所采用的传统数据扩充方法更进一步的降低了辅助决策方法的实际性能。因此本文提出了基于电子胃镜影像的上消化道疾病智能辅助诊断框架，首先使用条件对抗生成网络实现原始胃镜图像数据增强，然后设计k-Lconv模块，在此基础上开发上消化道病灶检测方法Lconv-YOLO，并利用来自某三甲医院真实的临床数据进行方法验证。实验结果表明，相比同类方法，本方法能够有效提高上消化道疾病推断的平均精度和病灶定位精度。本方法将平均检测一帧胃镜视频的时间缩短至6.73ms，敏感性和特异性分别达到79.39%和87.94%。满足电子胃镜检查过程中的视频帧实时高精度辅助诊断决策。
关键词： 智能辅助决策；电子胃镜；上消化道疾病；病灶检测；深度学习
1 引言
随着城市化、工业化、老龄化的加快，上消化道癌已成为威胁全球人类的恶性肿瘤之一[1]。食管癌、贲门癌和胃癌并称为上消化道癌，且胃癌和食管癌分别是世界第四大和第九大最常见的人类恶性疾病，也是导致癌症相关死亡的第二大和第六大原因[2]。目前，上消化道癌的治愈率很低，五年生存率仅15%-20%[3]。上消化道癌早期发现和治疗是目前提高上消化道肿瘤防治水平的关键。
依托电子胃镜的上消化道疾病内镜筛查可提前发现潜在的浸润癌和早期癌以及癌前病变患者，大幅提高早期发现概率，早期上消化道癌症的5年生存率可提高至80%[4]。在临床实践中，医生可以操控电子胃镜探头获取食道、贲门、胃和十二指肠等不同部位的内镜影像，并结合上消化道主要疾病的影像学特征，发现癌症、炎症、溃疡、息肉等疑似病灶，进而给出内镜诊断。然而，生理环境不稳定、病灶形态多样且较为隐蔽、医生临床经验的客观差异，都会导致依托电子胃镜系统的上消化道肿瘤筛查存在较高的误诊率和漏诊率[5]。Kang等人研究显示，胃镜检查操作经验10年以下者漏诊率和误诊率约为25%左右[6]。此外，电子胃镜系统在发展中国家的大规模普及，使得胃镜检查医生通常需要承担高强度的胃镜检查工作。
基于智能手机的移动感知正成为近年来国内外的研究热点[3]，利用移动通信网络与医疗信息网络融合技术，以及信息集成技术，将医疗服务系统进行整合，可以为患者提供更为便捷的医疗服务[4]。针对高血压病程长、治愈率低、复发率高的问题，本文对基于Android平台的高血压监测预警系统进行设计研究，以期望用户能够及时了解自身血压、心率等身体信息，出现危险状况能够及时就医，在一定程度上提高患者生活质量。
由于深度学习方法能够有效克服传统机器学习方法存在的特征提取的主观性、高维特征无法提取等问题，学术界和产业界正在兴起以深度学习技术为基础的临床决策方法研究热潮[7-9]。基于电子胃镜影像的智能辅助决策对于提高上消化道疾病筛查效率、降低医生工作负担具有重要意义。王智杰等人利用长海医院消化内镜中心数据构建和验证一个用于早期胃癌自动识别的深度学习模型，旨在提高早期胃癌的识别傅诊断水平[10]。Van等人开发了基于人工智能的巴雷特氏食管诊断系统，能够自动检测早期腺癌[11]。Hao等人设计基于自适应增强的多柱神经网络模型实现动态胃癌筛查[5]。Hirasawa等人使用Single Shot MultiBox Detector(SSD)检测早期和晚期胃癌病变位置[12]。
多发性骨髓瘤尽管不能治愈，但通过规范化治疗，完全可实现长期生存的目标。多发性骨髓瘤的治疗新药近十年来不断涌现，临床治疗方案不断推陈出新，多发性骨髓瘤患者5年生存率已从过去的25%提高到了75%。“由于该疾病本身的特性，在患者中强化持续治疗的理念非常关键。”陈兵说，有的患者治疗1～2次后，自认为症状缓解了，就不治了。病情复发后，治疗反而更困难。
条件生成对抗网络的网络结构示意图如图1所示，主要由两个模块组成，生成网络和判别网络。生成网络根据输入的满足高斯分布的随机噪声以及对应的胃镜样本标签模拟出胃镜图像，判别网络将模拟的胃镜图像和样本标签作为输入，判别生成网络所生成的胃镜图像是否可以混淆真实图像，以及生成的胃镜图像是否对应于样本标签。生成网络和判别网络以竞争性学习的方式达到训练目的，生成以假乱真的胃镜图像。
同时，由于医疗行业数据的稀缺性以及高质数据获取过程困难，深度学习方法往往无法得到充足的医疗数据支撑。为此，过去常采用数据增强方法以满足深度学习需求，这类方法利用水平反转、随机切割等方式增加实验所需数据。但是这类方法的多样性受限于数据源本身的特征，并导致实验结果拟合程度有限，难以训练出具有高鲁棒性的深度学习系统，更无法将系统应用于临床。
我们设计了k-Lconv模块用于提升病灶识别效率。k-Lconv模块是将原算法中的k个3×3标准卷积核分解为两部分：1个3×3的深度卷积核和k个1×1的逐点卷积核。这种设计可以将胃镜图像的空间信息和参数信息去耦，减少图像分析成本、增加网络深度。在提高疾病筛查的敏感性和特异性的同时降低服务响应时间。图2给出了新设计的k-Lconv模块的网络结构快照。
2 数据增强方法
实验采用敏感性(Sensitivity )、特异性(Specificity )、误诊率(Misdiagnosis rate )、漏诊率(Missed diagnosis rate )、病灶检测结果与真实标记结果的交叠率(IOU )以及服务响应时间作为评价指标。它们的计算公式如下：
上述已有的研究主要围绕上消化道的食管或胃等某一部位的粗粒度疾病辅助诊断，未能实现上消化道疾病细粒度疾病筛查与病灶定位。且已有的研究在进行临床智能辅助决策过程中，具有较高的服务延迟，无法实时辅助诊断。
图1 条件生成对抗网络的网络结构示意图
3 上消化道病灶检测算法
为了帮助医生提高胃镜检查效率、降低上消化道疾病筛查的漏诊率和误诊率，我们设计了用于协助医生胃镜诊疗决策的智能辅助决策方法。近年来，由于在移动或嵌入式环境下视频处理的高精度、低计算负载等优异特性，YOLO算法开始被应用于人脸识别、无人车等目标检测场景[15]。为了进一步降低上消化道病灶检测服务响应时间，提高疾病诊断的敏感性和特异性，我们在YOLOv3-tiny算法的基础上设计了新的基于k-Lconv模块的上消化道病灶检测算法Lconv-YOLO。该算法可以采用小型深度神经网络结构，通过学习胃镜图像的多层次表示和抽象可以快速发现感兴趣的病灶位置和疾病分类。
为应对以上挑战，我们首先基于条件生成对抗网络[13-14]实现胃镜图像数据库的增强，其次，设计k-Lconv模块，在此基础上开发上消化道病灶检测方法Lconv-YOLO，最后，利用来自某三甲医院真实的临床数据进行方法验证。
图2 k-Lconv模块网络结构
接着，我们进一步搭建基于电子胃镜影像智能辅助决策的上消化道病灶检测算法Lconv-YOLO。其结构示意图如图3所示，包括k-Lconv模块、convolution层，pooling层，route层，upsample层和yolo层。k-Lconv模块、convolution层和pooling层用来提取胃镜视频帧中的特征信息，两个yolo层分别从13×13网格和26×26网格这两个尺度对疑似病灶进行检测和分类。route层和upsample层分别在构建特征图过程中实现跳层信息的链接和上采样。考虑到Anchors设计对模型精度和召回率的显著影响，我们结合病灶形态的客观差异，采用k-means方法自动设置每一类上消化道疾病适用的anchor box尺寸。
上消化道病灶检测算法Lconv-YOLO采用端到端方式对胃镜视频实时病灶检测。将每一张胃镜图像分成S×S的网格，并在每一个网格上进行病灶检测。类似于YOLOv3算法，我们的方法回归每一个网格上捕获病灶的准确定位和对应的疾病分类。
4 实验结果与分析
4.1 实验数据及评价指标
近日，勃艮第葡萄酒行业协会（BIVB）在北京、上海和广州三地组织了三场关于夏布利风土气候（Chablis Climats）的研讨会。近百名葡萄酒业内人士参与了这场探索夏布利2014、2015、2016年份风味的深度之旅。在勃艮第葡萄酒的专业讲师齐绍仁、徐伟和蔡颖姬的带领下，与会的业内人士品鉴了来自夏布利一级园、特级园的7款佳酿。此次活动是讲师和各位与会者畅意交流的盛会，也使得业内人士更加深入地了解夏布利的风土气候。
2017年4月7日，阿里巴巴廉正合规部发布处罚公告，宣布永久关闭其平台上36家以不正当手段谋取利益的店铺。廉正合规部在上述公告中强调：“阿里巴巴经济体是透明的、实打实的经济实体。透明是一种能力，更是一种承诺。今后我们将一如既往的坚决对腐败说不，让灰色在阳光下无处藏身，推动生态体系健康发展。”
深度学习需要大量的训练样本，然而由于胃镜图像的标注工作需要专业医生的参与，时间和经济成本昂贵。为显著降低将深度学习技术应用于医学影像智能决策分析的标注成本，本文首先将上消化道疾病数据进行分类，并利用条件对抗生成网络针对数据量稀缺的胃镜影像数据进行扩充。
我们采用某三甲医院真实的从2016年3月到2017年9月的共计8883份有效的胃镜检查病例。每份病例包含8到40不等的胃镜图像。图4展示了一例完整的上消化道胃镜检查数据。由于不同疾病的患病率不同，患病率低的疾病样本量相对较少。为了提升模型的稳健性，避免模型出现过拟合，我们采用上述数据增强方法对样本量少的疾病病例进行了数据扩充。经5名消化科专家医生的筛选后取交集，获得带可疑病灶的阳性样本26123张，并使用LabelImg软件对异常胃镜图像进行了病灶标注和疾病分类。
图3 Lconv-YOLO网络结构示意图
图4 胃镜检查数据
通过条件生成对抗网络扩充胃镜影像数据，为上消化道病灶检测模型提供了更多的数据，防止了算法的过拟合。
国家和社会的机构、组织以及个人在参加社会活动的过程里会直接出现一些具有保存意义的数字记录，这就是数字档案信息资源。数字档案信息资源属于崭新的档案信息资源，也是将来档案信息资源发展的主要方式。分类与检索是数字档案信息资源管理工作中的重要组成。数字档案信息资源分类与检索的效率直接影响到数字档案信息资源的利用效率。随着信息技术的发展，各类人工智能技术广泛应用到社会生活的方方面面，数字档案信息资源分类与检索中利用人工智能技术可以提升管理效率与提高档案资源的服务水平，对于数字档案管理工作的优化具有重要的意义。
其中，TP 表示模型预测正确的阳性样本的数量，FN 表示模型预测错误的阳性样本数量。TN 和FP 采用相同的定义。GT 表示胃镜图像上真实的病灶区域，DR 表示模型所预测的病灶区域。
4.2 实验结果及分析
本实验中，我们从两个维度进行对比实验。首先，我们使用常用的深度学习算法AlexNet、GoogLeNet、VGGNet构建了符合我们数据特征的疾病分类模型。接着与流行的目标检测方法YOLOv3、YOLOv3-tiny、Faster-RCNN、RetinaNet和SSD进行对比，分别计算上述指标，对比实验结果如表1所示。图5展示了Lconv-YOLO所检测到的部分视频帧中病灶。
图5 病灶检测结果
表1 实验结果比较
由表1可以看出，所提出的上消化道病灶检测方法Lconv-YOLO在敏感性、特异性、漏诊率、误诊率、病灶检测结果与真实标记结果的交叠率以及服务响应时间这些评价指标上都显著优于竞争的方法。同时还可以推断，所提出的Lconv-YOLO相对于YOLOv3-tiny在疾病筛查时敏感性和特异性更高，服务延迟更短，证明了所提出的k-Lconv模块对提高模型的性能和降低服务响应时间的重要意义。此外，Lconv-YOLO在敏感性上虽然不如YOLOv3，但其特异性可以达到接近YOLOv3的水平，且服务响应时间显著小于YOLOv3，可以达到实时辅助决策的目的。
5 结语
医生在胃镜检查时存在难以定位病灶，误诊率和漏诊率较高的问题。本文提出一种新颖的智能病灶检测算法框架Lconv-YOLO，用于辅助医生病灶定位和疾病诊断。在该算法框架下，设计了k-Lconv模块，在提高病灶定位精度的同时降低算法的复杂性。此外，本文基于条件生成对抗网络实现胃镜图像数据库的扩充，有利于高鲁棒性深度学习模型的训练。
经实验验证，该人工智能算法的应用能够有效提高上消化道疾病的病灶检测和癌症筛查水平，并且可以达到实时辅助诊断的目的。同时，本研究具有很好的移植性，经权重微调后可以推广到临床上结肠镜、腹腔镜检查辅助决策中。
（3）对于来自工业控制网络内部的各类攻击行为的防范能力仍显不足。现有的工业控制网络安全防御防范主要针对来自网络外部的攻击行为，对于来自网络内部的威胁缺乏安全保护机制。
参考文献：
[1] 曲卫华, 颜志军. 环境污染、经济增长与医疗卫生服务对公共健康的影响分析——基于中国省际面板数据的研究[J]. 中国管理科学, 2015, 23(7):166-176.
[2] Torre L A, Siegel R L, Ward E M, et al. Global cancer incidence and mortality rates and trends-An update.[J]. Cancer Epidemiol Biomarkers Prev,2016,25(1):16-27.
[3] Rodríguez-Camacho E, Pita-Fernández S, Pértega-Díaz S, et al. Clinical-pathological characteristics and prognosis of a cohort of oesophageal cancer patients: A competing risks survival analysis[J]. Journal of Epidemiology, 2015, 25(3):231-8.
[4] Menon S, Trudgill N. How commonly is upper gastrointestinal cancer missed at endoscopy? A meta-analysis[J]. EIO, 2014, 2(2):46-50.
[5] Wang Hao, Ding Shuai, Wu Desheng, et al. Smart connected electronic gastroscope system for gastric cancer screening using multi-column convolutional neural networks[J]. International Journal of Production Research, 2018: 1-12.
[6] Kang L N, Qiao R L. Cancer screening and prevention in China[J]. Cancer Control, 2014, 8: 131-133.
[7] 梁昌勇, 顾东晓, 范昕,等. 面向不确定多属性决策问题的范例检索算法研究[J]. 中国管理科学, 2009, 17(1):131-137.
[8] 孔繁辉, 李健. 供应中断风险下OEM供应链弹性运作与提升策略[J]. 中国管理科学, 2018, 26(2): 152-159.
[9] Bourouis A, Feham M, Hossain M A, et al. An intelligent mobile based decision support system for retinal disease diagnosis[J]. Decision Support Systems, 2014, 59: 341-350.
[10] 王智杰, 高杰, 孟茜茜,等. 基于深度学习的人工智能技术在早期胃癌诊断中的应用[J]. 中华消化内镜杂志, 2018, 35(8):42-46.
[11] van der Sommen F, Zinger S, Curvers W L, et al. Computer-aided detection of early neoplastic lesions in Barrett’s esophagus[J]. Endoscopy, 2016, 48(7): 617-624.
[12] Hirasawa T, Aoyama K, Tanimoto T, et al. Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images[J]. Gastric Cancer, 2018, 21(4): 653-660.
[13] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems,December 8-13, Montréal, 2014: 2672-2680.
[14] Wang Yan, Yu Biting, Wang Lei, et al. 3D conditional generative adversarial networks for high-quality PET image estimation at low dose[J]. NeuroImage, 2018, 174: 550-562.
[15] Shinde S, Kothari A, Gupta V. YOLO based human action recognition and localization[J]. Procedia computer science, 2018, 133: 831-838.
Research on Smart Decision -Making Method for Upper Gastrointestinal Diseases Based on Electronic Gastroscopic Video
LI Ling ，DING Shuai ，LI Xiao -jian ，YANG Shan -lin
(School of Management, Hefei University of Technology, Hefei 230009, China)
Abstract ： With the acceleration of urbanization, industrialization and aging, upper gastrointestinal cancer has become one of the malignant tumors threatening the whole world.Disease screening using electronic gastroscope can detect potentially invasive, early stage, and precancerous patients in advance. The decision-making method for electronic gastroscopic image analysis based on deep learning is of great significance to improving the diagnostic efficiency and reducing doctors’ working burden. However,in the process of decision-making for upper gastrointestinal diseases diagnosis, the existing methods are less involved in lesion detection and fine-grained classification and suffer from high computation time. There is a significant gap with the need of computer-aided decision-making in clinical practice. In addition, the traditional data augmentation strategies used in existing methods further reduce the actual performance of the decision-making methods. Therefore, a smart auxiliary diagnosis framework for upper gastrointestinal diseases based on electronic gastroscopic video is proposed in this paper. Firstly, the Conditional GAN is used to realize the enhancement of the original gastroscopic image, and then the k-Lconv module is designed for reducing computational complexity while improving accuracy of algorithm. Based on the YOLO-tiny algorithm, the upper gastrointestinal lesion detection algorithm Lconv-YOLO is developed. Lastly, the real clinical data from a Grade-Ⅲ Class-A hospital in China is used for test. The experimental results show that compared with other competitive methods, Lconv-YOLO can effectively improve the average accuracy of the upper gastrointestinal disease classification and lesion localization. The method shortens the time for detecting a frame of gastroscopic video on average to 6.73 ms, and the sensitivity and specificity reach 79.39% and 87.94%, respectively. It can meet the real-time high precision computer-aided diagnostic decision-making of video frames during electronic gastroscopy. The application of Lconv-YOLO can assist doctors in real-time diagnosis during gastroscopy and reduce the rate of missed diagnosis and misdiagnosis.
Key words ： smart decision-making; electronic gastroscope; upper gastrointestinal diseases; lesion detection; deep learning
中图分类号： R197.3
文献标识码： A
文章编号： 1003-207( 2019) 11-0211-06
DOI: 10.16381/ j.cnki.issn1003-207x.2019.11.021
收稿日期： 2018-09-25； 修订日期： 2019-04-18
基金项目： 国家自然科学基金资助项目(91846107，71571058，61903115)；安徽省科技重大专项资助项目(17030801001，18030801137)
通讯作者简介： 李玲(1996-)，女(汉族)，安徽安庆人，合肥工业大学管理学院，博士，研究方向：医疗人工智能与医疗机器人，E-mail：cynerelee@mail.hfut.edu.cn.
标签：智能辅助决策论文; 电子胃镜论文; 上消化道疾病论文; 病灶检测论文; 深度学习论文; 合肥工业大学管理学院论文;