似乎有一种趋向于仓促地使用不完善和可疑的数据来训练针对COVID-19的AI解决方案的趋势,这一危险趋势不仅无助于任何患者或医生,而且还会损害AI社区的声誉。应对流行病(尽管意义重大)并不会中止基本科学原理。数据必须由医学专家进行整理,必须进行全面而严格的验证,并且在我们向世界部署任何解决方案甚至提案之前,同行必须对结果进行审查,尤其是在社会面临许多不确定性的情况下。
可以肯定地说,我们都对COVID-19大流行深感关切。这种冠状病毒彻底改变了我们的现实:我们正在承受压力,限制和隔离;我们目睹了护理人员的英勇牺牲,包括工作人员,护士和医生;我们正在失去亲人;而且在接下来的几个月中,我们面临着经济困难和巨大的不确定性。在这种情况下,很自然地,我们许多人都在考虑以最快的方式提供帮助的方法。AI社区也不例外。
机器学习方法基于数据。他们从标记的数据中学习以进行分类,预测和估计。任何AI方法的质量和可靠性直接取决于标记数据的质量和可靠性。在计算机科学中,我们谈论“垃圾进,垃圾出”(GIGO),它总结了低质量输入产生不可靠输出或“垃圾”的经验。当我们处理高度复杂的数据形式(例如医学图像)时,这一点变得尤为重要。这些图像通常需要高度专业的知识才能正确解释。
在AI社区中,我们完全依赖数据。只要该域不敏感(财务,医疗保健,监视等),我们通常会使用多种方法来组装数据集,从手动收集样本到复杂的爬虫程序,再通过Internet以及其他公开方式进行解析可用的存储库。在医学成像中,我们处理的是高度敏感的领域,通常需要漫长的过程来组织和访问一组标记的图像。不用说,策展必须发生在医院的墙壁内,这不仅是因为专家在那儿,而且还因为需要取消对图像的身份验证才能遵守隐私法规。
但是有时候我们会不耐烦;我们通过手动收集可公开获取的资源(例如,在线期刊)来创建玩具数据集,并且通常无需担心这种方法。大多数时候,我们作为没有临床或医学能力的AI研究人员,会创建我们的玩具数据集以进行初步调查并了解即将到来的挑战。通常,这是在期望收到专业策划的数据集的情况下发生的,而这一过程通常因道德审查和知识产权谈判而变慢。
需要明确的是,医学成像领域中的“玩具数据集”并不是玩具,因为它通常很小,而是更重要的是因为它是由工程师和计算机科学家而不是由医师和医学/临床专家创建的。如果我们在AI实验室中玩玩具以准备处理医院的实际数据,没有人会抱怨。
可以理解的是,全世界的放射科医生都很忙。如果您是一位雄心勃勃的AI研究人员想要提供帮助,那么现在并不是与放射科医生进行合作的最佳时机。因此,我们中的一些人已经开始组装我们自己的数据集,为将来的任务做准备。
从互联网上刮取的X射线和CT图像的集合似乎在各处出现,并且随着创作者继续添加图像而不断发展。由于一方面有此类数据集的可用性,另一方面,由于无处不在的基本AI知识和工具的存在,许多AI爱好者和初创公司已经冲动地开始为X射线图像开发COVID-19的解决方案。
人们发现了一些网站和博客,它们建议如何从X射线扫描中高精度地检测出COVID-19。其他人提供了有关在X射线图像中检测COVID-19的教程。我们甚至开始看到未经同行评议的论文,它们走得更远,并使用诸如“ COVID-Net”之类的冠名来为其解决方案施洗。这种类型的工作通常缺少许多实验细节,无法解释如何处理来自极少数患者的一些图像以馈入深层网络。这样的论文没有得到证实,也没有放射学家指导实验。在数据集的创建者甚至无法提供有关其收集过程的充分解释之前,其中许多作品都匆忙地公开了。
为了克服小数据量的问题,人工智能爱好者和初创公司将他们拥有的少数COVID-19图像与其他公共数据集(例如肺炎数据集)混合使用。通常这很聪明,但是我仔细观察了一个病例,麻烦的是肺炎病例是小儿图像。因此,COVID-Nets正在将小儿肺炎(1至5岁的儿童)与成年的COVID-19患者进行比较。好吧,当我们将放射科医生排除在需要专家监督的研究之外时,就会发生这种情况。
为什么我们急于在混合了错误解剖结构,没有放射学支持和验证的微小数据集上发布错误的AI结果?我们想为COVID-19患者提供帮助吗?
也许最近几天大量的融资机会公告以及我们的研究被曝光的可能性误导了我们错误的研究行为;由于封锁和隔离,我们无法放弃基本的科学原理。AI既不是呼吸机也不是疫苗也不是药丸;武汉,库姆或贝加莫的精疲力竭的放射科医生极不可能下载我们训练有素的网络的Python代码(使用不足和不正确的数据并在快速撰写的论文和博客中进行了描述)只是为了获得有缺陷的第二意见。
是的,我们都想提供帮助。让我们等待来自医院的真实数据,让我们进行道德规范核查和取消身份识别,让我们与放射科医生合作,为将来的胸部问题开发解决方案。否则,我们可能会产生令人印象深刻的印象,即我们正在进行轰动性研究,并且更关注自我提升,而不是患者的幸福感。放射科医生日夜不停地工作,以了解这种病毒在医学影像中的表现。让我们与他们合作,并向他们学习,释放出AI在对抗病毒感染方面的真正潜力。