一组Google研究人员最近详细介绍了一个名为SimCLR的框架,该框架改进了以前的自我监督学习方法,这是一种将无监督学习问题(即AI模型在未标记数据上训练的问题)转化为有监督的学习方法。通过从未标记的数据集中创建标签。他们在预印本和随附的博客文章中说,SimCLR用有限数量的带注释数据就获得了图像分类的新记录,并且足够简单,可以将其合并到现有的有监督学习管道中。
对于将计算机视觉应用于标签数据有限的域的企业而言,这可能是个好消息。
SimCLR首先从原始数据集中随机抽取示例,然后通过裁剪,颜色失真和模糊处理将每个样本转换两次,以创建两组相应的视图。然后,它使用机器学习模型计算图像表示,然后使用最大程度地提高SimCLR识别同一图像不同变换能力的模块生成图像表示的投影。最后,在预训练阶段之后,SimCLR的输出可以用作图像的表示或使用带标签的图像进行裁剪,以实现特定任务的良好性能。
谷歌表示,在实验中,仅在1%的标签上进行微调时,SimCLR在测试数据集(ImageNet)上的前5位准确度就达到了85.8%,而之前的最佳方法是77.9%。
研究科学家Ting Chen和Google研究副总裁,工程研究员兼图灵奖获得者Geoffrey Hinton在博客中写道:“(我们的结果表明)对未标记的大型图像数据集进行预训练有可能改善计算机视觉任务的性能。” “尽管简单,但SimCLR大大提高了自我监督和半监督学习的技术水平。”
GitHub上提供 SimCLR的代码和预训练模型。