构建机器学习模型时,不要从零开始

推特
推特
linkedin
分享
脸谱网
fb-share-icon

如何利用训练数据和预训练模型来加速你的人工智能项目

假设这一点可能是一个安全的赌注大多数您与使用受监督学习建造的AI的AI。受监管学习,基本上是从头开始建立机器学习(ML)模型,到目前为止的人工智能(AI)开发的关键驱动程序,通过增加对大型数据集的访问和计算能力的增长。但是对于由于缺乏资源而言,由于许多AI项目从未达到过度,可能希望有一个更有效的模型创作方法。幸运的是,有替代方案监督学习,减少时间,金钱和人力努力,而不会牺牲质量。

利用您自己的训练数据进行迁移学习和使用预先训练的模型是一种机器学习技术,直到最近才开始获得关注,因为技术人员正在寻找优化ML模型的新方法。迁移学习不需要从头开始,可以降低启动人工智能的初始投资。通过迁移学习,ML变得更广泛可用,使更多的公司启动他们的人工智能项目,并全面加速人工智能的采用。

构建机器学习模型时,不要从零开始

什么是转移学习?

迁移学习是一种ML方法,将为任务训练的模型作为解决不同但相关任务的起点。这个预先训练过的模型可能无法100%准确地完成新任务,因此经常需要对模型进行修剪,并在数据设计器上进行培训,以便对用例进行微调。例如,你可能有一个训练有素的模型来识别家猫。迁移学习将涉及到重用那个模型,并对它进行微调,以识别,比如说,山猫。

如何使用预先训练的型号

使用预先训练过的模型进行迁移学习将遵循这样一个过程:

1.选择模型

模型选择是转移学习的关键第一步。您需要选择一个与您尝试解决的用例非常相似的模型。也有许多型号免费和开源或购买组成第三方供应商。例如,nvidia提供了一个转移学习工具包这包括在面部识别,对象检测和许多其他常用ML用例中的广泛的预训练模型。

模型质量将根据源而有所不同,因此您的尽职调查在确保您选择达到所需质量标准的模型时会进行尽职调查。

2.修剪模型

选择您希望利用新任务的源模型的哪些属性(也许所有这些属性)。如果您只使用模型的某些部分,则可以考虑仅使用模型架构或在神经网络的情况下,只有网络中的某些图层。这种选择取决于您尝试解决的问题的性质,以及您正在使用的型号类型。如有必要,您还可以继续在完成步骤3之后修剪模型。

3.火车模型

为了最大化性能,您需要继续微调模型并确认其精度;这需要您当前用例的额外培训数据。您可能已经有了自己的数据集,希望用于培训目的。如果您需要对数据进行注释,您可能需要寻找第三方数据提供商,比如Appen,它可以让您立即访问注释器池和数据注释平台,以便进行有效的标记。

如果您需要源辅助数据,那么像Appen这样的数据提供程序也可以为您提供标记的数据集。您可以继续在新数据上培训您的模型,直到模型达到所需的性能水平。建立强大的训练数据流水线将使这一步骤更快,更可扩展,特别是考虑在部署后需要定期再培训。

为什么要使用转移学习和预训练的型号?

从头开始建立和培训ML模型所需的资源是巨大的。首先,您需要一支高度专业化的数据科学家和ML专家团队,以及具有域专业知识的数据注释器。您需要大量的数据,需要时间来收集和成本。您需要额外的时间来标记数据,程序算法,在标记的数据上培训它,测试它,部署它,并继续监控后期生产。完全,从地上建造ML是一个令人难以置信的资源密集型的努力。

当正确实施时,转移学习节省时间并仍然实现所需的性能。利用训练有素的模型可能意味着许多事情:这意味着您不需要为培训目的标记整个数据集(但您可能仍需要标记一些数据——在前一节中有更多)。这也意味着你的团队可能不需要数据科学家或ML专家,因为你实际上并没有构建一个新模型,而这是人工智能开发中最需要专业技能的领域。在人工智能和机器学习专业人员的技能差距持续存在的时代,这是迁移学习差异化的一个关键因素。

转移学习是一个优秀的工具,用于您尝试解决的任务可能没有吨的可用数据,但相关任务确实如此。然后,您可以使用从解决相关任务来解决新的知识来解决新的知识。

转移学习是人类获得新信息的最受欢迎的方式之一,因此它也只能在AI中杠杆处理。想象一下,公司不再需要雇用ML的高度专业职位,即他们可以快速推出高质量的AI产品,并且他们不再需要投入每个AI倡议的令人难以置信的时间,金钱和努力。转让学习为更多球员进入AI场景开辟了机会,最终提高了空间的更大的实验和创新。

网站部署人工智能与世界级的训练数据
语言