什么是培训数据？

AI和机器学习模型依赖于获得高质量的训练数据。了解如何有效地收集，准备和测试数据有助于解锁AI的全部价值。

2021年6月28日

机器学习算法从数据中学习。他们发现关系，制定理解，做出决策，并从他们给出的培训数据中评估他们的信心。培训数据越好，模型执行越好。

事实上，你的质量和数量机器学习培训数据与您的数据项目的成功与算法本身一样多。

首先，很重要的是要谨慎地了解术语数据集的所指的意思。数据集的定义是它具有行和列，每行包含一个观察。此观察可以是图像，音频剪辑，文本或视频。现在，即使你存储以及结构化数据的大量在您的数据集中，它可能不会在实际工作作为模型训练数据集的方式来标记。例如，自动驾驶汽车需要的不仅仅是道路的照片，他们需要标注每辆车，行人，路牌，多有注释的图像。情感分析项目需要标签时，有人正在使用俚语或讽刺的是帮助算法理解。聊天机器人需要实体提取和仔细的句法分析，而不仅仅是原始语言。

换句话说，你要使用的一般训练数据需要富集或标记。另外，你可能需要收集更多的它来驱动你的算法。机会是，你已经存储的数据是不太愿意被用来训练机器学习算法。

确定多少训练数据，需要

在决定您需要多少机器学习培训数据时，有很多因素。首先，最重要的是准确性是多么重要。假设您正在创建情绪分析算法。你的问题很复杂，是的，但这不是生命或死亡问题。对于大多数人的需求而言，实现了85或90％的精度的情绪算法足以让人的需求和错误的正面或阴性，或者没有将大部分事情变得过多的事情。现在，癌症检测模型或自动驾驶汽车算法？这是一个不同的故事。可能错过重要指标的癌症检测模式实际上是生命或死亡问题。

当然，更复杂的用例通常需要更多的数据而不是更不太复杂的数据。一种计算机愿景，即寻找仅识别食物与试图识别对象的食物通常需要较少的培训数据作为拇指。您希望您的模型可以识别的课程越多，所需的示例。

请注意，实际上没有太多的高质量数据。更好的培训数据以及更多的培训，将改善您的模型。当然，有一个点添加更多数据的边际收益太小，因此您希望留意这一点和您的数据预算。您需要设置成功的阈值，但知道仔细迭代，您可以超过更多和更好的数据。

准备训练数据

现实是，大多数数据凌乱或不完整。拍照以例如。到机器，图像只是一系列像素。有些可能是绿色的，有些可能是棕色的，但是一台机器不知道这是一棵树，直到它有一个与它相关的标签，本质上讲，这里的像素是一棵树。如果机器看到一棵树的标记图像，则可以开始了解未标记图像中的类似像素分组也构成树。

那么，你如何准备的训练数据，以便它具有的功能和标签模型需要成功吗？最好的办法是与人合的环。或者，更准确地说，人类功能于中环。理想情况下，你会利用注释的不同群体（在某些情况下，你可能需要领域专家）谁可以准确，高效地标记您的数据。人类也可以看看输出，比如说，一个模型的预测有关的图像是否是实际上是一个狗和验证或纠正输出（即“是的，这是狗”或“不，这是一只猫”）。这被称为地面实况监测是迭代人在半实物过程的一部分。

您的培训数据标签越准确，您的模型将越好。找到一个数据合作伙伴可以提供注释工具和访问人群工人的数据合作伙伴可以有所帮助，以便通常耗时的数据标记过程。

测试和评估您的培训数据

通常，当您构建模型时，您将标记的数据集拆分为培训和测试集（但有时，您的测试集可能未标记）。当然，您可以在前者上培训您的算法并在后者上验证其性能。当您的验证集不会给您寻找的结果时会发生什么？您需要更新权重，删除或添加标签，尝试不同的方法，并恢复您的模型。

当你做到这一点，它做它与您的数据集在完全相同的方式分割是非常重要的。这是为什么？这是评价成功的最佳途径。您可以看到它已经改进了标签和决定，并在那里的倒平。不同的训练集可能会导致相同的算法明显不同的结果，所以，当你正在测试不同的模型，您需要使用相同的训练数据，真正知道你是否改善或没有。

您的培训数据不会有相同的每种类别，您希望识别。使用一个简单的例子：如果您的计算机视觉算法看到10,000个狗实例，只有5只猫，可能会难以识别猫。在这里要记住的重要事项是您在现实世界中的模型的成功意味着什么。如果您的分类器只是试图识别狗，那么它的猫识别性能可能不是交易破坏者。但是，您将想要评估在生产中所需的标签上的型号成功。

如果您没有足够的信息达到所需的准确度，会发生什么？可能是，您需要更多的培训数据。由于大规模商业实践，建造了几千行内置的模型通常不足以成功。

培训数据常见问题解答

以下是在机器学习中培训数据时几个常见问题的问题：

什么是培训数据？

神经网络和其他人工智能计划需要初始的一组数据，称为训练数据集，以充当进一步应用和利用的基线。这数据集是该计划不断增长的信息库的基础。T.他在训练数据集必须准确标明之前的型号可以处理，并从中吸取教训。

如何向我的培训数据集注释？

有许多可用于注释你的训练集多种选择。您可以选择依靠你的组织，租赁承包，或工作的内部成员与第三方数据提供商能够提供对工人进行标记目的的人群。您选择的方法取决于你有可用的资源和利用情况下你的解决方案涉及。

什么是测试集？

你需要训练和测试数据来建立的ML算法。一旦模型在训练集上培训，它通常会在测试集上进行评估。通常，这些集合从相同的整个数据集中获取，尽管应标记或丰富培训集以增加算法的置信度和准确性。

您应该如何将数据集分成测试和培训集

通常，培训数据或多或少随机分割，同时确保捕获您知道前面的重要课程。例如，如果您尝试创建可以从各种商店读取收据图像的模型，则需要避免从单个特许经营权的图像上培训算法。这将使您的模型更加强大，有助于防止其过度装备。

如何确保我的培训数据没有偏见？

这是一个重要问题，因为企业对使AI更合乎道德的和有效的工作的每一个人。偏置可以在AI建设过程中的许多阶段被引入，所以你应该在每一步的方式减轻它。当你收集你的训练数据，确保您的数据代表的所有用例和最终用户。你要确保你有一个人的标签数据和监测模型的性能以及不同群体，以减少偏见的机会在这个阶段。最后，包括偏见在关键性能指标可衡量的因素。