音频，语音和语言处理概论

2021年4月22日

将机器学习应用于日常场景

人机互动越来越普遍存在于利用人工智能演变的音频和语言的技术。对于我们与企业零售商的许多互动，银行，甚至食品传送提供商 - 我们可以通过以某种形式的AI沟通来完成我们的交易，例如聊天或虚拟助手．语言是这些交流的基础，因此，在构建人工智能时，语言也是一个关键元素。

结合语言处理和音频和语音技术，企业可以创造更高效、个性化的客户体验。这就解放了人类代理人，使他们可以把更多的时间花在更高层次的战略性任务上。潜在的ROI已经足够吸引许多组织对这些技术进行投资。随着投资的增加，也会有更多的试验，从而推动新的进步和成功部署的最佳实践。

自然语言处理

自然语言处理，或NLP，是一个涉及教学计算机如何理解和解释人类语言的AI领域。这是文本注释，语音识别工具和各种其他实例的基础人工智能是人类与机器进行对话互动的地方．在这些用例中使用NLP作为工具，模型可以理解人类并适当地响应它们，在许多行业中释放出巨大的潜力。

音频和语音处理

在机器学习中，音频分析可以包括很多技术:自动语音识别、音乐信息检索、用于异常检测的听觉场景分析等等。模型通常用于区分声音和扬声器，根据类分割音频剪辑，或基于类似内容收集声音文件。你也可以轻松地把语音转换为文本。

音频数据需要一些预处理步骤，包括收集和数字化，然后才可以用ML算法进行分析。

音频收集和数字化

为了启动音频处理AI项目，你需要大量高质量的数据。如果你正在培训虚拟助手、声控搜索功能或其他类型的转录项目，你就需要定制涵盖所需场景的语音数据。如果你找不到你想要的东西，你可能需要创建自己的，或与像Appen这样的合作伙伴来收集。这可能包括照本就本的回答、角色扮演和自发的对话。例如，当培训一个像Siri或Alexa这样的虚拟助理时，你需要把你的客户可能会给助理的所有指令的音频。其他音频项目将需要非语音的声音摘录，如汽车行驶或儿童玩耍，这取决于用例。

数据可能来自多个来源:智能手机收集应用程序、电话服务器、专业音频录制工具或其他客户设备。您需要确保收集的数据的格式可以用于注释。声音摘录都是wav、MP3或WMA格式的数字音频文件，它们通过以一致的间隔采样(也称为采样率)进行数字化。在你以你的采样率提取值之后，一台查看音频样本的机器会看到在那个特定时间的声波振幅，以便能够解释它的含义。

音频注释

在为您的用例准备有足够的音频数据后，您需要注释它。在音频处理的情况下，这通常意味着根据需要将音频分段为层，扬声器和时间戳。您可能希望使用一群人类贴标商，以便此耗时的注释任务。如果您正在使用语音数据，您将需要流利的语言的注释器，因此全球采购可能是您的最佳选择。

音频分析

当您的数据准备好后，您将利用几种技术中的一种来分析它。为了进行说明，我们将重点介绍两种最流行的提取信息的方法:

音频转录，或自动语音识别

也许跨行业广泛使用的音频处理，转录或自动语音识别（ASR）中的一种，以促进人类和技术之间的相互作用。ASR的目标是将语音音频转录为文本，利用NLP模型进行准确性。在ASR存在之前，计算机简单地记录了我们演讲的峰值和山谷。现在，算法可以检测音频样本中的模式，将它们与来自各种语言的声音匹配，并确定每个扬声器所说的哪些单词。

一个ASR系统将包括几个算法和工具来产生文本输出。通常涉及以下两种类型的模型:

声学模型:将声音信号转换为语音表征。
语言模型:将可能的语音表征映射到代表给定语言的单词和句子结构。

ASR严重依赖于NLP来生产准确的转录物。最近，ASR利用了深度学习的神经网络，以更准确地产生输出，并且需要较少的人性监督。

ASR技术是根据其正确率来评价的，以错误率和速度来衡量。ASR的目标是达到与人类听众相同的准确率。然而，在驾驭不同的口音、方言和发音，以及有效过滤背景噪音方面仍然存在挑战。

音频分类

音频输入可能非常复杂，特别是当多个不同类型的声音出现在一个文件中时。例如，在狗公园，你可能会听到人们交谈，狗叫，鸟叫，汽车开过。音频分类通过区分声音类别来帮助解决这个问题。

音频分类任务通常从注释和手动分类开始。然后，团队将从音频输入中提取有用的特征，并应用分类算法对它们进行处理和排序。通常音频的分类不仅仅是它的整体声音类别。例如，对于包含说话人的文件，音频分类可以根据说话人使用的语言、方言和语义进行区分。如果文件中存在音乐，音频分类可以识别不同的乐器、流派和艺术家。

实际的应用程序

通过音频、语音和语言处理解决现实世界的业务问题可以增强客户体验，降低成本和冗长的人力劳动，并将重点转向更高级的公司流程。这个领域的解决方案已经出现在我们的日常生活中。这些解决方案的一些例子包括:

虚拟助手和聊天机器人
语音搜索功能
语音合成引擎
in-car命令提示
会议或电话记录
使用语音识别增强安全性
电话目录
翻译服务

无论哪种用例，公司都通过在其AI产品中实施音频和语言处理来实现业务价值的潜力。随着我们在空间中继续看到成功，我们应该期待我们与企业的互动越来越多地驱动。如果完成，这应该通过提高客户体验和业务流程来使企业和客户受益。

音频，语音和语言处理中的展望和挑战

为了实现机器充分了解我们的言论和书面文字的世界，仍有几个障碍克服。对于成功的音频或文本处理算法，它需要解决这些关键挑战：

嘈杂的数据

嘈杂的数据是包含无意义信息的数据。对于音频和语音识别，这个术语可以字面上意味着：如果您正在尝试了解演讲者，但是您将听到后台声音或汽车驾驶，您有嘈杂的数据。用于分析音频或文本数据的有效进程必须能够过滤掉数据几何件的特征，并且没有。

语言的变异性

虽然自然语言处理在更好地理解人类语音方面取得了很大的进展，但机器还不够完美，面临着很多复杂性。人类讲不同的语言，有不同的方言，有不同的口音。我们的打字方式也反映在语言和词汇的选择上。解决这个挑战的唯一方法是为机器提供足够的示例来覆盖所有这些用例和边缘用例。有访问全球注释者群体如果您的最终用户是多样化的，那么在您的项目中使用多种语言的人是解决问题的重要一步。

演讲的复杂性

口语与书面词不同。当我们谈话时，我们使用句子碎片，填充单词和随机暂停。我们也不会在每个单词之间暂停。我们有一生的经验，有助于我们在倾听其他人时对我们进行上下情脉化和理解这些含糊之处，但电脑没有这种利益。计算机还必须为每个扬声器管理音高，音量和单词速度的变量。

通过这些挑战，专家越来越多地转向神经网络和深度学习技术，为人类语言的培训机器提供更快，更准确的机会。希望有一天，这些进步将使电脑可以理解我们所有人 - 无论我们是谁还是我们如何说话。

来自高级计算语言学家西蒙·哈蒙德的专家见解

在Appen，我们依靠我们的专家团队来帮助您利用音频、语音和语言处理建立尖端模型。Appen的高级计算语言学家Simon Hammond致力于确保Appen客户能够成功地进行音频、语音和语言处理。Simon的三大见解包括:

确保您理解了正在使用的语言的表示。编码(计算机用来代表角色的系统)可以是多种多样的，所以选择一种能够反映你的用户基础并给予你的AI系统最大的成功机会的编码是很重要的;
不要低估一致性的重要性！拼写标准化可以大大提高您的语言模型的性能，甚至是端到端系统中的声学模型;
语言是动态的，并且它使用随时间的变化，即使在扬声器组或特定域中也是如此。考虑常规数据刷新以确保您的培训数据不会与用户群的对齐方式。