在2020年的Alexa Live活动中，Alexa设备与开发者副总裁Nedim Fresko宣布，某中心正利用深度神经网络来改善客户使用Alexa技能的体验。深度神经网络由成千上万甚至数百万个密集连接的处理节点组成，其设计灵感部分源于大脑神经元。它们通过在海量训练数据中寻找模式来学习执行任务。
“我们正在采用深度神经网络来提升Alexa对单个词语和句子的自然语言理解能力，” Fresko向Alexa Live的观众表示，“我们已经开始将该技术应用于定制技能，并对早期结果感到兴奋。”Fresko预计，采用这项基于DNN的新技术的Alexa技能，其准确率平均将提高15%。该机构计划在今年晚些时候，将DNN的应用范围扩展到在美国、英国、印度和德国的400个符合条件的技能。
此前，Alexa技能完全由最大熵和条件随机场模型驱动。这些模型通过确定话语的意图并为其槽位打标签来执行自然语言理解。这些模型的输入特征是话语的n-gram（从话语中提取的n个连续词的序列）以及其他一些特征，如话语长度和每个词元（构成独立语义单元的单词或词组组合）的相对位置。这些模型的预测基于输入信号的线性组合，这使得它们轻量、易于训练且在推理时速度很快。
相比之下，DNN模型更擅长识别自然语言。DNN与非监督预训练相结合，已在多个自然语言处理领域实现了业界领先的性能。词嵌入是DNN模型的核心组成部分，它将每个词词元表示为300维向量空间中的一个点，使得具有相似含义（相似的共现特征）的词语聚集在一起。
为开发有效的词嵌入，该中心的科学家利用了一种非监督掩码语言建模预训练技术（该技术因BERT模型而流行），并结合了多个训练语料库。“借助预训练的词嵌入，DNN可以从‘给我买个苹果’泛化到‘为我订个橙子’，因为苹果/橙子和买/订在底层的嵌入空间中具有相似的表示，”领导此项目科学工作的Konstantine Arkoudas解释道，“这种机制是一种迁移学习形式，赋予了DNN关键优势，因为模型不再仅仅从开发者提供的对话示例中学习。”
然而，存储词嵌入非常消耗内存。为了让DNN能够实际应用于超过10万个技能，该中心的科学家将大型的、共享的通用嵌入存储与小型、本地的技能特定嵌入存储结合起来。最后，多个非线性隐藏层使得DNN能够学习输入信号与目标输出之间更复杂的关联。凭借这些综合优势，DNN模型的表现超越了MaxEnt-CRF模型。
致谢：Alexa科学与自然语言理解团队的全体成员，他们的工作使本文强调的创新成为可能。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
