免费服务热线:0898-6688977

产品列表

爱游戏电竞官方网站用于构建AI语言翻译系统的工
发布时间:2021-05-17 14:40

  爱游戏手机

  在本系列文章中,我们将向您展示如何使用深度学习来创建自动翻译系统。本系列可以视为分步教程,可以帮助您了解和构建神经元机器翻译。

   本系列假定您熟悉机器学习的概念:模型训练,监督学习,神经网络以及人工神经元,层和反向传播。

   在上一篇文章中,我们介绍了构建基于ML的翻译器所需的主要理论概念。在本文中,我们将研究构建AI语言翻译器所需的工具。

   多个框架提供了用于深度学习(DL)的API。到目前为止,TensorFlow+Keras组合是最受欢迎的,但是竞争性框架(例如PyTorch,Caffe和Theano)也得到了广泛使用。

   这些框架经常执行黑盒方法来处理神经网络(NN),因为它们执行了大多数“魔术”操作,而无需您对NN逻辑进行编码。还有其他构建NN的方法-例如,使用深度学习编译器。

   下表列出了我们将使用的Python模块的版本。可以使用命令==[version]末尾的标志来显式安装所有这些模块pip。例如:“pipinstallTensorFlow==2.0”。

   我们正在编写的代码应可在任何操作系统上运行,但请注意,我们正在使用Python3,因此请确保已安装它。如果您的系统同时安装了Python2和Python3,则需要在以下安装命令中运行pip3而不是pip:

   TensorFlow是一个非常流行的用于NN构建的Python框架。

   现在您可以通过运行以下命令安装TensorFlow:

   TensorFlow软件包的下载和安装可能要花费一些时间,因为它非常大-超过400MB。

   要验证TensorFlow是否已成功安装,请运行:

   输出应类似于以下内容:

   重要的是要运行python3而不是简单地运行python(相同pip3而不同pip)。爱游戏电竞官方网站通常,Centos中将存在Python的默认安装,并且不得在我们的项目中使用它。

   Keras是运行在TensorFlow之上的深度学习API。Keras也可以在Theano等其他框架之上运行,但在这里我们选择将其与TensorFlow关联。

   要安装Keras,请输入以下命令:

  Pandas是用于数据处理和分析的PythonAPI。除其他事项外,我们将需要它来为DL模型准备训练数据。

   可以使用pip3以下命令安装Pandas库:

   我们需要Word2Vec进行单词嵌入,以支持在我们的NN中创建嵌入层。其他工具,例如GloVe或BERT,也可以完成此工作。由于BERT具有上下文依赖性,因此BERT会更高效,但集成起来要复杂得多,因此我们将使用Word2Vec来简化事情。

   要安装Word2Vec,请运行:

   我们已经安装的工具将使我们能够构建机器翻译(MT)软件。为了解决难题,我们将:

   1、处理英语词典,并让Word2Vec为英语创建自定义单词嵌入系统。

   2、使用Keras构建具有长短期记忆(LSTM)单元的序列到序列递归神经网络(RNN),它对我们需要的所有内容都具有内置支持。

   3、在LSTM序列到序列RNN的开始处添加Word2Vec创建的嵌入层。

   4、爱游戏电竞官方网站处理英语/俄语并行语料库:对其进行清理,格式化和标记化

   5、使用经过处理的英语/俄语平行语料库训练我们的DL模型。

   6、用几个英语句子测试我们的NMT的翻译准确性。

   我们正在构建的神经机器翻译系统的工作流程。

   请记住,这不是构建AI语言翻译系统的唯一方法。例如,我们可以使用门控循环单元(GRU)单元而不是LSTM单元。我们选择上面的架构是因为它易于理解,易于训练并且运行良好。但是,一旦您掌握了基础知识,就可以探索更多的内容