人工智能开发实战之自然语言NLP处理

内容导读

人工智能自然语言处理简介

英文语音识别

智能聊天机器人

一、人工智能自然语言处理简介

‌自然语言处理（NLP）是人工智能领域中的一个重要分支，它研究如何实现人与计算机之间用自然语言进行有效通信的各种理论和方法。‌

NLP是计算机科学、人工智能和语言学交叉的领域，旨在使计算机能够理解和生成人类语言，从而实现人机交互的自然化和智能化。

从20世纪50年代开始发展的，其最先在机器翻译领域得到发展。

20世纪60年代，出现了句法分析、语义分析、逻辑推理相结合的SHRDLU自然语言系统。

20世纪80年代初期，多数自然语言处理系统都是以一套复杂的、人工制定的规则为基础形成的。

从20世纪80年代末期开始，语言处理引进了机器学习的算法，自然语言处理产生革新。

近年来，深度学习技巧纷纷出炉，在自然语言处理方面获得了尖端的成果。

自然语言处理的部分范畴列表：

二、英文语音识别

1、项目介绍

（1）英文语音识别项目以Google的speech_commands英文单词语音识别项目为基础，并做了一些修改，以更好地使用。

该项目构建可以识别10个不同单词的基本语音识别网络，10个单词分别为“yes”“no”“up”“down”“left”“right”“on”“off”“stop”“go”。

实际的语音和音频识别系统要复杂得多，但就像基于MNIST数据集学习图像识别一样，这个基本语音识别网络能够帮助读者了解所涉及的一些基本技术。

（2）本项目基于Convolutional Neural Networks for Small-footprint Keyword Spotting这篇论文中介绍的架构，这种架构相对简单、可快速训练，并且易于理解。

（3）本项目定义了一个语音字词应该符合的时间范围，并将这段时间内的音频信号转换成图像。

将传入的音频样本分成小段（时长仅为几毫秒）并计算一组频段内频率的强度，一段音频内的每组频率强度为数字向量，这些向量按时间顺序排列，形成一个二维数组，该数组可被视为单通道图像，称为声谱图。

（4）具体做法是

将输入的语音处理成能够读取的数据，即将其转换成一组梅尔频率倒谱系数（Mel-Frequency Cepstral Coefficients，MFCC）。

MFCC也是一种二维单通道表示法，因此也可将其视为图像，图像会输送到多层卷积神经网络中进行处理，并且在卷积神经网络处理后接入全连接层，再经过softmax()函数完成分类，实现区分不同词汇的功能。

2、训练模型

࿰