NLP早起发展历史

一、NLP早期发展史

1、One-hot编码：只有1个1，其他都是0。 only one is hot。

2、TF-IDF：Term Frequency - Inverse Document Frequency

3、N-gram

4、分布式:

5、NNLM：Neural Network Language Model 神经网络语言模型

6、Word2Vec，Google团队2013年提出，种用于生成词向量（Word Embedding）的经典算法。两种主要的模型架构：

• Skip-Gram
• CBOW（Continuous Bag of Words）

二、基础知识预热

AI 包括（广义的）机器学习，机器学习包括深度学习。

我们所说的大模型，就是LLM （Large Language Model，大语言模型），属于NLP。

学习（狭义的）机器学习要学习其基础算法，大约10种，为深度学习打基础。

机器学习分为有监督学习（提前知道结果）、无监督学习（提前不知道结果，一般叫做聚类）。机器学习的基础任务分类分为：分类（classification） 和回归（regression）

深度学习的基础是神经网络。深度学习的模型，本质上都是神经网络。

深度学习分为很多方向，主要包括：

• 计算机视觉（Computer Vision

  计算机视觉是深度学习应用最成熟的领域之一，主要研究如何让机器“看懂”图像和视频。

  • 图像分类（Image Classification）

  • 目标检测（Object Detection）

  • 图像分割（Image Segmentation）

  • 图像生成（Image Generation），经典模型：GAN（生成对抗网络）、Diffusion Models

• 自然语言处理（Natural Language Processing, NLP）

  自然语言处理研究如何让机器理解、生成和处理人类语言。

  • 文本分类（Text Classification）

  • 机器翻译（Machine Translation）

  • 文本生成（Text Generation）

  • 问答系统（Question Answering）

• 语音处理（Speech Processing）

  • 语音识别（Speech Recognition）

  •  语音合成（Speech Synthesis）
  • 语音情感分析（Speech Emotion Recognition）
  • 语音增强（Speech Enhancement）去除语音信号中的噪声，提升语音质量。

大模型和NLP的关系

大模型是 NLP 领域的革命性技术，通过预训练 + 微调范式、上下文感知能力和多任务学习，显著提升了语言理解与生成的效果。

大模型、机器学习和神经网络的关系

神经网络是大模型构建的核心工具，而机器学习则是实现大模型的主要手段。这三者相互依存、相互促进，共同推动了人工智能技术的快速发展。

在大模型的构建过程中，机器学习算法被用来训练神经网络，使其能够逐渐优化并提升性能。、

 Types of Neural Networks

Feedforward Neural Networks (FNN)

• The simplest type, where data flows in one direction (input → hidden → output).

• Used for tasks like regression and classification.

Convolutional Neural Networks (CNN)

• Designed for processing grid-like data (e.g., images).

• Uses convolutional layers to extract spatial features.

Recurrent Neural Networks (RNN)

• Designed for sequential data (e.g., time series, text).

• Uses loops to retain information from previous steps.

Transformer Networks

• Use self-attention mechanisms to process sequential data more efficiently than RNNs.

• The foundation of models like GPT and BERT.

Generative Adversarial Networks (GAN)

• Consists of two networks (generator and discriminator) that compete to generate realistic data (e.g., images, text).

三、AI 大模型学习建议

大量的基础需要先掌握，Python、三剑客（numpy、pandas、matplotlib)、机器学习

不用编程能力特别强，也不用写模型（需要了解原理）、调用接口就行。

四、transformer横空出世

现在AI大模型的基石就是Transformer，是Google2017年提出的一种结构。

Self-Attention 是 Transformer的一部分。