2.1 背景知识

本节介绍与ChatGPT相关的背景知识，主要分为自然语言处理与大型语言模型两方面。在自然语言处理方面，重点回顾整体发展历程，介绍规则学习、传统机器学习、深度学习、Transformer。大型语言模型其实也是在Transformer结构的基础上设计的，我们将重点回顾基于Transformer-Encoder的BERT（Bidirectional Encoder Representation from Transformers）模型，基于Transformer-Decoder的GPT模型以及基于Transformer-Encoder-Decoder的UniLM（Unified Language Model，统一语言模型）。