术语表

说明

本文所列术语及其解释来源于李宏毅老师系列视频《生成式 AI》的课程内容。如果想进一步学习，可通过 Wikipedia 等渠道获取更详细的解释。

Q：人工智能（Artificial Intelligence, AI）

A：人工智能的目标是让机器展现“智慧”，它致力于使机器具备类似人类的智能行为，能够完成诸如学习、推理、解决问题、理解自然语言、识别图像等复杂任务，通过模拟和扩展人类智能的方式，让机器在各种领域发挥作用，为人类生活和工作提供便利与支持。

Q：生成式人工智能 (Generative AI)

A：生成式人工智能是让机器产生复杂有结构物件的人工智能技术，这些物件包括文章、影像、语音等。其需要从近乎无穷的可能组合中找出合适的结果，比如创作一篇特定主题的文章、生成一幅特定场景的图片等，今日多以深度学习达成。

Q：机器学习（Machine Learning）

A：机器学习是机器自动从资料中寻找一个函式的方法。在这个过程中，机器通过对大量数据的学习，自动调整模型的参数，以达到对数据的准确拟合和对未知数据的有效预测。就像通过已知的输入输出数据，让机器自动找出函数中的参数值 ，从而能够处理新的输入数据并给出合理输出。

Q：深度学习（Deep Learning）

A：深度学习是一种机器学习技术，它基于具有很多层的神经网络。这些神经网络可以自动从大量数据中学习复杂的模式和特征表示。通过构建深度的网络结构，深度学习能够处理图像、语音、文本等复杂数据，在图像识别、语音识别、自然语言处理等领域取得了显著成果。

Q：类神经网络（Neural Network）

A：类神经网络是一种模拟人类大脑神经元结构和功能的计算模型，由大量相互连接的节点（神经元）和边组成。这些节点按照层次结构组织，包括输入层、隐藏层和输出层。它通过对数据的学习，调整节点之间连接的权重，从而实现对数据的分类、预测等任务，是深度学习中常用的模型架构。

Q：模型（Model）

A：在人工智能领域，模型是一种数学或计算的表示形式，它基于数据和算法构建，用于模拟和预测现实世界中的现象或任务。模型包含一系列参数，通过对训练数据的学习来调整这些参数，以实现对输入数据的准确处理和输出，比如用于识别猫和狗的模型、生成文章的语言模型等。

Q：参数（Parameter）

A：参数是模型中的可调整变量，它们决定了模型的具体行为和功能。不同的参数值会导致模型对相同输入产生不同的输出。在机器学习和深度学习中，模型训练的过程就是寻找最优参数值的过程，以使得模型在处理任务时达到最佳性能，如线性函数$y = ax + b$中的$a$和$b$就是参数。

Q：训练（Training，Learning）

A：训练是机器学习和深度学习中的关键环节，指让模型通过对大量训练数据的学习，不断调整自身参数，以提高对数据模式的理解和任务处理能力的过程。在训练过程中，模型会根据数据的特征和标签信息，利用特定的算法来优化参数，使得模型的输出结果尽可能接近真实值，从而提升模型性能。

Q：测试（Testing，Inference）

A：测试是在模型训练完成后，使用一组未参与训练的数据对模型进行评估的过程，也叫推理。通过测试，可以了解模型对新数据的适应能力和处理准确性，判断模型是否能够泛化到不同的数据样本上。在测试时，模型根据输入数据，利用已训练好的参数进行计算，得出输出结果，以检验模型的性能和效果。

Q：分类（Classification）

A：分类是一种常见的机器学习任务，其目的是将输入数据划分到预先定义好的不同类别中。模型会根据输入数据的特征，学习到不同类别之间的差异，从而对新的输入数据进行判断和归类。例如垃圾邮件侦测、猫狗分类器等应用，就是通过分类模型将数据准确地分到相应类别中。

Q：回归（Regression）

A：回归是机器学习中的一种预测任务，主要用于预测连续型的数值输出。与分类任务不同，回归模型的目标是找到输入变量和输出变量之间的关系，通常用一个数学函数来表示。通过对训练数据的学习，模型可以预测出与输入数据对应的连续数值结果，比如预测房价、股票价格走势等。

Q：语言模型（Language Model）

A：语言模型是一种基于机器学习或深度学习技术构建的模型，用于处理自然语言任务。它可以根据给定的文本序列预测下一个可能出现的单词或短语，从而生成连贯的文本内容。语言模型通过学习大量文本数据中的语言模式和规律，具备理解和生成自然语言的能力，像ChatGPT就是一种语言模型。

Q：生成策略（Generation Strategy）

A：生成策略是指生成式人工智能在生成复杂有结构物件时所采用的方法和规则。不同的生成任务和模型会使用不同的生成策略，例如自回归生成就是一种常见的生成策略，它依照某种固定顺序依序生成较小的单位（如文字、像素等），逐步构建出完整的复杂物件。

Q：自回归生成（Autoregressive Generation）

A：自回归生成是生成式人工智能中的一种生成策略，它按照一定顺序，根据已生成的部分来预测并生成下一个元素。在文本生成中，会根据前文已生成的单词预测下一个单词；在图像生成中，则根据已生成的像素预测下一个像素。通过不断重复这个过程，逐步生成完整的文章、图像等复杂有结构的物件。

Q：Transformer

A：Transformer是一种类神经网络架构，在自然语言处理和其他领域有着广泛应用。它采用了注意力机制，能够有效处理输入序列中不同位置元素之间的关系，捕捉长序列中的依赖信息。相比传统的循环神经网络和卷积神经网络，Transformer在处理长文本、提高模型并行计算能力等方面具有优势，许多先进的语言模型如ChatGPT都基于Transformer架构。