02.什么是机器学习算法？

什么是机器学习算法？

机器学习算法是一种程序和数学逻辑，通过这种程序和逻辑，“机器”（人工智能 (AI) 系统）学习识别训练数据中的模式，并将这种模式识别应用于对新数据进行准确预测。机器学习算法是现代 AI 和数据科学的基本构建块，从简单的线性回归模型到尖端深度学习技术。

术语“算法”和“模型”经常互换使用，但它们代表的是不同（尽管相关）的概念。算法是通用术语，是一种按步骤进行的过程，通常用数学语言或伪代码来描述，以实现某种功能或目的。在人工智能的背景下，AI 模型是接收输入数据并输出预测或决策而无需进一步人工干预的任何程序。

机器学习算法是一组定义的步骤，用于训练机器学习模型，使其能够在实际应用中做出有用的预测。它不仅包括模型将输入数据点映射到相应输出的方式，还包括优化模型预测以“拟合”相关示例的训练数据集的过程。这是一种使机器能够从数据中学习的算法**。

简单来说，将机器学习算法应用于数据集的结果就是一个训练有素的模型。“训练”可以理解为一种迭代过程，即更新模型的参数——模型用于对输入数据进行预测或决策的数理逻辑的可调整部分，以产生更有用的输出。

虽然存在一些专门用于训练模型以执行单一特定任务的机器学习（ML）算法，但这只是例外，而不是常态。一般来说，每种 ML 算法都有特定的数学或实际特性，适用于某些类型的任务（或某些类型或数量的数据）。在许多情况下，相同的机器学习可用于训练多个（类似）任务的模型。反之，对于任何给定的任务，几乎总是有多种 ML 算法适合训练模型。

ML 算法的核心优点在于，它们能让 AI 模型从经验中隐式地学习。这与“经典”或“基于规则”的人工智能技术形成鲜明对比，后者需要数据科学家、主题专家或 ML 工程师对模型的决策逻辑进行手动和明确的编程。在过去几十年中，机器学习系统作为人工智能和数据分析的主要模式，取代了基于规则的 AI，原因之一是，隐式的、数据驱动的机器学习本质上更具灵活性、可扩展性和易用性。

话虽如此，必须强调的是，将模型拟合到其训练数据只是达到目的的一种手段。机器学习的基础前提是，如果能在与实际问题充分相似的样本任务上优化模型的性能，那么经过训练的模型也将在训练中未见过的新数据上表现出色。机器学习的最终目标是*泛化，*即将训练数据的性能转化为新的、未见过的数据。如果只关注训练本身，就有过度拟合的风险，这是一种模型的知识如此贴合其训练数据中的模式，以至于它无法泛化，从而产生一个在训练中表现出色但在实际场景中失败的模型。

因此，训练一个有用的机器学习模型不仅涉及选择和配置合适的机器学习算法类型，还需要对训练数据进行策划，并对训练后的性能进行深思熟虑的验证。

机器学习算法的类型

机器学习算法可以分为三个基本类别：监督学习、无监督学习或者*强化学习。*这三种学习范式主要区别在于它们各自不同的目标、这些目标所涉及的训练任务类型以及用于优化这些任务性能的技术。

• 监督学习算法可训练模型来预测给定输入的“正确”输出：换句话说，学习自变量（输入数据的功能）和因变量（输出或“目标”）之间的关系。它们用于训练模型，以完成相对于某些已知“基本事实”（例如分类或回归）具有一定准确度的任务。这种基本事实通常（但并非总是）以标记数据的形式出现：已注释数据，为模型提供上下文（例如，包含标注的数据集）[input, output]配对的数据集。。

• 无监督学习算法可训练模型来辨别未标记数据集中的内在模式、依赖关系和相关性。与监督学习不同，无监督学习并不要求存在任何外部基本事实，其输出结果也不需要与之进行比较。

• 强化学习 (RL)算法通过反复试验来训练模型，以评估其环境并采取能够获得最大奖励的行动。强化学习非常适合不存在任何单一基本事实、但确实需要“好”行为（奖励）和“坏”行为（惩罚）的场景。监督学习算法的目标是以最小化误差的方式优化参数，而强化学习算法的目标是以最大化奖励的方式优化模型参数。

虽然没有任何一种 ML 算法不符合这三种范式，但有些学习方法的分类相对模糊。例如，半监督学习结合了监督学习和无监督学习；自监督学习通过操作输入数据和设计训练任务，使无标记数据也能进行监督学习。

一个模型可以用多种类型的机器学习算法进行训练。例如，大型语言模型 (LLM) 通常通过自监督学习进行初始训练（“预训练”），但随后通过传统的监督学习算法和强化学习算法进行