THM 的 AI SEC 学习内容

机器学习（ML）

什么是机器学习？

机器学习是 AI 的一个子领域。机器学习简而言之，就是类比的是人脑学习的方式，即在没有给足够准确的指令的前提下，能够自己从数据中学习的系统。那么他像人脑一样，在接触足够多的数据和模式后，就会越来越加擅长。

机器学习的结构化周期

1. 定义一个问题。例如：如何判断一个邮件是垃圾邮件？
2. 数据处理：获取，清洗用于训练的数据
3. 训练与评估：在数据上训练模型，直至表现良好
4. 部署环境：部署到我们真实的生产环境中

那么这并不是一个全部的生命周期，在部署至生产环境中，随着时间的推移，我们必须持续的去优化这个系统，这是由于现实世界也是不断演化的，就如同我们人类，我们也必须持续的学习新事物，新思想用来顺应时代的发展

机器学习的几个算法

1. 监督学习：我们在训练前，在数据中附上标签，即数据的答案，让模型学习输入映射到我们预先规定好的输出上
2. 无监督学习：这意味着，我们在机器学习前，没有附带正确的答案，而是让模型根据数据，自行总结数据之间的关联，聚类，模式
3. 半监督学习：指的是将某一小部分数据标记好标签，引导模型在剩余庞大的训练集中进行训练
4. 强化学习：这里指的是在实际环境中采取行动，并根据奖励函数，最大化奖励，自动驾驶就是其中的一个应用

神经网络与深度学习

什么是神经网络？

顾名思义，其模仿的是人脑中的神经系统，我们的人脑使用相连的突触进行学习。当我们学习到新事物的时候，我们的神经系统会根据我们观察到的模式调整相应的突触强度。随着时间的推移，我们的大脑会越来越擅长相应的模式

在计算机领域中，神经网络由多层节点组成，节点充当着神经元的作用，每个节点的连接，充当着突触的作用。具体有以下几层：

1. 输入层：其拥有的节点数量取决于数据类型，例如一个 4x4 的图片中，就有 16 个节点，每个像素就是一个节点
2. 隐藏层：位于中间，用于处理并精炼数据，随着信号的深入，提取出越来越复杂的特征，每个连接都带有相应的权重，权重决定了其对下一层带有多大的影响
3. 输出层：生成最终的结果

深度学习（DL）

深度学习可以是监督式的，也可以是非监督式的。

它与机器学习的主要区别在于。机器学习主要采用的是传统的学习算法，而深度学习主要采用神经网络，现有的 TCN Transformer CNN 都是采用的神经网络学习

封装式智能

截止目前，本文说了人工智能领域下的几个分支:

• 人工智能：最广泛的领域
• 机器学习：人工智能一个分支：让计算机从数据中学习规律
• 深度学习：机器学习的一个分支，使用神经网络大规模处理数据

接下来讲的是大语言模型，基于 Transformer 架构的神经网络，自然是深度学习的一个分支

在几十年的机器学习的发展中，终于在 2023 年，诞生了一个具有划时代意义的大语言模型 ChatGPT,那么，他是如何工作的？

Transformer

大语言模型是基于深度学习的人工智能模型，通过预测文本序列中的下一个词处理生成文本，那么，要经历什么样的训练步骤才能让这个预测更加的准确？

首先第一步是预训练，在这一阶段，模型会处理庞大的训练数据。在这一阶段，大模型并不主要依靠人工标注去训练，而是数十亿的参数，共同编码了模型对语言的理解。在训练过程中，模型通常会被要求补全一句话的最后一个词，其猜测是随机的，随后，会将正确答案和预测的相互比较，并通过反向传播调整参数，使下一次预测更有可能猜中答案。那么在经过这个庞大数据集数万亿次的训练后，其预测就能变得十分精准，形成了非常准确的语言规律判断。

为什么预训练数据集可以这么大的规模？

原因有二：

1. GPU 技术的发展，能够并行计算
2. Transformer 神经网络架构的出现

这一架构首次提出了注意力机制，这样子模型能够根据上下文，为不同词语匹配不同程度的重要性。

预训练完成后，会进行一种RLHF的训练模式，也就是基于人类反馈的强化学习（Reinforcement Learning from Human Feedback）。

在这一过程中，会依靠人工对模型生成的回答打上无用，有用的标记，之后根据评判的结果继续调整参数

小结

通过以上内容，了解了 AI ， 机器学习，深度学习，大语言模型之间的关联，了解了常见的机器学习，深度学习的算法算法