the由于树模型非常习惯，因此很容易看到这个标题，而且很明显。但是，简单的事情容易产生知识盲点。如果仔细考虑，似乎确实存在一个问题：GBDT使用回归树。做类别-作者：？ 1条直通道路1-https：//www.cnblogs.com/always-fight/p/9400346.html编辑器：Azeri学习笔记❞关于内部传统机器学习算法中的GBDT是最佳的拟合算法之一实际分布。在过去的几年中，深度学习开始流行之前，GBDT在各种竞赛中都表现出色。效果确实良好的原因可能有几个；可用于分类和回归；它可以用来过滤特征。这三点非常令人着迷，每个人都喜欢在面试中询问此算法。 GBDT是一种算法，可通过使用加法模型（即基函数的线性组合）对数据进行分类或回归，并连续减少训练过程中产生的残差。 GBDT经过多轮迭代，每次迭代都会产生一个弱分类器，每个分类器都是在前一轮分类器的残差基础上进行训练的。弱分类器的要求通常足够简单，方差低且偏差大。因为训练过程是通过减少偏差来不断提高最终分类器的准确性。 2.如何将GBDT用于分类的第一步：“当训练时，针对样本X的每个可能的类别训练分类回归树”。如果当前训练集具有三个类别，即K = 3，并且样本x属于第二类别，那么我们可以使用三维矢量[0,1,0]来表示样本x的分类结果， 0表示它不属于该类别，1表示它属于该类别。由于样本已经属于第二类，因此对应于第二类的向量维为1，其他位置为0。对于三种类型的样本，我们基本上在每一轮的训练中同时训练三棵树。训练。第一棵树用于第一种类型的样本x，输入是，第二棵树用于第二种类型的样本x，输入是，第三棵树用于第三种类型的样本x，输入是。训练样本x后，生成三棵树，分别得出x类别的预测值。然后，在这种类型的训练中，样本x属于第一类，第二类和第三类的概率为：然后您可以找到第一类，第二类和第三类残差：然后开始第二轮在训练中，对于第一类输入，对于第二类输入，对于第三类输入，继续训练三棵树。重复进行M轮，并在每轮中建立三棵树。训练完成后，会出现一个新样本。当我们需要预测样本的类别时，会生成三个值。那么样本属于某个类别c的概率为：三个GBDT多分类示例下面以Iris数据集的六个数据为例，说明GBDT多分类过程专门应用于gbdt multi分类算法。我们使用三维矢量标记样本的标签，[1,0,0]指示样本属于虹膜虹膜，[0,1,0]指示样本属于杂色鸢尾，[0 ,, 0,1]表示它属于Virginia Sub iris。 gbdt的多分类是针对每个类独立训练CARTTree。因此，在这里，我们将为山虹膜类别训练CARTTree1。杂色鸢尾花训练CARTTree2。艾瑞斯弗吉尼亚州训练CARTTree3，这三棵树彼此独立。让我们以样本1为例：CARTTree1的训练样本为[5.1,3.5,1.4,0.2]，标签为1，模型输入为[5.1,3.5,1.4,0.2,1]。 CARTTree2的训练样本为[5.1，3.5,1.4,0.2]，标签为0，模型输入为[5.1,3.5,1.4,0.2,0] CARTTree3的训练样本为[5.1,3.5,1.4,0.2]，标签为0，模型输入为[5.1，3.5,1.4,0.2,0]让我们看看CARTTree1是如何生成的。其他树CARTTree2和CARTTree3以相同的方式生成。 CARTTree的生成过程是从这四个要素中找到一个要素作为CARTTree1的节点。例如，花萼的长度用作节点。在这6个样本中，花萼长度大于或等于5.1厘米的那些属于A类，而花萼长度小于5.1厘米的那些属于B类。生成过程实际上非常简单。问题是哪个功能最合适？该特征的哪个特征值用作切点？即使我们已经将花萼的长度确定为一个节点。花萼长度