Python实现决策树算法的原理与实现方式

决策树算法属于监督学习算法的范畴，适用于连续和分类输出变量，通常会被用于解决分类和回归问题。

决策树是一种类似流程图的树结构，其中每个内部节点表示对属性的测试，每个分支表示测试的结果，每个节点都对应一个类标签。

决策树算法思路

开始，将整个训练集视为根。

对于信息增益，假设属性是分类的，对于基尼指数，假设属性是连续的。

在属性值的基础上，记录被递归地分布。

使用统计方法将属性排序为根节点。

找到最佳属性并将其放在树的根节点上。

现在，将数据集的训练集拆分为子集。在制作子集时，请确保训练数据集的每个子集都应具有相同的属性值。

通过在每个子集上重复1和2来查找所有分支中的叶节点。

Python实现决策树算法

需要经历建设和运营两个阶段：

建设阶段，预处理数据集。使用Python sklearn包从训练和测试中拆分数据集。训练分类器。

运营阶段，作出预测。计算准确度。

数据导入，为了导入和操作数据，我们使用了python中提供的pandas包。

在这里，我们使用的URL直接从UCI站点获取数据集，无需下载数据集。当您尝试在系统上运行此代码时，请确保系统应具有活动的Internet连接。

由于数据集由“，”分隔，所以我们必须将sep参数的值作为传递。

另一件事是注意数据集不包含标头，因此我们将Header参数的值作为none传递。如果我们不传递header参数，那么它将把数据集的第一行视为header。

数据切片，在训练模型之前，我们必须将数据集拆分为训练和测试数据集。

为了分割数据集进行训练和测试，我们使用了sklearn模块train_test_split

首先，我们必须将目标变量与数据集中的属性分开。

X=balance_data.values[:,1:5]
Y=balance_data.values[:,0]

以上是分隔数据集的代码行。变量X包含属性，而变量Y包含数据集的目标变量。

下一步是拆分数据集以用于训练和测试目的。

X_train,X_test,y_train,y_test=train_test_split(
X,Y,test_size=0.3,random_state=100)

上一行拆分数据集以进行训练和测试。由于我们在训练和测试之间以70:30的比例拆分数据集，因此我们将test_size参数的值传递为0.3。

random_state变量是用于随机采样的伪随机数生成器状态。