MATLAB环境下基于RUSBoost算法的不平衡样本分类

程序运行环境为MATLAB R2018a，低于此版本可能运行不成功

本文简单讲解一下如何在不平衡样本的情况下进行分类。使用RUSBoost算法，RUSBoost是一个非常简单的针对不平衡数据集的算法，算法如其名，就是RUS+Boost。

RUS（random undersampling）：随机欠抽样，随机从数据集中抽取一定量的多数类样本和少数类组成平衡分布的训练数据集

Boost：指的是 Adaboost.M2 算法

RUSBoost：将Adaboost.M2算法的每轮迭代，在训练弱分类器之前，使用RUS方法抽取训练数据集，用于弱分类器训练。

本文使用来自 UCI 机器学习的"Cover type"数据，见<Covertype Data Set>中所述，本文对森林覆盖类型进行分类。数据集的介绍见如下文章

机器学习_Covertype Data Set(植被型数据集) - 道客巴巴 (doc88.com)

首先获取数据，将数据导入工作区，将最后一个数据列提取到名为|Y|的变量中。

load covtype.data
Y = covtype(:,end);
covtype(:,end) = [];

检查数据

tabulate(Y)

Value Count Percent
1 211840 36.46%
2 283301 48.76%
3 35754 6.15%
4 2747 0.47%
5 9493 1.63%
6 17367 2.99%
7 20510 3.53%

对数据进行划分，使用一半数据拟合分类器，一半用于测试

rng(10,'twister')         % 确保复现
part = cvpartition(Y,'Holdout',0.5);
istrain = training(part); % 拟合数据
istest = test(part);      % 测试
tabulate(Y(istrain))

Value Count Percent
1 105919 36.46%
2 141651 48.76%
3 17877 6.15%
4 1374 0.47%
5 4747 1.63%
6 8684 2.99%
7 10254 3.53%

创建一个集成分类器，使用deep trees获得更高的集成精度，将树设置为决策拆分的最大数量|N|，其中|N|训练样本的观测值数量

N = sum(istrain);         
t = templateTree('MaxNumSplits',N);
tic
rusTree = fitcensemble(covtype(istrain,:),Y(istrain),'Method','RUSBoost', ...
    'NumLearningCycles',1000,'Learners',t,'LearnRate',0.1,'nprint',100);
toc

Training RUSBoost...
Grown weak learners: 100
Grown weak learners: 200
Grown weak learners: 300
Grown weak learners: 400
Grown weak learners: 500
Grown weak learners: 600
Grown weak learners: 700
Grown weak learners: 800
Grown weak learners: 900
Grown weak learners: 1000
Elapsed time is 426.143168 seconds.

绘制分类误差

figure;
tic
plot(loss(rusTree,covtype(istest,:),Y(istest),'mode','cumulative'));
toc
grid on;
xlabel('Number of trees');
ylabel('Test classification error');

该集成分类器使用 116个或更多的树实现低于 20% 的分类误差。.

检查每个类的混淆矩阵占真值的百分比

tic
Yfit = predict(rusTree,covtype(istest,:));
toc
tab = tabulate(Y(istest));
bsxfun(@rdivide,confusionmat(Y(istest),Yfit),tab(:,2))*100

除2类外，所有类的分类准确率均超过90%。

压缩集成分类器

cmpctRus = compact(rusTree);
sz(1) = whos('rusTree');
sz(2) = whos('cmpctRus');
[sz(1).bytes sz(2).bytes]

ans =

1.0e+09 *

1.6575 0.9418

集成分类器压缩后的大小大约是原来大小的一半。

从cmpctRus中移除一半的树木看一下

cmpctRus = removeLearners(cmpctRus,[500:1000]);
sz(3) = whos('cmpctRus');
sz(3).bytes

ans =

452637153

移除一半树木的cmpctRus集成分类器占用原集成分类器的四分之一内存，然而其整体损失率低于19%：

L = loss(cmpctRus,covtype(istest,:),Y(istest))

L =

0.1833

完整代码如下

https://mianbaoduo.com/o/bread/Y5mUlZhv