自动驾驶之-MATLAB环境下基于深度学习的语义分割

深度学习，一个大号的，现代的，黑箱的，信号/图像处理器，本文程序运行环境为MATLAB R2018A。

详细代码

https://mianbaoduo.com/o/bread/Y5mYmZtq

本文简单讲解如何使用深度学习网络进行语义分割。语义分割网络对图像中的每个像素进行分类，从而生成按类别分割的图像，本文将语义分割应用于自动驾驶的道路分割。

为了说明训练过程，本文训练一个SegNet网络，这是一种用于图像语义分割的卷积神经网络 （CNN）。其他类型的语义分割网络包括全卷积网络（FCN）和U-Net等等。

本文使用剑桥大学的CamVid 数据集进行训练，数据集包括驾驶时获得的街道视图图像，为32个语义类（包括汽车、行人和道路）提供像素级标签。

同时还使用VGG-16网络的权重初始化SegNet 网络，因此需要安装 VGG-16 网络模型。

vgg16();

建议使用计算能力为 3.0 或更高版本的具有 CUDA 功能的 NVIDIATM GPU 来运行，使用 GPU 需要并行计算工具箱。

CamVid数据集

下载的CamVid图像及相应的像素标记图如下

加载CamVid图像

使用imageDatastore函数加载CamVid图像

imgDir = fullfile(outputFolder,'images','701_StillsRaw_full');
imds = imageDatastore(imgDir);

展示其中一张图像

I = readimage(imds,1);
I = histeq(I);
imshow(I)

加载CamVid像素标记图像

使用 pixelLabelDatastore函数加载CamVid像素标记图像数据。

按照原始SegNet论文，将 CamVid 中的 32 个原始类别分组为11个类别

classes = [
    "Sky"
    "Building"
    "Pole"
    "Road"
    "Pavement"
    "Tree"
    "SignSymbol"
    "Fence"
    "Car"
    "Pedestrian"
    "Bicyclist"
    ];

要将32个类别减少到 11 个类别，需要将原始数据集中的多个类别组合在一起。例如，"Car" 是“Car”，“SUVPickupTruck”，“Truck_Bus”，“Train”和“OtherMoving”的组合。使用camvidPixelLabelIDs函数返回分好组的标签 ID。

labelIDs = camvidPixelLabelIDs();

使用类别和标签 ID 创建pixelLabelDatastore

labelDir = fullfile(outputFolder,'labels');
pxds = pixelLabelDatastore(labelDir,classes,labelIDs);

将一个像素标记图像进行叠加，读取并显示该图像

C = readimage(pxds,1);
cmap = camvidColorMap;
B = labeloverlay(I,C,'ColorMap',cmap);
imshow(B)
pixelLabelColorbar(cmap,classes);

分析数据集统计信息

使用 countEachLabel函数查看CamVid 数据集中类别标签分布

tbl = countEachLabel(pxds)
tbl=11×3 table
        Name        PixelCount    ImagePixelCount
    ____________    __________    _______________

    'Sky'           7.6801e+07      4.8315e+08   
    'Building'      1.1737e+08      4.8315e+08   
    'Pole'          4.7987e+06      4.8315e+08   
    'Road'          1.4054e+08      4.8453e+08   
    'Pavement'      3.3614e+07      4.7209e+08   
    'Tree'          5.4259e+07       4.479e+08   
    'SignSymbol'    5.2242e+06      4.6863e+08   
    'Fence'         6.9211e+06       2.516e+08   
    'Car'           2.4437e+07      4.8315e+08   
    'Pedestrian'    3.4029e+06      4.4444e+08   
    'Bicyclist'     2.5912e+06      2.6196e+08   

按类别可视化像素计数

frequency = tbl.PixelCount/sum(tbl.PixelCount);
bar(1:numel(classes),frequency)
xticks(1:numel(classes)) 
xticklabels(tbl.Name)
xtickangle(45)
ylabel('Frequency')

理想情况下，所有类别的数目应该相等。但是，CamVid数据集中的类别是不平衡的，因此可以使用类别加权算法来处理。

调整CamVid数据

CamVid 数据集中的图像大小为720 x 960，为减少训练时间和内存占用，将图像大小和像素标签图像调整为 360 x 480。

imageFolder = fullfile(outputFolder,'imagesResized',filesep);
imds = resizeCamVidImages(imds,imageFolder);
labelFolder = fullfile(outputFolder,'labelsResized',filesep);
pxds = resizeCamVidPixelLabels(pxds,labelFolder);

准备训练集和测试集

SegNet网络使用数据集中 60% 的图像进行训练

训练和测试图像数量

numTrainingImages = numel(imdsTrain.Files)
numTestingImages = numel(imdsTest.Files)

创建网络

使用 segnetLayers函数创建SegNet网络，segnetLayers可自动从VGG-16网络中迁移权重

imageSize = [360 480 3];
numClasses = numel(classes);
lgraph = segnetLayers(imageSize,numClasses,'vgg16');

类别加权平衡

imageFreq = tbl.PixelCount ./ tbl.ImagePixelCount;
classWeights = median(imageFreq) ./ imageFreq

classWeights = 11×1

0.3182
0.2082
5.0924
0.1744
0.7103
0.4175
4.5371
1.8386
1.0000
6.6059

使用 pixelClassificationLayer 函数指定类别权重

pxLayer = pixelClassificationLayer('Name','labels','ClassNames',tbl.Name,'ClassWeights',classWeights)

移除当前的pixelClassificationLayer层，使用新的pixelClassificationLayer层更新 SegNet 网络，然后使用 connectLayers 函数将新层连接到网络。

lgraph = removeLayers(lgraph,'pixelLabels');
lgraph = addLayers(lgraph, pxLayer);
lgraph = connectLayers(lgraph,'softmax','labels');

指定训练参数

用于训练的优化算法是带动量的随机梯度下降 （SGDM）方法，使用trainingOptions指定用于 SGDM 的超参数。

options = trainingOptions('sgdm', ...
    'Momentum',0.9, ...
    'InitialLearnRate',1e-3, ...
    'L2Regularization',0.0005, ...
    'MaxEpochs',100, ...  
    'MiniBatchSize',4, ...
    'Shuffle','every-epoch', ...
    'VerboseFrequency',2);

数据增强

在训练过程中使用数据增强方法为网络提供更训练样本，有助于提高网络的分类准确率。

augmenter = imageDataAugmenter('RandXReflection',true,...
    'RandXTranslation',[-10 10],'RandYTranslation',[-10 10]);

开始训练

使用pixelLabelImageDatastore组合训练数据和数据增强选项，为训练网络做准备

pximds = pixelLabelImageDatastore(imdsTrain,pxdsTrain,...
    'DataAugmentation',augmenter);


[net, info] = trainNetwork(pximds,lgraph,options);

在某一图像上测试网络

为了快速测试网络，在一个测试图像上运行训练好的网络

I = read(imdsTest);
C = semanticseg(I, net);

显示结果

B = labeloverlay(I,C,'Colormap',cmap,'Transparency',0.4);
imshow(B)
pixelLabelColorbar(cmap, classes);

将C中的结果与 pxdsTest 中存储的真实值进行比较，绿色和洋红色区域突出显示分割结果与真实值不同的区域。

expectedResult = read(pxdsTest);
actual = uint8(C);
expected = uint8(expectedResult);
imshowpair(actual, expected)

从视觉效果上看，语义分割结果对于道路、天空和建筑物等类别较好。然而，较小的物体，如行人和汽车，并不那么准确。每个类别的重叠量可以使用IoU 指标（也称为 Jaccard ）衡量。

iou = jaccard(C, expectedResult);
table(classes,iou)

ans=11×2 table
      classes         iou   
    ____________    ________

    "Sky"            0.92659
    "Building"        0.7987
    "Pole"           0.16978
    "Road"           0.95177
    "Pavement"       0.41877
    "Tree"           0.43401
    "SignSymbol"     0.32509
    "Fence"            0.492
    "Car"           0.068756
    "Pedestrian"           0
    "Bicyclist"            0

道路、天空和建筑类别的 IoU 分数较高，而行人和汽车等类别的分数较低

评估网络

对整个测试集进行语义分割

pxdsResults = semanticseg(imdsTest,net,'WriteLocation',tempdir,'Verbose',false);

semanticseg函数将测试集的结果作为pixelLabelDatastore对象返回，imdsTest中每个测试图像的实际像素标记数据将写入磁盘。使用
evaluateSemanticSegmentation 可以测量测试集结果上的语义分割指标。

metrics = evaluateSemanticSegmentation(pxdsResults,pxdsTest,'Verbose',false);

evaluateSemanticSegmentation函数返回整个数据集、单个类别和每个测试图像的各种指标。查看数据集指标，键入metrics.DataSetMetrics .

metrics.DataSetMetrics

ans=1×5 table
    GlobalAccuracy    MeanAccuracy    MeanIoU    WeightedIoU    MeanBFScore
    ______________    ____________    _______    ___________    ___________

       0.88204          0.85097       0.60893      0.79795        0.60981  

若要查看每个类别对整体性能的影响，键入metrics.ClassMetrics.

metrics.ClassMetrics

ans=11×3 table
                  Accuracy      IoU      MeanBFScore
                  ________    _______    ___________

    Sky           0.93493     0.89244      0.88152  
    Building      0.79776     0.75263      0.59707  
    Pole          0.72635     0.18662      0.52252  
    Road          0.93676     0.90672      0.71043  
    Pavement      0.90674     0.72865      0.70362  
    Tree          0.86657     0.73747      0.66421  
    SignSymbol     0.7559     0.34519      0.43401  
    Fence         0.82807     0.50592       0.5083  
    Car           0.91187     0.75001      0.64352  
    Pedestrian    0.84866     0.35046      0.45551  
    Bicyclist     0.84705     0.54208      0.46818  

尽管整体数据集性能相当高，但类别指标显示，行人、骑自行车者和汽车类别与道路、天空和建筑物等类相比，没有被分割。

参考文献

[1] Badrinarayanan, Vijay, Alex Kendall, and Roberto Cipolla. "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation." arXiv preprint arXiv:1511.00561, 2015.

[2] Brostow, Gabriel J., Julien Fauqueur, and Roberto Cipolla. "Semantic object classes in video: A high-definition ground truth database." Pattern Recognition Letters Vol 30, Issue 2, 2009, pp 88-97.