文|小彭的灿烂笔记

编辑|小彭的灿烂笔记

前言

可溶性固形物含量（SSC）是衡量梨果实商业品质的重要指标，SSC是指果汁中可溶性固形物的含量，包括糖、有机酸、氨基酸和其他可溶性物质，SSC的水平直接影响梨的味道、甜度，营养价值和质量。

用于测定SSC的传统方法是提取法和密度法，这些方法需要大量的时间和精力，并且容易受到环境和操作因素的影响，导致结果不太准确和不稳定。

近年来随着近红外光谱（NIRS）的发展，越来越多的研究开始探索利用近红外光谱，快速准确地测定SSC，该方法具有无损、快速、高效、准确、可重复等优点，已成为评价梨果商业品质的最重要工具之一。

Vis–NIRS是一种快速无损检测技术，集成了可见光和近红外光谱，它通过检测样品在可见光和近红外波段的反射光谱，来获取光谱信息，该光谱信息允许在样品光谱，和可溶性固体含量之间建立定量关系。

在梨的SSC测定中，可以通过NIRS技术使用已建立的定量关系模型，来实现快速准确的测定，根据官能团的红外特征吸收峰。

选择一组与梨可溶性固形物含量对应的功能响应特征波长，对选定的特征波长进行加权，并与数学分析选择的特征波长融合。

结合数学分析的降维优化思想和化学性质，利用融合特征波长群建立PLS模型预测梨的SSC，评估所有模型的性能，以获得测定梨中SSC的最佳模型。

SSC测量

每个梨被切成小块，每个小块的体积不超过20毫米，将样品放入手动榨汁机中制成果浆，然后使用离心机以4000rpm的速度过滤10分钟。

然后将上清液倒入干净的烧杯中作为测量溶液，接着将上清液倒入比重计中，通过读取比重计的刻度得到SSC的值，需要注意的是所有实验均需在25°C下进行，测量过程中完全阻止空气进入混合物，这样才能使测量结果更加准确。

梨的Vis–NIR光谱数据通过台式红外光谱仪获得，其波长范围为350-1800nm，光谱采样间隔为1nm，10次扫描，分辨率为3nm，检测场角为25°，卤素灯光源为3.75安培。

测量系统布置在反射模式，用于收集梨的漫反射光谱，梨稳定地放在果架上，茎-花萼轴水平排列，对赤道周围的每个样品进行三次单独的光谱测量，以减少操作员和仪器的误差，然后利用这三个测量值的平均光谱来构建模型。

光谱数据在ASDViewSpecPro5.6.8中导出为ASCII码，然后导入到相对应的软件中进行数据分析和处理，UnscramblerV9.7软件用于光谱预处理和建模，Matlab2021a软件中的统计和机器学习工具箱，用于LASSO回归以及波长选择和优化。

竞争性自适应重加权采样（CARS）算法是一种用于特征波长筛选的方法，其基本思想是通过迭代竞争选择全光谱波长的最优组合。

CARS算法按顺序选择N个波长的子集，并使用指数递减函数和自适应加权采样来确定为每个采样选择的波长数量。

然后对每个子集进行交叉验证以计算其交叉验证的最小均方根误差，并选择RMSECV最小的子集作为最优变量子集。

遗传算法（GA）是基于生物进化原理的优化算法，通过对种群进行选择、交叉、突变等操作，不断迭代优化种群中的个体，最终得到适应性最高的个体作为最优解，该算法的核心思想是将优秀的个体传递给下一代，同时引入随机性以确保全局搜索能力。

遗传算法具有全局搜索能力、并行计算能力、自适应能力等优点，在解决复杂优化问题方面具有广泛的应用。

该算法的基本过程包括初始化总体、评估适应度、执行选择操作、交叉操作和变异操作以及重复迭代，直到输出适应度最高的个体作为最优解的步骤。

最小绝对收缩与选择算子（LASSO）回归是一种常用的特征选择方法，可以通过系数矩阵B的L1正则化将某些特征的系数压缩为零。

贡献修正梨SSC表征因子加权模型

贡献校正的梨SSC特征因子加权模型，是基于特征选择和加权的预测模型，该模型的核心思想是通过计算每个特征对SSC的贡献，并对其进行加权以训练预测模型，来自动为预测任务选择最有用的特征。

这样可以有效提高预测模型的准确性和稳定性，同时还可以减少特征的数量和模型的复杂性，假设测得的梨的SSC与J表征因子有关，则SSC值可以利用相关公式计算得到。

每个因子权重都可以使用最小二乘法计算，该方法最小化理论值与计算值之间的平方偏差，计算值不为0时，表示对应的表征因子与梨的SSC值有关，当计算值为0时，表示对应的表征因子与梨的SSC值无关。

偏最小二乘法是构建预测模型以及求解多元线性回归问题，常用的多元统计方法和数学优化技术。

与传统的多元线性回归方法相比，PLS方法可以有效处理高维数据和多共线性问题，提高模型的预测能力。

样本划分

使用基于关节x-y距离的样本集划分算法（SPXY）对校准集和预测集进行划分，在计算样品间距离时，同时考虑X变量（光谱数据）和Y变量（梨的SSC）来计算样品间距离，以确保样品分布的最大表征。

其中的内容概述了梨在校准和预测集中的SSC分布，统计值包括样本数、范围、平均值和标准差，可以看出240个样本的SSC测量值在平均值周围相当正态分布，标准差为0.709。

在理论上样本分为校准集和预测集，校准集的范围为9.441%至12.670%，预测集的范围为9.549%至11.945%，校准集的SSC范围大于预测集的SSC范围，有助于开发良好的模型。

从两个梨品种的一些典型样品的预处理光谱数据，我们看到光谱数据的平滑，不仅消除了噪声和不必要的波动，还保留了原始数据的趋势和特征。

除此之外还可以发现两个品种的样品，在整个光谱区域具有相似的光谱曲线变化趋势，但在680nm左右存在非常显著的反射差异，这主要是由于不同品种梨的皮肤反射的差异。

在使用CARS算法选择特征波长的过程中，用MATLAB创建的三个图描述了变量的数量、十倍交叉验证RMSECV值，以及每个变量的回归系数变化。

以下三幅图表可用于分析特征波长选择过程和CARS算法的结果，第一个图表显示了变量数量随样本数量的增加而变化。

我们可以看出CARS算法有“粗选”和“精选”两个过程，在采样的早期阶段，变量的数量迅速减少，然后随着样本数量的增加而缓慢减少。

这表明CARS算法，可以快速滤除与目标变量相关的特征波长，第一幅显示了单个PLS模型的2倍交叉验证值，随样本数量的增加而变化，可以看出相应的数值，呈现先减少后增加的趋势。

其中RMSECV值样本数最少的变量子集，可以标识为与目标变量关联的变量的关键子集，这表明CARS算法，能够有效地从目标变量中去除不相关的信息，提高模型的预测性能。

采用遗传算法通过频率值确定建模变量的数量，总大小为30，最大迭代次数为100，交叉概率为50%，方差概率为1%。

下图中第一个图表表示所选波长的频率，图中红线为遗传算法完成后自动生成的频率阈值，绿水平线为RMSECV最小模型的截止值。

第二个图表显示了交叉验证（CV）解释的方差作为包含变量数量的函数，CV解释方差是用于评估模型预测性能的指标，指示模型解释观测数据的能力，当变量数增加到29时，红色星号表示与模型中显著的F检验结果对应的变量数。

红线为遗传算法完成后自动生成的频率阈值，绿水平线表示RMSECV最小的模型的截止值，红色星号表示与模型中显著F检验结果对应的变量数，绿色星号表示全局最大值，即在所有变量数中由CV解释的方差最大的模型。

在LASSO回归路径图中，显示了不同系数如何随正则化参数λ而变化，在LASSO回归路径图中，水平轴为λ，纵轴是LASSO回归系数的绝对值，带误差线的MSE是可视化模型性能的常用方法，可以帮助我们更直观地了解不同模型的预测性能和稳定性。

该方法通过绘制误差线，来表示每个模型的MSE值及其置信区间，以便它可以显示模型的平均误差和误差范围。

首先计算每个模型的MSE值及其置信区间，采用10倍交叉验证计算每个模型的10个MSE值，然后计算其均值和标准误差为模型的MSE值和置信区间。

就像图中这样，误差线由一个中心点和两条线段组成，中心点表示模型的平均MSE值，垂直线段表示置信区间，从中心点向上和向下延伸，表示置信区间的上限和下限。

梨近红外光谱特性与SSC的相关性分析

建模方法的选择，对模型的性能和稳定性有很大影响，从相关表中的数据，我们也可以看出CARS-PLS、GA-PLS和LASSO-PLS模型的预测性能和稳定性，都优于原始数据PLS模型，这表明适当的建模方法，可以提高模型的预测能力和稳定性。

梨SSC化学群响应光谱特征波长的选取方法，利用光谱技术分析梨样品中的化学成分、分子结构等信息，以确定与SSC相关的特征波长，提高预测模型的准确性和稳定性。

梨溶性固体与光谱数据之间的相关系数图，反映了不同波长下的光谱响应与梨溶性固体含量之间的相关性。

465nm和522nm处的光谱响应，对应于芳香族化合物的跳跃吸收峰，980nm处的光谱响应对应于梨中羟基官能团的振动吸收峰，因为羟基官能团可以在这个波长范围内振动产生吸收峰。

从梨品质属性与光谱的响应关系，可以确定SSC与某些群谱之间存在较高的相关性，LASSO选择特征波长集S1、梨SSC化学群响应光谱对应的波长集S2，以及LASSO-GWF特征波长集S。

结语

我们在研究的过程中，采用了预测效果最佳的LASSO-PLS方法，实现梨内SSC的快速准确评估。

与具有原始数据的PLS模型相比，R2卡尔从0.949提高到0.976，为了进一步提高模型效果，我们对LASSO算法选择的特征波长组进行加权融合，然后与梨可溶性固体群响应谱融合，最后提出LASSO-GWF-PLS模型。

与仅采用数学分析的LASSO-PLS方法相比，该方法的计算结果为“线性”，R2卡尔的LASSO-GWF-PLS模型从0.949改进到0.992，这表明梨溶性固形物中化合物群响应光谱的融合，对模型具有增强作用。

通过选择与群响应光谱融合的特征波长选择方法的适当数学分析，优化了预测模型的性能，我们也可以用这样的方法，来分析其他水果的含糖量、酸度等品质，为果实等食品品质分析提供了新的思路。