一种多任务稀疏贝叶斯极限学习机回归方法

1.一种多任务稀疏贝叶斯极限学习机回归方法，其特征在于：所述回归方法应用于岩土工程中，具体包括以下步骤：步骤一、对于单隐含层神经网络，由零均值高斯分布随机生成神经网络输入层权值矩阵Φ和隐含层神经元偏置矩阵B，对全部L个任务的输入x i (i＝1...L)均使用相同的Φ和B映射到高维空间H i ＝f(x i Φ+B)，从而构建L个任务的基函数矩阵H i ；步骤二、通过多任务稀疏贝叶斯学习方法，从L个任务的基函数矩阵H i 和L个任务的输出t i (i＝1...L)中推断出L个任务共享的超参数α j ，j＝1...M，M为隐含层神经元个数，并得到每个任务各自的输出层权值w i 的后验概率分布；步骤三、从输出层权值w i 的后验概率分布中选取合适的值作为神经网络输出层权值，令每个任务输出层权值w i ＝μ i ，μ i 为后验概率分布最大值处，在高斯分布中为均值；所述全部L个任务包括任务1和任务2，对于任务1，以液性指数、竖向有效应力为输入，土壤灵敏度的对数值为输出；对于任务2，以液性指数、竖向有效应力为输入，预固结应力的对数值为输出。 2.根据权利要求1所述的方法，其特征在于：所述步骤一具体为：步骤1.1、基于极限学习机的回归问题能够统一写为：其中，w j 为输出层权值，θ j 为与第j个隐含层节点相连输入层权值与隐含层偏置参数，对于全部M个隐含层节点Θ＝[θ 1 ，...，θ M ]，包含了从零均值高斯分布中随机生成的神经网络输入层权值矩阵Φ和隐含层神经元的偏置矩阵B；h j (.)为激活函数，极限学习机中取为 步骤1.2、对全部L个任务，均使用相同输入层至隐含层参数Θ，即全部L个任务的输入层权值矩阵Φ和隐含层神经元偏置矩阵B均相同，仅输入x i 不同，从而由不同任务中得到L个行数不同、列数相同的基函数矩阵：其中，N为数据量；步骤1.3、步骤1.1中的回归问题改写为矩阵形式：Hw＝T对于极限学习机而言，通过求H的M-P广义逆能够求解输出层权值w；在多任务稀疏贝叶斯极限学习机中，通过层次贝叶斯模型对输出层权值w进行求解。 3.根据权利要求2所述的方法，其特征在于：所述步骤二具体为：步骤2.1、对于第i个任务的输出层权值w i ，其先验分布建模为零均值高斯分布：其中，α 0 为噪声精度参数，其先验建模为Gamma分布：p(α 0 |a，b)＝Ga(α 0 |a，b)其中，a是形状参数，b是逆尺度参数；步骤2.2、对于第i个任务的输出层权值w i ，其后验分布经推导为：其中：A＝diag(α 1 ，α 2 ，...，α M )步骤2.3、超参数α通过经验贝叶斯方法估计，并可得到输出层权值的后验分布μ，∑：具体为：步骤2.3.1、初始化α：对j＝1...M分别计算证据函数增量：其中：K i ＝N i +2as i，j ＝H′ i，j H i，jq i，j ＝H′ i，j t ig i，j ＝t′ i t i +2b对证据函数增量最大的神经元j，重新估计其对应的超参数α j ：步骤2.3.2、如用j表示α发生更新的基函数序号，k表示当前已考虑的基函数序号，l表示全部基函数序号，只需进行如下步骤的循环即可求解参数和超参数α，μ，∑：(1)通过α j 计算出每个任务的μ i ，∑ i ，S i，l ，Q i，l ，G i ；(2)通过以下公式计算判别式θ js i，j ＝α j S i，j /(α j -S i，j )q i，j ＝α j Q i，j /(α j -S i，j )θ j 大于0的基函数保留在模型中，θ j 小于0的基函数从模型中剔除，由此形成三种状态：增添基函数、删除基函数、重新估计基函数；对应三种状态分别求出证据函数的增量，选择增量最大的方案对α j 进行修改，即令 表示更新后的超参数α j ，重复上述过程进行循环；对于增添基函数、删除基函数和重新估计基函数，下面给出α j 更新后证据函数增量及μ i ，∑ i ，S i，l ，Q i，l ，G i 的计算方法，对于多任务情况，总的证据函数增量只需对所有任务的证据函数增量进行求和即可；a.增添基函数通过以下公式计算 μ i ，∑ i ，S i，l ，Q i，l ，G i ：其中，∑ i，jj ＝(α i，j +S i，j ) -1 ，μ i，j ＝∑ i，jj Q i，j ，e i，j ＝H i，j -H i ∑ i H′ i H i，jb.重新估计基函数通过以下公式计算 μ i ，∑ i ，S i，l ，Q i，l ，G i ：其中，∑ i，k 是∑ i 的第k列， c.删除基函数通过以下公式计算 μ i ，∑ i ，S i，l ，Q i，l ，G i ：步骤2.4、当证据函数增量小于阈值时，结束循环，得到单隐含层神经网络输出层权值的后验概率分布均值μ i ，令每个任务的输出层权值w i ＝μ i 即可，得到的每个任务的输出层权值w i 为高度稀疏的，且对于所有任务，w i 中非零项出现在相同位置。