1.一种基于强化学习的宽带频谱感知方法，其特征在于：包括S1：分时分频序贯宽带感知搜索建模；S2：基于马尔科夫决策过程的最优序贯感知搜索；S3：基于蒙特卡洛树搜索的快速序贯感知搜索；所述分时分频序贯宽带感知搜索建模为：认知无线电节点通过智能决策每个时隙的观测输入，从而有选择性地更新对各个信道状态的置信估计值，所述认知无线电节点的最优感知策略表示为：其中，T为总共可用的感知间隙数目，期望E[·]由T个时序的序贯感知数据的联合概率分布所定义，c S (d t-1 ,d t )为从第d t-1 个信道切换到第d t 个信道的代价，在感知时隙t，认知无线电节点做出当前的感知决策d t ∈{0,1,…,L}，其中d t ＝0表示终止感知行为；d t 取其他值表示在时隙t感知信道d t ，q l 为第l个信道的质量， 表示认知无线电节点基于T个时隙观测后认为信道l处于“空闲”状态的概率， 为定信道l为“空闲”获得的期望奖励；所述认知无线电节点利用感知采集得到数据，可以迭代更新对各个信道状态的置信估计，其中 和 分别表示信道d为“忙碌”或“空闲”的情况下，感知采样数据为y的似然函数，由公式(2)可知，置信估计的更新取决于 和采样获取的数据 当信道d的需要感知发现的无线系统信号强而信道噪声弱时，观测似然函数 和f 1 d (y)的距离比较大；所述马尔科夫决策过程和最优策略定义的基础上，对分时分频序贯宽带感知搜索问题所对应的状态空间、动作空间、奖励函数和转移函数进行建模，具体为：S2.1：每个时刻，状态空间的每个状态 可以定义为 其中 表示在观测t-1个时隙的数据后，当前时刻认知无线电节点对各个信道状态的置信估计，λ t-1 表示在t-1时隙结束认知无线电节点所处的信道；S2.2：对于动作空间 则d t 代表认知无线电节点的可选择的感知行为，即d t ∈{0,1,…,L}，其中d t ＝0表示终止感知行为，并基于当前所获得信息完成频谱状态决策，d t ＝l>0则表示感知第l个信道；S2.3：奖励函数r(s,a)定义为其中c S (i,j)为从第i个信道切换到第j个信道的代价，S2.4：态转移函数p(s t ,a t ,s t+1 )表示在时刻t的情况下，采取动作a t ，状态转移到s t+1 的概率；第t+1时刻认知无线电节点所处的信道λ t+1 等于其信道决策值d t ，对于未观测到的信道l≠d t ，由于没有新的信息输入，其置信值 而对于当前正在观测的信道d t ，其置信概率由将在观测到所采样感知的数据 后进行更新，其更新公式由贝叶斯公式给出，即综上，得到状态转移概率为 其中，δ(·)为狄拉克函数， g -1 (·)为函数g(·)的拟映射，表示在给定 的条件下观测值 的概率密度函数，即所述基于蒙特卡洛树搜索的快速序贯感知搜索具体通过迭代的方式动态生成“决策-观测”的路径以及决策子树，并且完成路径上奖励值得统计和更新；每次迭代包括四个步骤分别为(1)决策树前馈，(2)决策节点展开，(3)蒙特卡洛仿真，(4)感知结果回溯；所述决策树前馈为(1)对于决策节点 选择第i * 个子节点，其中i * 满足其中，其中，Q(v)表示从节点开始直到感知终止可以获得的平均奖励值，Q(v)通过蒙特卡洛仿真采样得到；而N(v)表示进行仿真蒙特卡洛仿真的仿真次数； 为观测节点；(2)从观测节点 出发，假设 则从 迁移到子节点应符合在置信估计 下对信道λ τ 的观测； 即采样得到输入观测数据 并通过数据y按照公式(2)更新得到 认知无线电节点得到此时的置信估计 并转移至子节点 对于新加入的决策节点 假设其父节点为 则初始化 的统计值为 和
2.根据权利要求1所述的一种基于强化学习的宽带频谱感知方法，其特征在于：所述决策节点展开为假设 为当前还未尝试的感知决策的集合，则随机地选择第 个信道进行频谱感知，并且添加新的观测节点 同时，在观测节点 的基础上，进一步增加新的决策节点 同时，初始化新加入的观测节点和决策节点的统计值Q(v)＝0和N(v)＝0。
3.根据权利要求1所述的一种基于强化学习的宽带频谱感知方法，其特征在于：所述蒙特卡洛仿真为从该决策节点出发，继续向下生成“决策-感知”路径，直到“终止感知”行为被选择，对于路径上的“决策节点”的感知行为使用随机选择方式，同时，在仿真过程中记录仿真路径中从“决策节点”到“观测节点”产生的信道切换代价，由式(3)可知，若此时进行感知决策，得到的平均感知决策收益，定义为Δ 1 ，为 同时，假设在仿真过程中，从新加入的“决策节点”至“仿真终止”，即从时隙τ到时隙T，所有产生的感知代价为Δ 2 ，至此，“感知奖励仿真”步骤结束，并且得到新加入的“决策节点”的感知奖励值得估计为
4.根据权利要求1所述的一种基于强化学习的宽带频谱感知方法，其特征在于：所述感知结果回溯为：定义从根节点 到新加入“决策节点”构成的“决策-观测”路径为 则首先更新 的统计值为 和 进一步地，对于 中的节点，从下向上更新其统计值：(1)对于“观测节点” 更新其统计值为其中， 为 的子节点；(2)对于“决策节点” 更新其统计值为其中， 为 的子节点， 为从“决策节点” 迁移到“观测节点” 的信道切换代价。
