面向智能体界面信息泄露削减的大小模型端云协同方法

1.一种面向智能体界面信息泄露削减的大小模型端云协同方法，其特征在于，在界面结构感知的预处理阶段，通过分析XML层级结构将用户界面划分为语义相关的结构化区块；在本地—云端协同规划阶段，由本地LLM根据划分好的区块提出多个子任务候选，云端LLM基于对所有候选项的全局理解选择或生成更准确的当前子任务；在本地—云端协同决策阶段，本地LLM根据子任务对界面区块进行初筛排序，云端LLM进一步在高相关区块内进行细粒度决策；当云端LLM判断当前信息不足以支持可靠决策时，向本地LLM请求更多上下文内容，实现保障任务成功率与削减信息暴露之间的权衡。 2.根据权利要求1所述的面向智能体界面信息泄露削减的大小模型端云协同方法，其特征是，所述的预处理阶段包括：1.1.使用uiautomator2工具从移动设备中提取当前UI状态的包含当前用户界面中各UI元素的属性和层级结构的XML文件；1.2.解析XML文件获得相应的XML树结构，通过深度优先遍历提取出符合条件的重要节点，具体为满足以下任一条件：a.可点击(clickable)且包含描述信息b.可编辑(editable)c.含有文本(text)、描述(description)、提示(hint)语义信息字段；1.3.在步骤1.2的遍历过程中，为所有节点分配唯一编号，并记录重要节点的祖先路径，路径形式为 ，其中： 是根节点编号， 为该重要节点 的直接父节点编号；1.4.对所有重要节点的祖先路径集合 ，依次从深度 到最大路径深度 进行遍历；1.5.在每一个深度 ，按各节点的第 层祖先编号 进行划分，将具有相同祖先 的重要节点分到同一个区块中，在该深度祖先不同的重要节点则应分到不同的区块中；1.6.若某一深度划分出的区块数量不少于三个，则选用该深度上的划分结果作为最终区块划分的结果；1.7.将每个区块内的重要节点按照其在XML树中的深度优先顺序排列，并保留其在原始XML树结构中的属性，具体为：文本内容、描述、类名、资源标识符和包围盒位置坐标信息；1.8.将划分出的所有用户界面区块按顺序编号，得到 ，每个 代表一个区块，其由相应的重要节点 构成，即 。 3.根据权利要求1所述的面向智能体界面信息泄露削减的大小模型端云协同方法，其特征是，所述的本地—云端协同规划阶段具体包括：2.1.对于每一个由区块划分方法得到的UI区块 ，将其与用户提供的任务描述 、已完成的历史操作序列 组合为输入 发送至本地LLM；2.2.本地LLM判断任务进展，输出一个当前区块内可能执行的逻辑子任务 ，具体为同时满足以下条件：a.只基于当前区块信息 得出，不依赖于其他区块信息b.不泄露任何具体的UI元素信息c.以自然语言表达逻辑意图；2.3.重复步骤2.1-步骤2.2，得到所有区块对应的候选子任务集合 ；2.4.将候选子任务集合 连同用户任务描述 和历史操作序列 组合为输入 发送至云端LLM进行规划，具体包括：i)云端LLM根据各个区块上的候选子任务推断整体用户界面的功能分布，在无法获取具体UI信息的情况下保证任务规划具有较强的上下文一致性与实际可执行性；ii)云端LLM利用其较强的规划能力，综合分析候选子任务集合 ，从中选择最为合理的子任务 作为当前应执行的子任务；iii)若集合 中的候选子任务均不合理，云端LLM可基于自身推理和分析生成一个新的子任务 。 4.根据权利要求1所述的面向智能体界面信息泄露削减的大小模型端云协同方法，其特征是，所述的本地—云端协同决策阶段具体包括：3.1.本地LLM基于先前划分得到的用户界面区块集合 以及协同规划得出的当前子任务 ，对每一个区块 进行重要性评估，生成其对应的重要性得分 ，具体为： ，即大模型判断生成的得分总和为1；3.2.根据得分结果形成对所有区块的重要性排序，排序后的区块序列 ，其中： 为得分最高的区块，最可能包含解决子任务所需的关键信息；3.3.本地LLM将得分最高的区块 上传至云端LLM，通过云端LLM结合完整任务描述 、历史交互记录 以及当前区块内容，首先评估是否具备足够信息以完成本次决策，若云端LLM判定当前区块信息充足，则进行决策，直接跳转至步骤3.6；3.4.若云端LLM判定当前区块信息不足以支持可靠决策，则向本地请求下一个得分次高但尚未上传的区块 ，继续上传至云端并与已接收的区块信息进行合并；3.5.每次上传新块后，云端LLM基于当前累积的多个区块信息重新进行决策判断，该过程采用递进式的信息积累机制，直到云端LLM确信当前信息充足，做出精确且可执行的决策，或所有区块均已上传完毕为止，这种机制有效实现削减上传信息量与保证决策准确性之间的动态权衡，即便在本地LLM初始排序筛选出错或任务本身复杂度较高的情况下，云端LLM仍可通过多轮迭代获取充分、必要的用户界面信息，做出正确决策；3.6.云端LLM最终决策结果为 ，其中： 为与用户界面交互的动作类型(点击、长按或文本输入)， 为需交互的具体UI元素编号， 为输入内容(当 为文本输入时有效，其余情况为 )。 5.一种实现权利要求1-4中任一所述协同方法的系统，其特征在于，包括：用户界面分块单元、本地子任务生成单元、云端子任务筛选与修正单元、本地用户界面区块排序筛选单元、多轮信息累积控制单元、云端决策单元以及执行单元，其中：用户界面分块单元获取当前界面的XML树结构，从中提取具有语义信息的重要可交互元素，并通过分析这些元素在树结构中的共同祖先节点进行分组，得到至少三个语义连贯的UI区块；本地子任务生成单元由本地LLM针对每个UI区块，结合用户任务描述与历史操作，独立生成当前区块内可能执行的不涉及具体界面元素的候选子任务；云端子任务筛选与修正单元通过云端LLM接收所有由本地LLM生成的候选子任务，并结合全局任务描述与历史操作，判断当前最合适的子任务；本地用户界面区块排序筛选单元通过本地LLM根据当前最合适的子任务，对所有UI区块按照与子任务的相关性进行重要性评分与排序；多轮信息累积控制单元通过云端LLM判断首轮上传且重要性评分排序第一的UI区块信息是否足以完成当前子任务；若信息不足，则触发下一轮上传机制，从剩余区块中选择次优块继续上传，直至云端LLM判断已有足够信息以支持可靠决策；云端决策单元在接收到的UI区块集合上通过云端LLM执行细粒度分析与决策，确定具体的目标UI元素及其交互动作；执行单元接收最终决策，并在用户移动设备上自动执行，完成当前步骤；执行后系统记录操作，准备进入下一轮交互，直至完成所有子任务。 6.根据权利要求5所述的系统，其特征是，所述的用户界面分块单元包括：结构提取模块与区块划分模块，其中：结构提取模块根据当前页面的XML数据，解析出用户界面元素的层级结构及属性，得到处理后的UI树结构；区块划分模块对结构提取模块得到的UI树进行遍历，识别重要可交互节点，并基于其在树中的祖先路径进行分组，输出至少三个语义连贯的UI区块。 7.根据权利要求5所述的系统，其特征是，所述的本地子任务生成单元包括：上下文融合模块与语义凝练模块，其中：上下文融合模块将用户当前任务描述与历史操作序列作为输入，联合每个区块的内容作为本地模型的输入上下文；语义凝练模块通过本地LLM生成对应区块内可执行的子任务描述，不涉及具体UI元素信息，确保用户界面隐私不被上传；所述的云端子任务筛选与修正单元包括：上下文融合模块与子任务筛选与修正模块，其中上下文融合模块负责接收所有由本地LLM生成的子任务候选描述，并结合完整任务描述与历史操作记录，作为云端LLM的输入上下文；子任务筛选与修正模块在输入上下文基础上评估各子任务候选的合理性与可行性，从中挑选最合适的作为最终子任务，若无候选项满足任务需求，则由云端LLM修正或重新生成子任务，确保该子任务具备清晰的操作指导性并符合当前任务推进目标。 8.根据权利要求5所述的系统，其特征是，所述的本地用户界面区块排序筛选单元包括：任务关联分析模块与区块排序模块，其中：任务关联分析模块根据云端LLM确认的当前子任务，本地LLM分析各区块内容对于完成该子任务的重要性，并依次打分；区块排序模块根据本地LLM对所有UI区块的打分进行排序，确定各区块的重要性排序与上传优先级；所述的多轮信息累积控制单元包括：信息充分性判断模块与区块递进上传模块，其中：信息充分性判断模块由云端LLM对当前已上传的排序第一的高优先级UI区块进行分析，判断该区块内容是否足以支持云端LLM完成子任务决策；若信息不足，则区块递进上传模块按照本地生成的优先级顺序，从剩余未上传的区块中依次选取次优区块上传，直至信息充分性判断模块认为当前内容已满足云端决策需要。 9.根据权利要求5所述的系统，其特征是，所述的云端决策单元包括：信息聚合模块与动作决策模块，其中：信息聚合模块整合上传至云端的UI区块内容与当前子任务，构建用于决策的上下文信息；动作决策模块通过云端LLM完成细粒度的交互决策，即明确目标UI元素及应执行的交互类型。 10.根据权利要求5所述的系统，其特征是，所述的执行单元包括：操作执行模块与状态更新模块，其中：操作执行模块接收云端决策输出，调用ADB工具控制移动设备进行对应操作，点击、输入、长按；状态更新模块记录当前操作至交互历史，自动进入下一轮任务处理流程，直至任务完成。