大模型智能体应用全生命周期安全防护能力研发

关注

请登录

请登录

2026-10-22

2026-11-16

面议

查看详情 反馈数据

需求描述

【技术难题概述】
随着大模型及智能体应用在信息通信行业的快速部署与广泛应用,其自身面临的新型安全威胁日益突出。与传统Web应用不同,大模型应用面临提示词注入攻击、模型输出内容违规、敏感数据泄露、过度代理越权调用、算力资源滥用等全新内容级与应用级安全风险。当前行业普遍缺乏针对大模型应用全生命周期的系统化安全防护方案:上线前缺少自动化、标准化的安全评估工具与评测体系;运行中缺乏实时检测与防御能力,难以有效识别和拦截新型AI攻击手段;运行后缺少持续安全监控与加固机制。同时,现有安全产品大多基于传统规则匹配技术,难以应对基于自然语言语义的智能攻击,亟需探索“以大模型技术对抗大模型威胁”的新路径。上述问题已成为制约大模型在通信行业安全落地与规模化应用的关键技术瓶颈,单一企业难以独立完成从评估、防护到加固的全链条技术攻关,需要产业链协同创新。
【技术攻关预期技术目标】
(1)构建大模型应用安全评估系统,内置不少于10万条高质量对抗攻击样本语料库,覆盖不少于30种越狱诱导、提示词注入等攻击评测方法,实现输出内容合规评测、对抗攻击防御评测、基础环境漏洞检测、训练语料安全审查四大核心能力;
(2)构建大模型应用实时防护系统,采用多引擎检测技术架构,实现“显性拦截-语境分析-深度推理”三级递进式防御机制;
(3)敏感信息识别准确率不低于95%,支持身份证号、手机号、业务密钥等敏感信息的实时识别、脱敏和封堵;
(4)构建输出端内容安全加固能力,支持流式输出场景下的实时检测,遇敏感内容即时停止并告警。
支持本地化部署和SaaS化服务两种模式;系统性能需满足生产环境毫秒级检测延迟要求,不影响大模型服务的正常用户体验;需符合《生成式人工智能服务管理暂行办法》等法规及行业监管要求。

验收标准

榜单条目内“技术攻关后希望达到的预期技术目标”即为考核目标(见需求详细介绍【技术攻关预期技术目标】),验收时重点核查技术指标完成情况、成果落地及产业化成效。

资质要求

(申报主体要求)1.原则上需在闽注册,具备独立法人资格的企业、科研院所、高等院校等单位均可申报揭榜;鼓励多家单位组成联合体联合揭榜,联合体应明确牵头单位,厘清各方权责分工。2.揭榜单位需具备开展对应课题攻关所需的技术储备、研发团队、软硬件条件,拥有完成榜单任务的科研实力;联合体牵头单位应具备统筹协调各参与单位开展技术攻关的组织能力。3.揭榜攻关方案需瞄准榜单提出的技术指标、性能参数,做到目标可量化、任务可考核、成果可验收。揭榜单位应当恪守科研诚信,严禁虚报技术能力、伪造材料,一经发现,取消揭榜资格。

其他

榜单序号:4/7;报送要求:认真研读榜单技术需求编制揭榜攻关实施方案(含攻关总体目标、技术路线、研究内容、关键技术、考核指标、实施周期、经费预算、团队配置、成果产出及落地应用方案、风险应对举措等;联合体揭榜须附合作协议,明确任务分工与知识产权归属),全套揭榜申报材料(加盖公章,纸质版和电子版)于2026年11月16日前报送福建省信息通信业科技创新与产业创新协同中心,逾期不予受理;评审:协同中心与福建省信息通信行业协会联合需求提报单位组织专家评审(技术路线可行性、研发实力、资源保障、成果价值与落地前景),择优确定中榜单位;中榜单位严格按方案推进,攻关期满组织验收(技术指标完成情况、成果落地及产业化成效);榜单难题相关技术细节可与榜单需求提报单位开展对接交流;依据文件:《关于开展2026年福建信息通信行业融合创新任务揭榜挂帅工作的通知》(闽通信发展〔2026〕36号);联系人原文:周老师 17705056783,fzzhoukeyang@qq.com;发布机构:福建省通信管理局,落款2026年10月22日,网页发布2026-10-27 10:47。

联系方式

请登录
试试对话AI技术经理人

推荐专利

大语言模型的安全对抗测试方法、装置及电子设备

本公开提供了大语言模型的安全对抗测试方法、装置及电子设备,涉及人工智能技术领域,尤其涉及深度学习、云计算、自然语言处理、大模型等技术领域。具体实现方案为:获取目标大语言模型对应的提示文本集合、对抗策略库以及对抗提示生成模型;根据提示文本集合中的原始提示文本、对抗策略库中的对抗策略以及对抗提示生成模型,生成对抗提示文本;根据对抗提示文本对目标大语言模型进行安全对抗测试;其中,结合对抗提示生成模型生成对抗提示文本,进而对目标大语言模型进行安全对抗测试,能够降低对抗提示文本的生成成本,提高对抗提示文本的生成效率,进而提高目标大语言模型的安全对抗测试效率。

一种智能体运行时的安全控制方法及装置

本申请涉及人工智能安全技术领域,提供了一种智能体运行时的安全控制方法及装置,包括:在智能体运行过程中维护包含历史交互压缩表征且不含完整明文的结构化安全状态摘要;响应于当前交互请求,基于该摘要和已加载的动态防御策略执行安全反思并输出安全处置决策;当监测到满足预设安全异常触发条件时标记事故候选会话;基于事故候选会话交互轨迹提取泛化风险特征并执行脱敏处理,生成动态防御策略以供后续会话加载。本申请实现了防御知识的结构化沉淀与轻量化运行时安全反思,支持安全能力的闭环自演化。

大模型安全检测系统、相关装置及存储介质

本申请实施例涉及模型安全技术领域,公开了一种模型安全检测系统、相关装置及存储介质。该大模型安全检测系统包括应用层、功能层、能力层和技术层;其中,能力层包括数据安全测试模块,数据安全测试模块用于对待测试的大模型进行偏见测试和价值观测试,以测试大模型是否存在偏见歧视或与人类价值观是否对齐,并在测试完成后输出数据安全评分,并提示当前测试的大模型的数据安全风险。本申请实施例中通过在能力层中设置数据安全测试模块,来测试大模型是否存在偏见歧视或与人类价值观是否对齐,降低了大模型的数据安全风险。