基于国产可重构数据流AI芯片的垂域大模型视觉分析技术研发
关注请登录
请登录
2025-09-29
2025-10-30
面议
需求描述
1.数据稀缺问题。工业有效数据量不足，且收集难度大、周期长，这也是制约传统AI算法精度的核心因素。本项目拟运用多种大模型技术从数据供需两端解决：供给端利用扩散生成大模型技术生成虚拟数据；需求端利用预训练大模型进行领域专属微调降低对于数据的要求。 2.算力资源不足问题。工业场景中路数多、实时性要求高，而大模型的算力消耗大。本项目拟采用混合算法方案解决这一矛盾，前端部署传统小模型，保证效率和实时性，后端部署大模型进行二次复核。一方面通过小模型的初筛降低大模型的分析频率，另一方面利用大模型的泛化能力提升系统的精度。 3.面向数据流架构的推理软件栈研发。拟研发一套多层级的软件栈：数据流编译器实现对“模型级”计算图的深度优化和时钟级精准资源控制；算法编排软件提供跨路跨算法的“算法逻辑级”计算调度和共享；应用软件栈实现解码、分析和显示的内存分配和系统监控。
验收标准
（一）产业化指标 实现销售收入≥2000万元。 （二）学术指标： 申请专利≥10件，其中发明专利≥5件。 （三）技术性能指标 1、多模态大模型技术研发 （1）多种大模型技术在化工、工厂、矿山等垂直领域的产品落地； （2）相比传统小模型视觉方案精度提升不低于10%。 2、基于国产数据流芯片的大模型推理软件栈研发 （1）编译工具链：支持多种大模型在CAISA数据流芯片上的部署，包含但不限于CLIP、DINOv2、Grounding-DINO、Qwen-VL等。CNN类的最高利用率不低于80%，transformer类的最高利用率不低于35%。 （2）垂域视觉分析软件栈：实现从解码到算法分析再到结果上报、展示的端到端视觉分析流程；（2）支持至少16路64个算法（每路4个算法）在同一数据流芯片上的并行运行。
联系方式
推荐专利
本发明涉及音视频分析及数据处理技术领域，尤其涉及一种基于AI的多媒体设备运维管理系统，包括数据采集模块、分析模块、设备状态建模模块、故障预测模块、维护策略优化模块、资源调配模块及可视化平台。数据采集模块通过传感器与视频设备采集设备的温度、振动、音频及视频特征数据，经预处理后传输至云端；设备状态建模模块基于历史数据构建动态基线模型，实时比对生成异常信号，可视化平台通过3D拓扑渲染、AR辅助诊断及预警联动实现多维度状态监控。系统通过数据流驱动的闭环管理机制，解决现有运维依赖人工导致的响应滞后与资源利用率低的问题，提升故障诊断精度与运维效率。
本公开提供了信息交互方法、装置、电子设备以及存储介质，涉及人工智能技术领域，具体为计算机视觉、深度学习、大模型等技术领域，可应用于人工智能的内容生成、人机交互等场景。具体实现方案为：响应于获取到需求描述文本，利用大语言模型处理需求描述文本，得到与需求描述文本表征的图像处理意图相匹配的视觉任务属性，其中，需求描述文本与待处理图像相关联；根据视觉任务属性，确定与待处理图像相关的图像处理结果；根据图像处理结果生成反馈信息；以及在交互界面展示反馈信息。
本公开提供了一种多模态数据生成方法，涉及人工智能技术领域，尤其涉及计算机视觉、深度学习、大模型技术领域，具体涉及一种视觉智能体，该视觉智能体集成有视觉专家模型、多模态大模型以及大语言模型，可应用于AIGC（AI‑Generated Content）、人机交互等场景。具体实现方案为：根据来自目标对象的输入内容，确定目标对象的意图；响应于输入内容包括图像，根据意图，从视觉专家模型库中选取视觉专家模型，对图像进行处理，得到视觉专家结果；根据意图，从多模态模型库中选取多模态模型，基于视觉专家结果，对输入内容进行多模态处理，得到多模态处理结果；以及根据视觉专家结果和多模态处理结果，生成输出内容。
