中电福富信息科技有限公司

本发明公开了基于多模态深度学习的UI设计图自动转前端代码的方法，方法包括：获取设计图像素矩阵数据；通过改进的Mask R‑CNN框架进行UI组件检测与像素级分割得到各组件的边界框与分割掩码；利用深度估计模块求解各组件相对深度值，结合边界框交叠关系构建层级树；融合像素级视觉属性与视觉‑语言模型输出的语义标签生成结构化描述数据；按选定前端框架的语法规则将结构化数据映射为基础页面源代码；在交互预览环境中捕获用户对未绑定事件元素的触发操作，查询预构建的UI交互知识图谱推理意图并生成目标页面代码；将各页面代码与资源文件打包为前端项目。本发明实现了UI设计全流程自动化，提升UI还原度，缩短开发周期。