王格 中青报·中青网记者孙海华
点击上传一张左下角缺损的永乐宫《朝元图》壁画中诸神持笏朝拜的局部图,仅仅大约5秒钟后,系统就可将缺损处修补完好,肉眼难以看出补全痕迹。这便是西安电子科技大学人工智能学院焦李成教授团队研发的“丝路逸旅:文旅资源修复与生成基础模型”。
不仅能智能“诊断”,还能助力现实“补全”
对于毫无历史、考古等专业背景的团队来说,在没有高质量原图参考的情况下,如何将壁画修补正确且具备历史性、艺术性,是面临的第一个难题。
要想修补得好,首先得对壁画有正确的“诊断”。
为解决传统病害勘察依赖人工、效率低且诊断难的痛点,“丝路逸旅”模型搭载起了“壁画病害检测与分析”方案,从壁画病害的检测、分析到修复方案的生成,全过程都可实现无人工干预的自动化智能处理。
生成式大模型知识引导壁画补全流程示意图。西安电子科技大学供图
当把有所残缺的《唐惠妃武氏墓山水屏风》和《韩休墓山水图》电子版依次上传到系统中,便可一键生成图文并茂的文物“体检报告”。
这份“报告”中,可以很清晰地看到系统用蓝色、紫色、白色和黑色在原图中的标注,这些标注色彩分别代表剥落、褪色、霉斑、裂缝等病害,在对相应区域给出壁画病害类别定义、病害程度分析的同时,还提出了“霉斑去除”“补充线条”等对策,甚至可以给出使用何种矿物颜料进行填补的精细化建议。
实验室里,团队成员、博士二年级学生高子涵熟练进行着演示,“这个方案以视觉分割网络和多模态基础模型为内核,能够实现对裂缝、剥落等病害区域的像素级精准识别,并通过知识检索增强技术关联考古文献,给出分析和应对建议,不仅为数字化修复开出‘药方’,还能为现实中的壁画修补提供一定的辅助”。
高效壁画病害检测示例图。西安电子科技大学供图
基于这样一份全面的“体检报告”,系统不仅能对因病害导致的褪色、模糊等问题进行修复,还可对缺损的部分进行补全。
“我们国家的历史朝代多,不同时期的壁画、器物等都具有不同的历史特征,所以我们在前期花费了大量时间用于数据和信息的收集,整个过程需要反复验证,以保证修复后的准确度。”团队成员、博士二年级学生王子韬介绍,“对于壁画文物中无法考证的缺失部分,我们和华清宫文保中心联合提出了基于生成式大模型知识引导的壁画补全方法”。
生成式大模型就像一位善于学习的优秀学生,可以广泛涉猎、准确理解学习到的历史文献和考古资料,并把所学到的内容进行结构化梳理,应用到模型对壁画的修补过程中,从而确保补全内容在艺术风格、器物形制等方面均符合历史事实与审美规范。
个性化定制,提升文旅新体验
在进行壁画“查—修—补”的过程中,团队成员开始越来越多地了解陕西历史文化,也开始思考如何能让游客拥有更好的文旅体验。
“请帮我搜集信息,给出完整的旅游规划:我想在西安安排3天的旅游行程,我患有‘三高’,还有两个孩子,想在西安这个‘碳水之城’尽可能玩得痛快,应该如何安排饮食?规划的路线希望既适当又不累,还能让孩子体验Citywalk,让旅途的文化体验感、科技体验感都‘拉满’?”输入这样一段需求,“丝路逸旅”大模型会很快从行程总览、饮食建议、行程特色、交通建议、注意事项等方面,生成一份详尽的定制版旅行攻略。
“相比其他大模型,我们会更精准。”团队成员、博士二年级学生张洁解释,得益于与当地文旅部门的合作,“丝路逸旅”大模型获取的信息会更加全面、准确。“除了用文字提问,还可以上传照片,大模型都可以为大家进行多语种解答。”
以“琼浆”为例的模型流程示意图。西安电子科技大学供图
上传一张《黑神话:悟空》游戏中的“琼浆”道具图片,模型即可通过图片检索,发现其类似来通杯(流行于古代亚欧大陆的角状饮酒器),指出在陕西历史博物馆中有相似展品“镶金兽首玛瑙杯”,定位出其珍藏于博物馆负一层,并给出路径规划建议,还可对来通杯的历史来源进行问答和讲解。
这一模型将“人找信息”变为“信息找人”,为游客提供高质量的定制化伴随化智能服务。“经过与陕西旅游集团有限公司深度合作,我们面向游客需求,不断更新模型,不仅可以为游客旅行前和旅行中提供攻略、文博知识讲解,还与西安市汉服文化协会等联合打造AI古风换装、AI盲盒设计等服务。”团队指导老师刘旭介绍。
古画换装与3D生成示意图。西安电子科技大学供图