近日，信息科学与工程学院张亮教授农业智能学习与计算团队在《Neural Networks》发表了题为“Explicit Semantic Guided Bi-Incomplete Multi-modal Hashing with Label Co-occurrence and Label Graph Constraints”的研究论文。该研究针对多模态数据中普遍存在的不完整问题，提出了一种显式语义引导的双不完全多模态哈希新框架，为大规模多模态检索提供了高效、稳健的解决方案。
随着互联网和人工智能的快速发展，海量的图像、文本等多模态数据不断涌现。这些数据从不同角度描述同一对象，蕴含丰富的互补信息。如何高效地融合和检索多模态数据，成为多媒体计算与人工智能领域的重要研究方向。然而，实际场景中由于数据损坏、缺少标注或用户输入不全导致模态缺失问题。同时，多标签数据中常见的部分标签缺失也进一步影响了检索性能。
针对上述挑战，研究团队提出了LaDiff-BIMH（Label-guided Diffusion Bi-Incomplete Multi-modal Hashing）框架。这是一种新的显式语义引导的双不完全多模态哈希框架，并引入标签共现性约束与标签图结构约束，有效提升了生成哈希码的判别性。大量实验表明，LaDiff-BIMH优于最先进的多模态哈希方法，特别是在较高的缺失率情况下。
图1: LaDiff-BIMH框架结构
论文以山东农业大学为第一单位发表。山东农业大学张亮教授和芦旭副教授担任共同通讯作者，硕士研究生祝浩冉为第一作者。该研究得到了国家自然科学基金青年基金和山东省自然科学基金项目经费的资助。
全文链接：
https://doi.org/10.1016/j.neunet.2025.108198
编 辑：万 千
审 核：贾 波
