Lingchen Gu, Xiaojuan Shen, Jiande Sun*, Yan Liu, Jing Li, Zhihui Li, Sen-Ching S. Cheung, and Wenbo Wan*. Dual Prototypes-Based Personalized Federated Adversarial Cross-Modal Hashing. IEEE Transactions on Circuits and Systems for Video Technology, 2025, doi: 10.1109/TCSVT.2025.3588161.

近日,山东师范大学信息科学与工程学院孙建德、万文博、顾凌晨团队在视频信号处理、编码与传输领域国际顶级期刊IEEE Transactions on Circuits and Systems for Video Technology上发表了题为“Dual Prototypes-Based Personalized Federated Adversarial Cross-Modal Hashing”的研究论文,本研究创新性地提出了基于双原型的个性化联邦对抗跨模态哈希检索方法。
▲图1 基于双原型的个性化联邦对抗跨模态哈希方法
在本研究中,针对跨模态检索模型的训练数据收集方式极易造成数据泄露风险问题,创新性地提出了基于双原型的个性化联邦对抗哈希方法(如图1所示)。该方法的核心思想在于通过迭代优化共享的双原型机制,实现边缘客户端模型的高效协同训练。具体而言,该研究设计了聚类原型与无偏原型的双原型架构,在保证模型泛化能力的同时显著提升了模型稳定性。其中,聚类原型是通过对各客户端的本地类级原型进行聚类生成,并采用对抗训练策略实现与本地近似哈希码的分布对齐。在此基础上,通过对聚类原型进行平均计算得到无偏原型,有效维持了跨客户端类级原型的一致性。这一创新设计不仅突破了传统本地哈希模型的知识局限,更通过双原型的协同优化机制实现了客户端间的协作式学习。
信息科学与工程学院青年教师顾凌晨为该论文的第一作者,教授孙建德和万文博为共同通讯作者。该研究得到了国家重点研发计划“战略性科技创新合作”重点专项项目(http://www.qlshx.sdnu.edu.cn/info/10445/163034.htm)的资助,能够有效解决城市智慧交通系统中跨模态态势感知数据的安全计算、高效检索与分布式学习等关键问题。
孙建德教授课题组长期研究智能多媒体计算与安全,近年来开始关注“车-路-网”协同中多源数据安全共享与智能决策关键技术,承担了包括国家重点研发计划,国家自然科学基金联合项目、面上项目、山东省重大科技创新工程项目,山东省优秀青年科学基金(海外),山东省创新发展联合基金在内的30余项重大科研项目,相关成果陆续发表在IEEE Transactions on Image Processing, IEEE Transactions on Circuits and Systems for Video Technology, IEEE Transactions on Signal Processing, IEEE Transactions on Neural Networks and Learning Systems, IEEE Transactions on Multimedia等期刊上。