基于个性化Transformer的联邦学习模型训练方法及联邦学习系统

	基于个性化Transformer的联邦学习模型训练方法及联邦学习系统
申请号	CN202211271384.1
	2023-01-13
公开（公告）号	CN115600686A
公开日期	2023-01-13
摘要	本发明公开了一种基于个性化Transformer的联邦学习系统。本发明的另一个技术方案是提供了一种基于个性化Transformer的联邦学习模型训练方法。本发明为每个客户端学习一个独特的自注意力层，而其他层的参数在客户端之间共享。此外，本发明通过在服务器上训练一个超网络，以生成自注意力层中的投影矩阵，从而获得与客户端相关的查询、键和值。这种超网络有效维护了客户端之间参数共享，同时保持了个性化Transformer的灵活性。因此本发明大大提升了联邦学习在数据异构环境下的推理预测能力。
当前权利人	上海科技大学
专利代理人	翁若莹 ; 柏子雵
代理机构	上海申汇专利代理有限公司 31001
专利申请人	上海科技大学
	石野; 李红霞; 蔡中一; 汪婧雅
公开国别	中国
公开国别简称	CN
IPC 分类号	G06N20//00; G06N3//04; G06N3//08
专利有效性	审中
专利类型	发明申请
专利类型字典	1
当前法律状态	实质审查
简单同族	CN115600686A
扩展同族	CN115600686A
INPADOC 同族	CN115600686A
文献类型	专利
条目标识符	https://kms.shanghaitech.edu.cn/handle/2MSLDSTB/266584
专题	信息科学与技术学院_PI研究组_石野组信息科学与技术学院_硕士生信息科学与技术学院_PI研究组_汪婧雅组
作者单位	上海科技大学
推荐引用方式 GB/T 7714	石野,李红霞,蔡中一,等. 基于个性化Transformer的联邦学习模型训练方法及联邦学习系统. CN202211271384.1[P]. 2023-01-13.

条目包含的文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可
基于个性化Transformer的联邦学（1027KB）	专利		限制开放	CC BY-NC-SA	请求全文