联邦学习客户端应用难点,Transformer解释
校校建议
联邦学习客户端:多端本地训练模型,不上传原始用户数据,只上传模型梯度/参数更新,保护隐私。
核心难点:客户端设备异构算力差异、网络不稳定、客户端掉线、通信开销大、安全防投毒攻击、客户端电量性能限制。
Transformer基于自注意力机制,抛弃RNN串行循环结构;由编码器、解码器组成;多头自注意力捕捉序列内部依赖;位置编码注入时序信息;并行计算,适合NLP、大模型,是现在大模型基础架构。
联邦学习客户端应用难点,Transformer解释
校校
联邦学习客户端应用难点,Transformer解释
联邦学习客户端:多端本地训练模型,不上传原始用户数据,只上传模型梯度/参数更新,保护隐私。
核心难点:客户端设备异构算力差异、网络不稳定、客户端掉线、通信开销大、安全防投毒攻击、客户端电量性能限制。
Transformer基于自注意力机制,抛弃RNN串行循环结构;由编码器、解码器组成;多头自注意力捕捉序列内部依赖;位置编码注入时序信息;并行计算,适合NLP、大模型,是现在大模型基础架构。