METASPEECH
[浏覽需要 0 積分] 發布于

《高階muP:更簡明但更高明的譜條件縮放》

https://kexue.fm/archives/10795

这篇文章介绍了 muP 的升级版——谱条件,它从谱范数相关的不等式切入来分析模型稳定训练的条件,以一种更便捷的方式得到了比 muP 更丰富的结果。

浏覽 (206)
點贊 (2)
收藏
評論