FAIR何恺明等人提出组归一化：替代批归一化，不受批量大小限制
批归一化（Batch Norm/BN）是深度学习中非常有效的一个技术，极大地推进了计算机视觉以及之外领域的前沿。BN 通过计算一个（迷你）批量中的均值与方差来进行特征归一化。众多实践证明，它利于优化且使得深度网络易于收敛。批统计的随机不确定性也作为一个有利于泛化的正则化项。BN 已经成为了许多顶级计...
Facebook官方详解：使用Apache Spark进行大型语言模型训练
Apache Spark 是用于大规模数据处理的快速和通用引擎，它运行在 Hadoop，Mesos，可以离线或云端运行，具有高速、可扩展等特点。近年来，在 IBM 等大公司和众多社区贡献者的推动下，Spark 得到了越来越多的应用。今天，Facebook 团队也展示了他们使用 Apache Spar...