2025年05月20日 103 阅读 分布式计算框架 从零开始的 Ray 框架之旅(三)——分布式训练 本章,我们将通过一个完整的分布式训练例子,具体阐释 Ray 在分布式神经网络模型训练场景中的应用。这个例子将帮助你理解,Ray 是如何成为 OpenAI 在训练 ChatGPT 时钦定的分布式计...
2025年05月19日 181 阅读 分布式计算框架 从零开始的 Ray 框架之旅(二) 在上一章,我们粗略的介绍了 Ray 框架的组件和一些基本功能。在本章,我会用几个简单的Demo来对 Ray 的功能和使用方法有一个初步的认识,我们以几个基本的例子来说明 Ray 框架的简单用法。...
2025年05月18日 225 阅读 分布式计算框架 从零开始的 Ray 框架之旅(一) 1. 什么是 Ray 框架Ray 框架是由 UC Berkeley RISELab 开发的开源分布式计算框架,不同于 Spark 这种围绕数据集(RDD) 进行抽象,也不同于 Pytorch 这...