2025年05月21日 18 阅读 大语言模型 Vision Transformer(ViT)阅读笔记 1. 什么是ViTTransformer模型最初是为了处理序列数据(如文本)而设计的,它本身无法处理二维的图像,因此,为了使其能处理图像任务,便提出了Vision Transformer这个结构...
2025年05月20日 106 阅读 分布式计算框架 从零开始的 Ray 框架之旅(三)——分布式训练 本章,我们将通过一个完整的分布式训练例子,具体阐释 Ray 在分布式神经网络模型训练场景中的应用。这个例子将帮助你理解,Ray 是如何成为 OpenAI 在训练 ChatGPT 时钦定的分布式计...
2025年05月19日 184 阅读 分布式计算框架 从零开始的 Ray 框架之旅(二) 在上一章,我们粗略的介绍了 Ray 框架的组件和一些基本功能。在本章,我会用几个简单的Demo来对 Ray 的功能和使用方法有一个初步的认识,我们以几个基本的例子来说明 Ray 框架的简单用法。...
2025年05月18日 228 阅读 分布式计算框架 从零开始的 Ray 框架之旅(一) 1. 什么是 Ray 框架Ray 框架是由 UC Berkeley RISELab 开发的开源分布式计算框架,不同于 Spark 这种围绕数据集(RDD) 进行抽象,也不同于 Pytorch 这...