开源｜基于 Megatron 的多模态大模型预训练底座 V3 基于 Megatron-DeepSpeed，支持张量并行、流水线并行，文本 MMap 索引数据集 图像 memmap 加载，原生集成图文对比学习，可直接用于大模型图文对齐预训练。不搞噱头，不夸大场景，服务器级预训练底座，用于上游大模型训练，下游再接入端侧框架部署。#AI开源 #多模态 #大模型预训练 #Megatron
1:24
开源｜基于 Megatron 的多模态大模型预训练底座 V3 基于 Megatron-DeepSpeed，支持张量并行、流水线并行，文本 MMap 索引数据集 图像 memmap 加载，原生集成图文对比学习，可直接用于大模型图文对齐预训练。不搞噱头，不夸大场景，服务器级预训练底座，用于上游大模型训练，下游再接入端侧框架部署。#AI开源 #多模态 #大模型预训练 #Megatron
6 months ago
douyin.comMarshall
See more
Static thumbnail place holder