分布式优化(关键技术详解|腾讯一念 LLM 分布式推理优化实践)
作者 | 袁镱 编辑|李忠良 策划|AICon 全球人工智能开发与应用大会 从 vLLM、SGLang,到 TensorRT-LLM、MindIE,再到新兴的“一念”,不同团队在算子优化、显存管理与调度策略上不断博弈...
作者 | 袁镱 编辑|李忠良 策划|AICon 全球人工智能开发与应用大会 从 vLLM、SGLang,到 TensorRT-LLM、MindIE,再到新兴的“一念”,不同团队在算子优化、显存管理与调度策略上不断博弈...