英伟达的Triton是一个通用的推理平台,它设计的目的是帮助开发者简化AI模型在各种框架(比如 PyTorch、TensorFlow、ONNX)上的部署和运行。
在「Triton-distributed:原生 Python 编程实现高性能通信」主题演讲中,来自字节跳动的 Seed Research Scientist 郑思泽详细解析了 Triton-distributed 在大模型训练中的通信效率突破、跨平台适配能力,以及如何通过 Python 编程实现通信与计算的深度融合。 2025 年,由 HyperAI超 ...
当地时间2025年10月22日至23日,全球 AI 开源盛会 PyTorch Conference 2025在美国旧金山召开,从底层编译器、到大模型算法、再到智能体层面,全面探讨推动最具突破性 AI 技术的创新核心框架。按惯例,Pytorch大会的前一天,Triton Developer Conference 在微软硅谷园区举行 ...
英伟达 Triton 推理服务器,被安全研究机构 Wiz Research 曝光了一组高危漏洞链。 这组漏洞可以被组合利用,实现远程代码执行(RCE),攻击者可以读取或篡改共享内存中的数据,操纵模型输出,控制整个推理后端的行为。 可能造成的后果包括模型被盗、数据泄露 ...
负责 NVIDIA 医疗健康行业 GPU 计算解决方案设计与研究。 一个完整的医疗影像推理流程一般包含数据的前处理、AI 推理以及数据后处理这几部分。通常情况下,我们可以通过 TensorRT, TensorFlow 或者 PyTorch 这些框架来实现 GPU 加速的 AI 推理部分,然而数据前后处理 ...