【导读】12月2日，英伟达发布了最新的TensorRT 8.2版本，对10亿级参数模型进行了优化，让实时运行NLP应用成为可能。与原始PyTorch模型相比，TensorRT可以将T5、GPT-2的延迟降低9到21倍。 众所周知，PyTorch和TensorFlow是两个非常受欢迎的深度学习框架。 12月2日，英伟达 ...

【新智元导读】12月2日，英伟达发布了最新的TensorRT 8.2版本，对10亿级参数模型进行了优化，让实时运行NLP应用成为可能。与原始PyTorch模型相比，TensorRT可以将T5、GPT-2的延迟降低9到21倍。 众所周知，PyTorch和TensorFlow是两个非常受欢迎的深度学习框架。 12月2日 ...

2022年3月25日，腾讯联合英伟达开发的TensorRT插件自动生成工具TPAT正式宣布开源。 TensorRT是当前应用最广的GPU推理框架，但由于支持的算子数量有限，用户面临手写插件以支持算子的痛点。TPAT能够支持开放神经网络交换 (ONNX) 格式所有的算子，端到端生成TensorRT ...

负责 NVIDIA 医疗健康行业 GPU 计算解决方案设计与研究。 一个完整的医疗影像推理流程一般包含数据的前处理、AI 推理以及数据后处理这几部分。通常情况下，我们可以通过 TensorRT， TensorFlow 或者 PyTorch 这些框架来实现 GPU 加速的 AI 推理部分，然而数据前后处理 ...

PyTorch Lightning 是一种重构 PyTorch 代码的工具，它可以抽出代码中复杂重复的部分，使得 AI 研究可扩展并且可以快速迭代。然而近日一位名为 Florian Ernst 的博主却发现 PyTorch Lightning 存在一个 bug——让原本应该加速的训练变得更慢了。 本文作者 Florian Ernst Ernst 撰写 ...

A monthly overview of things you need to know as an architect or aspiring architect. Unlock the full InfoQ experience by logging in! Stay updated with your favorite authors and topics, engage with ...

用来运行 Llama 3 405B 优势明显。 最近，Meta 开源了最新的 405B 模型（Llama 3.1 405B），把开源模型的性能拉到了新高度。由于模型参数量很大，很多开发者都关心一个问题：怎么提高模型的推理速度？ 时隔才两天，LMSYS Org 团队就出手了，推出了全新的 SGLang Runtime v0.2。

Unlock the full InfoQ experience by logging in! Stay updated with your favorite authors and topics, engage with content, and download exclusive resources. In this episode, Thomas Betts chats with ...

PyTorch 1.10 is production ready, with a rich ecosystem of tools and libraries for deep learning, computer vision, natural language processing, and more. Here's how to get started with PyTorch.

While AI training dims the lights at hyperscalers and cloud builders and costs billions of dollars a year, in the long run, there will be a whole lot more aggregate processing done on AI inference ...