使用 nvidia 和 anyscale 更快地构建大型语言模型 （llm）-尊龙游戏旗舰厅官网

在人工智能领域的重大发展中，nvidia宣布与统一计算的先驱anyscale进行战略合作。这种伙伴关系旨在加速大型语言模型（llm）的开发，这是人工智能领域的一个关键组成部分。此次合作旨在将nvidia ai集成到anyscale的开源ray平台，anyscale平台和anyscale endpoints中，这是一项旨在将llm嵌入应用程序的新服务。

英伟达与 anyscale 尊龙游戏旗舰厅官网的合作伙伴关系

将nvidia ai集成到anyscale的平台中有望提高生成ai开发的速度和效率。它还将增强生产ai的安全性，这是当前数据泄露和网络威胁猖獗的数字时代的一个关键方面。开发人员可以灵活地使用 ray 部署开源 nvidia 软件，或者在 anyscale 平台上选择 nvidia ai enterprise 软件，具体取决于他们的特定需求和要求。

此次合作的主要特点之一是支持nvidia的tensorrt-llm，这是一款开源软件，适用于anyscale产品。tensorrt-llm 旨在跨多个 gpu 并行运行模型，在 nvidia h8 tensor core gpu 上提供高达 100 倍的性能提升。预计这种性能提升将显着提高llm的效率，使其更加有效和可靠。

更快地构建大型语言模型 （llm）

nvidia triton inference server 軟體

此外，nvidia triton 推理服务器软件将使 ray 开发人员在部署来自各种深度学习和机器学习框架的 ai 模型时提高效率。这将为开发人员提供更简化和高效的模型部署流程，减少所需的时间和资源。

nvidia nemo框架是此次合作的另一个关键组成部分，它将允许ray用户使用业务数据微调和定制llm。这种定制功能将使企业能够根据其特定需求定制其ai模型，从而提高其有效性和相关性。

anyscale 的平台提供完全托管的企业级统一计算，用于构建、部署和管理可扩展的 ai 和 python 应用程序。此次合作将允许开发人员通过 nvidia ai workbench 在其工作站上构建模型，并将其扩展到混合或多云加速计算。这种可扩展性在当今的数字环境中至关重要，企业需要快速有效地调整和扩展其运营。

nvidia ai与anyscale的集成目前正在开发中，预计将于今年年底推出。对此集成感兴趣的开发人员可以注册更新和 nvidia ai enterprise 的 90 天免费评估。nvidia和anyscale之间的合作是ai行业向前迈出的重要一步，有望带来更快，更高效，更安全的ai开发。