NVIDIA 集成

使用 LangChain Python 集成 NVIDIA LLM。

这将帮助您入门NVIDIA模型。要查看所有ChatNVIDIA功能及配置的详细文档，请访问NVIDIA API reference。

概述

langchain-nvidia-ai-endpoints包集成了与NVIDIA NIM推理微服务集成的LangChain应用。这些模型由NVIDIA优化，以在NVIDIA加速基础设施上实现最佳性能，并以NIM（NVIDIA推理微服务）形式部署——这是一种易于使用的预构建容器，可通过单一命令在NVIDIA加速基础设施上部署 anywhere。

NVIDIA API目录提供了NIM的托管部署环境用于测试。通过NVIDIA AI企业许可证，测试后的NIM可导出并部署于本地或云端，使企业拥有完整知识产权和AI应用控制权。

NIM以按模型打包的容器镜像形式通过NVIDIA NGC目录分发。其核心优势在于提供简单、一致且熟悉的API，用于在AI模型上运行推理。

本示例演示如何通过NVIDIA类使用LangChain与NVIDIA支持的模型交互。

要了解如何通过此API访问llm模型，请查阅NVIDIA文档。

集成细节

类	包	本地	可序列化	JS支持	下载	版本
NVIDIA	langchain-nvidia-ai-endpoints	✅	beta	❌

模型特性

Image input	音频输入	视频输入	Token-level streaming	原生异步	Token usage	Logprobs
✅	❌	❌	✅	❌	❌	❌

配置

入门步骤：

1. 在NVIDIA创建免费账户，该平台托管NVIDIA AI基金会模型。

2. 点击选择目标模型。

3. 在Input中选择Python标签，点击Get API Key，然后点击Generate Key。

4. 复制保存生成的密钥为NVIDIA_API_KEY。此时您将获得API端点访问权限。

凭据

import getpass
import os

if not os.getenv("NVIDIA_API_KEY"):
    # Note: the API key should start with "nvapi-"
    os.environ["NVIDIA_API_KEY"] = getpass.getpass("Enter your NVIDIA API key: ")

安装

LangChain的NVIDIA AI端点集成位于langchain-nvidia-ai-endpoints包中：

pip install -qU langchain-nvidia-ai-endpoints

实例化

完整功能请参考LLM。

from langchain_nvidia_ai_endpoints import NVIDIA

llm = NVIDIA().bind(max_tokens=256)
llm

调用

prompt = "# Function that does quicksort written in Rust without comments:"

print(llm.invoke(prompt))

流式、批量和异步

这些模型原生支持流式输出，同时作为LangChain的LLM提供批处理方法处理并发请求，以及异步的调用、流式和批处理方法。以下是示例：

stream = llm.stream_events(prompt, version="v3")
for token in stream.text:
    print(token, end="", flush=True)

llm.batch([prompt])

await llm.ainvoke(prompt)

stream = await llm.astream_events(prompt, version="v3")
async for token in stream.text:
    print(token, end="", flush=True)

await llm.abatch([prompt])

async for chunk in llm.astream_log(prompt):
    print(chunk)

response = llm.invoke(
    "X_train, y_train, X_test, y_test = train_test_split(X, y, test_size=0.1) #Train a logistic regression model, predict the labels on the test set and compute the accuracy score"
)
print(response)

支持的模型

通过available_models查询仍将返回您凭据可访问的全部模型。

NVIDIA.get_available_models()
# llm.get_available_models()

---

API参考

要查看所有ChatNVIDIA 功能及配置的详细文档，请访问NVIDIA API reference

---

官方原文：src/oss/python/integrations/llms/nvidia_ai_endpoints.mdx · 非官方翻译，译文由 AI 生成，以英文原文为准。