Databricks 集成

Databricks 提供了一个数据与 AI 平台（通常称为 Databricks Lakehouse），用于分析、机器学习和生成式 AI 工作负载。

Databricks 提供了一个数据与 AI 平台（通常称为 Databricks Lakehouse），用于分析、机器学习和生成式 AI 工作负载。

Databricks 以多种方式拥抱 LangChain 生态系统：

1. 🚀 模型服务 - 通过 Databricks 模型服务 访问最先进的 LLM，如 DBRX、Llama3、Mixtral 或您微调的模型，通过高可用性和低延迟的推理端点。LangChain 提供 LLM (Databricks)、对话模型 (ChatDatabricks) 和嵌入 (DatabricksEmbeddings) 实现，简化了您在 Databricks 模型服务上托管的模型与您的 LangChain 应用的集成。
2. 📃 向量搜索 - Databricks 向量搜索 是一个无服务器的向量数据库，无缝集成在 Databricks 平台内。使用 DatabricksVectorSearch 类将 LangChain 连接到您 Databricks 账户中的向量搜索索引。
3. 📊 MLflow - MLflow 是一个开源平台，用于管理完整的 ML 生命周期，包括实验管理、评估、跟踪、部署等。MLflow 的 LangChain 集成 简化了开发和操作现代复合 ML 系统的过程。
4. 🌐 SQL 数据库 - Databricks SQL 与 SQLDatabase 在 LangChain 中集成，允许您访问自动优化、性能卓越的数据仓库。
5. 💡 开源模型 - Databricks 开源模型，如 DBRX，可通过 Hugging Face Hub 获取。这些模型可直接与 LangChain 一起使用，利用其与 transformers 库的集成。
6. 🧪 沙盒 - 在隔离的 Databricks 沙盒内运行 Deep Agents shell 和文件系统工具，使用 DatabricksSandbox 后端。

安装

第一方 Databricks 集成现在可在 databricks-langchain 合作包中获取。

pip

pip install databricks-langchain

传统的 langchain-databricks 合作包仍然可用，但将很快被弃用。

对话模型

ChatDatabricks 是一个对话模型类，用于访问 Databricks 上托管的聊天端点，包括最先进的模型，如 Llama3、Mixtral 和 DBRX，以及您自己的微调模型。

from databricks_langchain import ChatDatabricks

chat_model = ChatDatabricks(endpoint="databricks-meta-llama-3-70b-instruct")

查看 使用示例，以获取更多关于如何在您的 LangChain 应用中使用它的指导。

嵌入

DatabricksEmbeddings 是一个嵌入类，用于访问 Databricks 上托管的文本嵌入端点，包括最先进的模型，如 BGE，以及您自己的微调模型。

from databricks_langchain import DatabricksEmbeddings

embeddings = DatabricksEmbeddings(endpoint="databricks-bge-large-en")

查看 使用示例，以获取更多关于如何在您的 LangChain 应用中使用它的指导。

向量搜索

Databricks 向量搜索是一个无服务器的相似性搜索引擎，允许您将数据的向量表示（包括元数据）存储在向量数据库中。使用向量搜索，您可以从由 Delta 表管理的 Unity Catalog 创建自动更新的向量搜索索引，并使用简单的 API 查询它们以返回最相似的向量。

from databricks_langchain import DatabricksVectorSearch

dvs = DatabricksVectorSearch(
    endpoint="<YOUT_ENDPOINT_NAME>",
    index_name="<YOUR_INDEX_NAME>",
    index,
    text_column="text",
    embedding=embeddings,
    columns=["source"]
)
docs = dvs.similarity_search("What is vector search?)

查看 使用示例，了解如何设置向量索引并将其与 LangChain 集成。

MLflow 集成

在 LangChain 集成的上下文中，MLflow 提供以下功能：

• 实验跟踪：跟踪和存储您的 LangChain 实验的模型、工件和跟踪。
• 依赖管理：自动记录依赖库，确保开发、测试和生产环境的一致性。
• 模型评估 提供对 LangChain 应用的原生评估能力。
• 跟踪：可视化跟踪数据流通过您的 LangChain 应用。

查看 MLflow LangChain 集成，了解使用 MLflow 与 LangChain 的全部功能，包括广泛的代码示例和指南。

SQLDatabase

要连接到 Databricks SQL 或查询结构化数据，请参阅 Databricks 结构化检索工具文档，并使用上面创建的 SQL UDF 创建代理，请参阅 Databricks UC 集成。

开源模型

要直接集成 Databricks 在 HuggingFace 上托管的开放模型，您可以使用 LangChain 的 HuggingFace 集成。

from langchain_huggingface import HuggingFaceEndpoint

llm = HuggingFaceEndpoint(
    repo_id="databricks/dbrx-instruct",
    task="text-generation",
    max_new_tokens=512,
    do_sample=False,
    repetition_penalty=1.03,
)
llm.invoke("What is DBRX model?")

沙盒

DatabricksSandbox 在隔离的 Databricks 沙盒内运行 Deep Agents shell 和文件系统工具。安装 deepagents 附加组件，然后将正在运行的沙盒包装为 deepagents 后端。

pip

pip install 'databricks-langchain[deepagents]>=0.22.0'

from databricks.sdk import WorkspaceClient

from databricks_langchain import DatabricksSandbox

client = WorkspaceClient()
backend = DatabricksSandbox(client, "sandboxes/my-sandbox")
result = backend.execute("echo hello")
print(result.output)

查看 使用示例，了解如何进行配置、Deep Agents 使用和生命周期。

---

官方原文：src/oss/python/integrations/providers/databricks.mdx · 非官方翻译，译文由 AI 生成，以英文原文为准。