Document loader 集成 - AI 开发中文文档

文档加载器提供了一种标准接口，用于从不同来源（如Slack、Notion或Google Drive）将数据转换为LangChain的@[Document]格式。这确保了数据无论来源如何，都能被一致处理。所有文档加载器均实现@[BaseLoader]接口。

社区文档加载器由用户贡献且未经验证。LangChain不审查或推荐这些集成，请自行评估风险。

接口

每个文档加载器可能定义其 own参数，但共享统一API：

load()：一次性加载所有文档。
lazy_load()：惰性流式加载，适用于大数据集。

from langchain_docling.loader import DoclingLoader

FILE_PATH = "https://arxiv.org/pdf/2408.09869"

loader = DoclingLoader(file_path=FILE_PATH)

# Load all documents
documents = loader.load()

# For large datasets, lazily load documents
for document in loader.lazy_load():
    print(document)

按类别

办公工具

以下文档加载器支持从常用办公工具加载数据。

文档加载器	API参考
AgentMail	`AgentMailLoader`
Google Classroom	`GoogleClassroomLoader`

网页

以下文档加载器支持网页加载。

文档加载器	描述	包装/API
Unstructured	使用Unstructured加载数据并解析网页	包装
Apify Dataset	从Apify数据集加载数据	API
Apify Crawl	按需爬取网站并将每页作为Document加载	API
Diffbot Crawl Loader	使用Diffbot爬取API将网站每页解析为结构化JSON	API
Diffbot Extract Loader	使用Diffbot提取API将网页解析为结构化JSON	API
Docling	使用Docling加载数据并解析网页	包装
DomPruner	DOM AST剪枝：加载为97%+ Token减少的紧凑Markdown，无需API密钥	包装
Firecrawl	通过爬取/爬取/映射/提取/搜索将网站转换为清洁的LLM数据	API
Hyperbrowser	头less浏览器平台，支持爬取/爬取任意网站	API
OpeddFeedLoader	加载带版权溯源的Opedd内容目录作为Document	API
ProxyHatLoader	通过ProxyHat住宅代理加载数据	API
AgentQL	使用AgentQL查询或自然语言提示进行网页交互及结构化数据提取	API
CRW	兼容Firecrawl的开源爬虫，支持本地二进制或fastcrw.com云服务	包装
Plasmate	Agent原生头less浏览器，支持Set of Mark（SOM）结构化UI提取	包装
Spidra	带实时浏览器、CAPTCHA破解和结构化数据提取的AI爬虫	API

PDFs

合作伙伴及社区PDF加载器。托管合作伙伴指南列于前。经典加载器来自langchain-community及其他社区包。完整按下载量排序的目录见所有文档加载器。

文档加载器	描述	包装/API
Unstructured	使用Unstructured开源库加载数据	包装
Upstage Document Parse Loader	使用UpstageDocumentParseLoader	包装
Docling	使用Docling	包装
`PyPDFLoader`	使用`pypdf`（`langchain-community`）	社区
`PyMuPDFLoader`	使用PyMuPDF（`langchain-community`）	社区
`PDFMinerLoader`	使用PDFMiner（`langchain-community`）	社区
`PDFPlumberLoader`	使用pdfplumber（`langchain-community`）	社区
MinerU	使用MinerU加载数据	包装
UnDatasIO	使用UnDatasIO	包装
OpenDataLoader PDF	使用OpenDataLoader PDF	包装
CVFileLoader	加载CV PDF/A-3u文件，包含嵌入Markdown/HTML/JSON简历	包装
pdfmuse	确定性加载PDF/DOCX，保留坐标、表格及块级元数据	包装
oxidize-pdf	使用Rust引擎进行元素不重叠的RAG分块	包装
pdf-inspector	使用pdf-inspector	包装

云服务提供商

以下文档加载器支持从云服务加载数据。

文档加载器	描述	合作伙伴包装	API参考/来源
Azure Blob Storage	加载Azure Blob Storage容器或单个数据块	✅	`langchain-ai/langchain-azure`
Google Cloud Storage Directory	加载数据存储桶	✅	`GCSDirectoryLoader`
Google Cloud Storage File	加载数据存储文件对象	✅	`GCSFileLoader`
Google Drive	加载Google Drive（仅Google Docs）	✅	`GoogleDriveLoader`

常见文件类型

以下文档加载器支持常见数据格式。

文档加载器	数据类型
`Unstructured`	多种文件类型（见https://docs.unstructured.io/platform/supported-file-types）
`HwpHwpxLoader`	HWP/HWPX文件
`DoclingLoader`	多种文件类型（见https://docling-project.github.io/docling/)
`PolarisAIDataInsightLoader`	多种文件类型（见https://datainsight.polarisoffice.com/documentation?docType=doc_extract）

所有文档加载器

集成	下载
`Google bigquery`
`Google cloud storage directory`
`Google cloud storage file`
`Google drive`
`Google speech-to-text audio transcripts`
`Oracle AI vector search document processing`
`Oracle autonomous database`
`UnstructuredLoader`
`AstraDB`
`Docling`
`Google alloydb for postgresql`
`PyMuPDF4LLMLoader`
`ApifyCrawlLoader`
`ApifyDatasetLoader`
`Upstage`
`Google cloud SQL for postgresql`
`Google firestore (native mode)`
`Google spanner`
`DoclingLoader`
`Azure blob storage loader`
`FlatmarkLoader`
`FirecrawlLoader`
`OpenDataLoader PDF`
`AnakinLoader`
`Docugami`
`HwpHwpxLoader`
`PDFParser`
`SingleStoreLoader`
`YoutubeLoaderDL`
`SuperPDFLoader`
`MeshArcLoader`
`HyperbrowserLoader`
`FastOCRLoader`
`ReplyLayerLoader`
`HydrafetchLoader`
`SecureLangChainLoader`
`SpidraLoader`
`PdfInspectorLoader`
`WebCrawlerAPILoader`
`CrwLoader`
`Google bigtable`
`Outline`
`MinerULoader`
`DiffbotCrawlLoader`
`DiffbotExtractLoader`
`DomPrunerLoader`
`PolarisAIDataInsightLoader`
`ProxmintLoader`
`Google memorystore for Redis`
`OpeddFeedLoader`
`langchain_box`
`AnyToMarkdownLoader`
`Web2MDLoader`
`PaddleOCR-VL`
`AlfrescoLoader`
`OpenDMALoader`
`CommentScraperLoader`
`Google Classroom`
`Google cloud SQL for mysql`
`Kinetica document loader`
`Google firestore in datastore mode`
`AgentQLLoader`
`CVFileLoader`
`ProxyHatLoader`
`AirbyteLoader`
`CapslaneLoader`
`PdfmuseLoader`
`LyrenthLoader`
`PlasmateSOMLLoader`
`Undatasio`
`EnconvertLoader`
`Soniox`
`AgentMail`
`QuanticDataLoader`
`Google cloud SQL for SQL server`
`OxidizePdfLoader`
`XNSBlobLoader`
`XNSLoader`
`Google el carro for Oracle workloads`
`PowerScaleDocumentLoader`
`SectionAnythingLoader`
`LangSmithLoader`	N/A
`TranscriptFetchLoader`	N/A