[利用Browserless进行云端浏览器自动化和文档加载]-优快云博客

本文链接：https://blog.youkuaiyun.com/saghthefs/article/details/144643723

# 利用Browserless进行云端浏览器自动化和文档加载

## 引言

在现代Web开发中，自动化和数据提取的需求不断增加。Browserless服务为开发者提供了一种无需管理基础设施即可在云中运行无头Chrome实例的方法，非常适合大规模运行浏览器自动化任务。在这篇文章中，我们将探索如何使用Browserless将其作为文档加载器来提取网页内容。

## 主要内容

### 什么是Browserless？

Browserless是一个云服务，它允许开发者运行无头（headless）Chrome实例。这意味着你可以执行所有标准的浏览器任务，如导航、执行JavaScript代码、捕获屏幕截图等，而无需在本地托管浏览器或管理复杂的浏览器环境。

### 使用BrowserlessLoader进行文档加载

LangChain库中的`BrowserlessLoader`类提供了一种简便的方法来利用Browserless服务加载网页内容。在默认情况下，`BrowserlessLoader`返回页面`<body>`元素的`innerText`，即页面的文本内容。为了获取原生的HTML内容，你可以将参数`text_content`设置为`False`。

### 集成示例

```python
from langchain_community.document_loaders import BrowserlessLoader

# 使用API代理服务提高访问稳定性
BROWSERLESS_API_TOKEN = "YOUR_BROWSERLESS_API_TOKEN"

loader = BrowserlessLoader(
    api_token=BROWSERLESS_API_TOKEN,
    urls=[
        "https://en.wikipedia.org/wiki/Document_classification",
    ],
    text_content=True,  # 默认获取文本内容，设置为False以获取原生HTML
)

documents = loader.load()

print(documents[0].page_content[:1000])

在上面的示例中，我们初始化了一个BrowserlessLoader实例，并指定了一个Wikipedia页面的URL。通过调用load()方法，我们可以加载页面并打印前1000个字符的内容。