LLM Scraper 教程

LLM Scraper 教程

llm-scraperTurn any webpage into structured data using LLMs项目地址:https://gitcode.com/gh_mirrors/ll/llm-scraper

1. 项目介绍

LLM Scraper 是一个基于TypeScript的库，它利用大规模语言模型（LLMs）来从任何网页中提取结构化数据。此项目支持Local（如Ollama GGUF）、OpenAI和Vercel AI SDK等提供者，并通过Zod定义了数据模式以确保类型安全性。

2. 项目快速启动

安装依赖

首先，确保已安装Node.js环境。然后，在你的项目目录中运行以下命令来安装 llm-scraper：

npm init -y
npm install llm-scraper playwright @ai-sdk/openai

运行示例代码

以下是一个简单的示例，展示如何使用LLM Scraper从Hacker News获取顶级故事：

import { chromium } from 'playwright';
import * as z from 'zod';
import * as openai from '@ai-sdk/openai';
import { LLMScraper } from 'llm-scraper';

// 初始化LLM提供商
const llm = openai.chat('gpt-4o');

// 创建LLMScraper实例
const scraper = new LLMScraper(llm);

(async () => {
  // 启动浏览器
  const browser = await chromium.launch();
  const page = await browser.newPage();

  // 访问Hacker News
  await page.goto('https://news.ycombinator.com');

  // 定义要提取的数据模式
  const storySchema = z.object({
    title: z.string(),
    url: z.string().url(),
    points: z.number(),
    author: z.string(),
  });

  // 提取数据
  const topStories = await scraper.scrape(page, storySchema, '#hn-item', 10);

  console.log(topStories);

  // 关闭浏览器
  await browser.close();
})();

这段代码将打开一个新的Chromium浏览器窗口，导航到Hacker News首页，然后提取前10个故事的相关信息。

3. 应用案例和最佳实践

• 使用预定义的模式或者自定义模式来适应不同的网页结构。
• 利用错误处理机制，确保在数据提取过程中遇到问题时能够优雅地失败。
• 结合不同LLM提供商的优势，比如在某些场景下，可能需要对不同类型的网页使用不同模型。

4. 典型生态项目

LLM Scraper 可以和其他技术栈结合使用，例如：

• Playwright：用于自动化浏览器操作，配合LLM Scraper进行页面访问和元素交互。
• Zod：用于定义数据模式，保证类型安全。
• @ai-sdk/openai：提供了与OpenAI API交互的能力，可以用来集成其他大模型。

此外，这个库可以与其他数据处理、分析或存储工具一起使用，构建端到端的数据采集和分析解决方案。

完成这些步骤后，你应该已经成功地设置了LLM Scraper并了解其基本使用方法。在实际开发中，你可以根据项目需求调整上述代码片段，以满足特定的数据提取和处理任务。

llm-scraperTurn any webpage into structured data using LLMs项目地址:https://gitcode.com/gh_mirrors/ll/llm-scraper