使用 TypeScript 实现基于 pgvector 的 LLM 自动化测试用例

最新推荐文章于 2025-11-24 17:08:38 发布
原创 最新推荐文章于 2025-11-24 17:08:38 发布 · 576 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#typescript #自动化 #测试用例

使用 TypeScript 实现基于 pgvector 的 LLM 自动化测试用例，核心是通过 TypeScript 连接 PostgreSQL（含 pgvector 扩展），结合向量生成库和 LLM 客户端，完成“预期向量存储→实际输出生成→相似度验证”的全流程。以下是具体实现方案，包含完整代码示例和关键步骤说明。

一、环境准备

  1. 依赖安装：

    # 核心依赖
npm install pg @types/pg  # PostgreSQL 客户端及类型
npm install @xenova/transformers  # 向量生成（基于 Sentence-BERT）
npm install openai  # 若使用 OpenAI 模型（可选）
npm install jest @types/jest ts-jest  # 测试框架（可选，也可用 Mocha）

# 类型定义及工具
npm install -D typescript ts-node @types/node

  2. 数据库配置：

    • 确保 PostgreSQL 已安装 pgvector 扩展（CREATE EXTENSION vector;）
    • 新建数据库（如 llm_test_db），并创建测试用例表和结果表（SQL 见下文）

二、核心实现代码

1. 数据库初始化（创建表结构）

// src/db/schema.ts
import { Pool } from 'pg';

// 数据库连接配置
export const pool = new Pool({
  user: 'postgres',
  host: 'localhost',
  database: 'llm_test_db',
  password: 'your_password',
  port: 5432,
});

// 初始化表结构（首次运行时执行）
export async function initDatabase() {
  const client = await pool.connect();
  try {
    // 创建测试用例表（存储 prompt、预期向量等）
    await client.query(`
      CREATE TABLE IF NOT EXISTS llm_test_cases (
        id SERIAL PRIMARY KEY,
        test_case_id VARCHAR(50) UNIQUE NOT NULL,
        prompt TEXT NOT NULL,
        expected_vector vector(384) NOT NULL,  -- 若用 all-MiniLM-L6-v2 模型，向量维度为 384
        similarity_threshold FLOAT NOT NULL,
        scenario VARCHAR(50) NOT NULL
      );
    `);

    // 创建测试结果表
    await client.query(`
      CREATE TABLE IF NOT EXISTS llm_test_results (
        id SERIAL PRIMARY KEY,
        test_case_id VARCHAR(50) REFERENCES llm_test_cases(test_case_id),
        actual_output TEXT NOT NULL,
        actual_vector vector(384) NOT NULL,
        similarity FLOAT NOT NULL,
        passed BOOLEAN NOT NULL,
        test_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
      );
    `);

    // 为向量创建索引（加速相似度查询）
    await client.query(`
      CREATE INDEX IF NOT EXISTS idx_test_cases_vector 
      ON llm_test_cases USING ivfflat (expected_vector vector_cosine_ops) WITH (lists = 100);
    `);

    console.log('数据库表结构初始化完成');
  } catch (err) {
    console.error('数据库初始化失败：', err);
  } finally {
    client.release();
  }
}

2. 向量生成工具（基于 Sentence-BERT）

使用 @xenova/transformers 库生成文本向量（无需依赖外部 API，适合本地测试）：

// src/embeddings/vectorGenerator.ts
import { pipeline } from '@xenova/transformers';

// 初始化 Sentence-BERT 模型（生成文本向量）
let embedder: any;
async function initEmbedder() {
  if (!embedder) {
    embedder = await pipeline('feature-extraction', 'Xenova/all-MiniLM-L6-v2');
  }
  return embedder;
}

/**
 * 将文本转换为向量
 * @param text 输入文本
 * @returns 384 维向量数组
 */
export async function textToVector(text: string): Promise<number[]> {
  const model = await initEmbedder();
  const result = await model(text, { pooling: 'mean', normalize: true });
  // 提取向量数据（flatten 为一维数组）
  return Array.from(result.data) as number[];
}

3. LLM 调用客户端（示例：调用 OpenAI API）

// src/llm/llmClient.ts
import { OpenAI } from 'openai';

const openai = new OpenAI({
  apiKey: 'your-openai-api-key', // 从环境变量读取更安全
});

/**
 * 调用 LLM 生成输出
 * @param prompt 输入提示词
 * @returns LLM 生成的文本
 */
export async function callLLM(prompt: string): Promise<string> {
  const response = await openai.chat.completions.create({
    model: 'gpt-3.5-turbo',
    messages: [{ role: 'user', content: prompt }],
    temperature: 0.7, // 控制输出随机性（测试时可适当降低）
  });

  return response.choices[0].message.content || '';
}

4. 测试用例管理（初始化测试数据）

// src/testCases/testCaseManager.ts
import { pool } from '../db/schema';
import { textToVector } from '../embeddings/vectorGenerator';

// 测试用例类型定义
export interface TestCase {
  test_case_id: string;
  prompt: string;
  expected_output: string; // 预期输出的核心语义
  similarity_threshold: number;
  scenario: string;
}

/**
 * 初始化测试用例（将预期输出转为向量并存入数据库）
 */
export async function initTestCases() {
  // 定义测试用例（可根据实际场景扩展）
  const testCases: TestCase[] = [
    {
      test_case_id: 'FACT-001',
      prompt: '地球的平均半径约为多少公里？',
      expected_output: '地球的平均半径约为6371公里',
      similarity_threshold: 0.85, // 事实类场景：高阈值
      scenario: '事实准确性',
    },
    {
      test_case_id: 'RELEV-001',
      prompt: '电脑频繁蓝屏的可能原因是什么？',
      expected_output: '蓝屏可能由驱动错误、硬件故障或系统损坏导致',
      similarity_threshold: 0.75, // 相关性场景：中阈值
      scenario: '核心相关性',
    },
  ];

  // 将预期输出转为向量并入库
  for (const caseItem of testCases) {
    const expectedVector = await textToVector(caseItem.expected_output);
    
    const client = await pool.connect();
    try {
      await client.query(`
        INSERT INTO llm_test_cases 
          (test_case_id, prompt, expected_vector, similarity_threshold, scenario)
        VALUES ($1, $2, $3, $4, $5)
        ON CONFLICT (test_case_id) DO NOTHING
      `, [
        caseItem.test_case_id,
        caseItem.prompt,
        `[${expectedVector.join(',')}]`, // pgvector 向量格式：[x1,x2,...,xn]
        caseItem.similarity_threshold,
        caseItem.scenario,
      ]);
      console.log(`测试用例 ${caseItem.test_case_id} 已初始化`);
    } catch (err) {
      console.error(`初始化测试用例 ${caseItem.test_case_id} 失败：`, err);
    } finally {
      client.release();
    }
  }
}

5. 自动化测试逻辑（基于 Jest）

// src/tests/llmE2ETest.test.ts
import { pool } from '../db/schema';
import { textToVector } from '../embeddings/vectorGenerator';
import { callLLM } from '../llm/llmClient';

// 从数据库获取所有测试用例
async function getTestCases() {
  const result = await pool.query(`
    SELECT test_case_id, prompt, expected_vector, similarity_threshold 
    FROM llm_test_cases
  `);
  return result.rows;
}

// 执行单个测试用例
async function runTestCase(testCase: any) {
  const { test_case_id, prompt, expected_vector, similarity_threshold } = testCase;

  // 1. 调用 LLM 生成实际输出
  const actualOutput = await callLLM(prompt);
  console.log(`\n测试用例 ${test_case_id} 实际输出：`, actualOutput);

  // 2. 将实际输出转为向量
  const actualVector = await textToVector(actualOutput);

  // 3. 计算与预期向量的余弦相似度（pgvector 中 <-> 为欧氏距离，余弦相似度 = 1 - 距离）
  const similarityResult = await pool.query(`
    SELECT 1 - (expected_vector <-> $1) AS cosine_similarity
    FROM llm_test_cases
    WHERE test_case_id = $2
  `, [
    `[${actualVector.join(',')}]`, // 实际向量
    test_case_id,
  ]);
  const similarity = similarityResult.rows[0].cosine_similarity;
  console.log(`相似度：${similarity.toFixed(4)}（阈值：${similarity_threshold}）`);

  // 4. 判断是否通过
  const passed = similarity >= similarity_threshold;

  // 5. 记录测试结果到数据库
  await pool.query(`
    INSERT INTO llm_test_results 
      (test_case_id, actual_output, actual_vector, similarity, passed)
    VALUES ($1, $2, $3, $4, $5)
  `, [
    test_case_id,
    actualOutput,
    `[${actualVector.join(',')}]`,
    similarity,
    passed,
  ]);

  // 6. 断言结果（Jest 会捕获失败）
  expect(passed).toBe(true);
}

// 批量执行所有测试用例
describe('LLM E2E 测试', () => {
  let testCases: any[];

  // 测试前获取所有用例
  beforeAll(async () => {
    testCases = await getTestCases();
  });

  // 逐个执行测试用例
  testCases.forEach((testCase) => {
    it(`测试用例 ${testCase.test_case_id}`, async () => {
      await runTestCase(testCase);
    });
  });
});

三、执行流程

  1. 初始化数据库：

    // src/index.ts
import { initDatabase } from './db/schema';
import { initTestCases } from './testCases/testCaseManager';

async function main() {
  await initDatabase(); // 创建表结构
  await initTestCases(); // 初始化测试用例
}

main().catch(console.error);

    执行：npx ts-node src/index.ts

  2. 运行测试：
    配置 Jest 后（npx jest --init），执行：

    npx jest src/tests/llmE2ETest.test.ts

四、关键技术点说明

  1. 向量格式处理：

    • pgvector 要求向量以 [x1,x2,...,xn] 字符串格式存储，因此需将 TypeScript 数组转换为该格式。
    • 余弦相似度计算：pgvector 中 vector <-> vector 返回欧氏距离，余弦相似度 = 1 - 欧氏距离（需确保向量已归一化）。

  2. 类型安全：

    • 通过 TypeScript 接口（如 TestCase）定义测试用例结构，避免类型错误。
    • 数据库查询结果建议用类型断言进一步约束（如 result.rows as TestCaseRow[]）。

  3. 性能优化：

    • 向量索引：对 expected_vector 建立 ivfflat 索引，加速相似度查询（尤其测试用例较多时）。
    • 模型复用：textToVector 中复用 embedder 实例，避免重复加载模型。

  4. 扩展场景：

    • 多预期向量：若一个测试用例有多个合理输出，可扩展表结构存储多个 expected_vector，验证时取最大相似度。
    • 阈值动态调整：根据 scenario 字段自动适配阈值（如 scenario === '合规性' 时阈值设为 0.9）。

五、总结

该方案通过 TypeScript 整合了 pgvector 向量存储、Sentence-BERT 向量生成和 LLM 调用，实现了对 LLM 输出的“语义级自动化测试”。相比传统关键词匹配，其优势在于：

  • 容忍 LLM 输出的表述多样性（如同义词、句式变化）；
  • 通过向量相似度量化输出质量，而非刚性文本比对；
  • 测试结果可持久化存储，便于后续分析 LLM 性能波动。

实际使用时，可根据测试场景调整向量模型（如用更大的 BERT 模型提升精度）和相似度阈值，平衡测试的严格性与灵活性。

使用 Playwright MCP 实现 UI 自动化测试
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
10-10 676
今天尝试使用 Playwright 和 MCP 协议，体验下一代 UI 自动化测试的便捷与强大！
AI5 - 用大模型自动生成测试用例：覆盖率达95%的秘密
热门推荐
千淘万漉虽辛苦，吹尽狂沙始到金
11-21 1万+
摘要：本文探讨如何利用大语言模型（LLM）自动生成高覆盖率的测试用例。传统测试方法存在思维盲区、维护成本高、覆盖率指标不全面等痛点，而LLM能同时分析控制流、数据流和异常流，生成接近全路径覆盖的用例集。文章详细演示了如何通过Claude 3或GPT-4等大模型，结合代码上下文和结构化Prompt工程，自动生成可直接执行的pytest测试用例，并指出需要人工校验LLM输出。实战案例显示，该方法能达到95%以上的代码覆盖率，大幅提升测试效率和质量。（149字）
推荐一款最新开源，基于AI人工智能UI自动化测试工具！支持自然语言编写脚本！
伤心的辣条
02-25 1633
今天，我们将为您推荐一款基于AI人工智能的开源UI自动化测试工具——Midscene，让您轻松应对UI自动化测试挑战。
LLM Transparency Tool端到端测试：使用Cypress与Selenium自动化UI测试
gitblog_00857的博客
10-06 591
你是否遇到过这样的情况：前端团队刚修复一个按钮点击bug，后端API调整后又导致图表加载失败？LLM Transparency Tool作为交互式Transformer模型分析工具，其前端界面包含[ContributionGraph.tsx](https://link.gitcode.com/i/7dcc279847f8ecdb48034481c5e2f0fc)可视化组件和[Selector.ts...
GPT4All自动化测试终极指南：从零构建高质量测试用例
gitblog_00158的博客
11-14 726
GPT4All作为开源的本地大语言模型平台，提供了完整的测试框架来确保模型的稳定性和可靠性。本文将为开发者详细介绍GPT4All的测试体系，帮助你快速掌握自动化测试用例的创建方法。🚀 ## GPT4All测试框架概览 GPT4All项目采用多层次测试策略，包含Python单元测试、C++基础测试、TypeScript/JavaScript测试以及完整的集成测试。测试框架基于pytest和Go
使用Playwright MCP实现UI自动化测试：从环境搭建到实战案例
2301_81501697的博客
11-20 963
跨浏览器支持：原生支持Chromium（Chrome/Edge）、Firefox和WebKit（Safari）三大浏览器引擎智能等待机制：自动检测元素可交互状态，减少因网络延迟导致的测试失败多语言支持：提供JavaScript/TypeScript、Python、.NET和Java等多种语言API移动端模拟：内置设备描述符，可真实模拟移动设备环境录制功能：通过命令可录制操作并生成脚本Playwright与MCP的结合正在重塑UI自动化测试的格局。
【GitHub开源项目实战】Qodo-Cover 开源项目实战解析：基于 AI 的自动化测试生成与覆盖率提升引擎全路径解析
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-13 1352
[Qodo-Cover](https://github.com/qodo-ai/qodo-cover) 是一款面向开发者与测试团队的开源 AI 工具，致力于通过自动生成上下文相关的单元测试用例，最大化提升项目的代码覆盖率与测试完整性。该工具基于先进的 AI 语言模型，能够分析当前代码的覆盖盲区，自动构建针对性的测试补丁，并以 Pull Request 形式集成至 GitHub 流程中。Qodo-Cover 同时支持本地 CLI 使用与 GitHub Actions 自动触发，兼容 Python、Java、
CodeQwen1.5模型评估工具：自动化测试框架使用
gitblog_00244的博客
10-24 289
你是否还在为代码大语言模型的评估流程繁琐而困扰？手动配置环境、调整参数、分析结果的过程是否占用了你大量时间？本文将带你快速掌握CodeQwen1.5模型评估工具的自动化测试框架，让你轻松完成模型性能测试，提升工作效率。读完本文，你将了解评估框架的核心功能、环境搭建步骤、测试执行流程以及结果分析方法，让模型评估工作变得简单高效。 ## 评估框架概述 CodeQwen1.5的评估工具套件（[qwe...
Mastra深度解析：如何用TypeScript构建企业级AI自动化
gitblog_00571的博客
09-04 997
还在为构建复杂的AI应用而头疼吗？面对LLM（Large Language Model，大语言模型）集成、工具调用、工作流编排等复杂需求，传统的开发方式往往需要大量的胶水代码和复杂的架构设计。Mastra作为一款基于TypeScript的企业级AI自动化框架，正在重新定义AI应用的开发方式。 通过本文，你将获得： - ???? Mastra核心架构的深度解析 - ???? 企业级AI自动化的最佳实践 ...
Playwright与MCP融合实现智能浏览器自动化测试
展望未来，随着多模态大模型的发展和MCP生态的不断完善，Playwright与MCP的结合有望实现更加复杂的自动化场景，如视觉语义理解驱动的UI测试、自修复测试脚本、基于历史数据的异常预测等。这不仅是工具层面的革新，更...
基于 ts 实现的一个用于学习的最小型 LLM，可以在单机进行训练和推理.zip
08-25
这表示压缩包内包含的是这个LLM项目的主代码库，里面可能包含源代码、文档、示例、测试用例等。虽然没有更多的信息，但可以推测该项目遵循了一个典型的开源项目结构。 此外，该压缩包文件能够被标记为“计算机”，...
基于Cursor与Playwright MCP的AI驱动UI自动化实现
本文所介绍的“Cursor+Playwright MCP实现UI自动化”项目正是这一趋势下的前沿实践，它通过将智能编程工具Cursor与现代化浏览器自动化框架Playwright MCP相结合，实现了从自然语言到可执行测试代码的端到端转化，极...
基于Playwright的MCP服务器AI测试自动化资源
结合描述中的“Playwright MCP Server LLM”，可以进一步推断该项目聚焦于利用Playwright实现浏览器级别的自动化操作，并将其与大型语言模型（LLM, Large Language Model）进行集成，从而构建具备智能决策能力的自动...
服务端之NestJS接口响应message编写规范详解、写给前后端都舒服的接口、API提示信息标准化
优快云博客主页地址：https://mengjian.blog.youkuaiyun.com/
10-07 1686
服务端之NestJS接口响应message编写规范详解、写给前后端都舒服的接口、API提示信息标准化
电动自行车动力电池组生产流程与关键技术解析|深圳比斯特自动化
最新发布
2509_90252107的博客
11-24 287
BMS与电芯组的结合，构成了电池包的“内核”。根据电池包的设计方案，例如常见的13串4并结构，工装或机械手会将规定数量的电芯按串联和并联的要求进行固定。它围绕着“一致性”、“可靠性”与“安全性”三大原则，通过精细的电芯处理、精密的焊接技术、智能的BMS集成、严谨的结构封装和全方位的最终测试，将数百个微小的化学能单元，转化为驱动电动自行车稳定行驶的强劲动力之源。电动自行车动力电池的生产是一条精密、连贯的自动化流水线，其核心目标是将数百个独立的电芯，整合成一个安全、高效、可靠的动力电池组。
MongoDB GridFS 历史数据自动化清理实践
weixin_44316575的博客
11-24 132
本文介绍了MongoDB GridFS系统中历史数据的自动化清理实践。针对GridFS系统中文件数据分散存储在fs.files和fs.chunks两个集合的特点，提出了一套完整的清理方案：首先删除30天前的历史数据，确保元数据和数据块同步清理；然后检查并删除孤立的数据块(chunks)；最后通过compact命令压缩存储空间。这套方法解决了传统清理方式可能导致孤立数据残留和存储空间无法自动回收的问题，有效控制了存储资源的增长和成本。文章提供了详细的MongoDB脚本示例，为实际生产环境中的GridFS数据管
使用python的pywin32库实现CANape工程自动化案例
qq_42746084的博客
11-24 500
摘要 本教程介绍使用Python控制CANape进行自动化数据采集与MF4文件分析的方法。主要内容包括： 环境配置：需Windows系统、CANape软件、Python 3.8+及相关库（pywin32、asammdf等） 核心功能： 通过COM接口控制CANape 实现基础数据采集、条件触发录制、定时批量采集等功能 支持批量标定参数写入与验证 提供MF4文件离线分析方案 典型应用案例： 基础数据采集与保存 基于信号阈值的触发录制 定时批量数据采集 批量标定参数验证 技术实现： 使用win32com操作CA
构建面向信创生态的数据中台（十五）：自动化合规与监管接口——把监管做成流水线化检查点
领码SPARK - 以无代码之星火，燎原数字之未来！
11-23 504
摘要 本文提出将合规监管内化为数据中台核心能力的创新方案。通过设计自动化合规接口，将传统"事后补救"模式转变为贯穿开发全流程的"流水线检查"机制。方案包含三大核心模块：契约化合规字段校验、自动化材料包生成、标准化监管接口，实现从人工审查到智能校验的升级。重点解决了材料碎片化、重复测评等行业痛点，支持政务、金融等场景的快速准入。12周落地路线图提供可操作的实施路径，最终实现合规成本降低50%、测评周期缩短70%的目标。 关键词 智能合规｜监管中台｜材料包自动化｜信创测评
耐达讯自动化PROFIBUS PA分线器：让工业通信更稳定、更高效
bjnykj的博客
11-24 74
系统使用63台PA温度变送器、42台PA压力变送器，通过PROFIBUS-PA通信标准与DP/PA耦合器连接，与S7-416-2 PLC进行通信。工业自动化领域，稳定可靠的通信网络如同人体的神经系统，而PROFIBUS PA分线器正是这个系统中不可或缺的"神经枢纽"。DP/PA链路器既作为上层DP主站的DP从站，又担任下层PA现场设备的代理，形成高效的通信桥梁。这种结构完美结合了DP网络的高速特性和PA网络的安全供电优势。它通过专业的连接技术、稳定的信号传输和灵活的网络扩展能力，为过程自动化提供坚实保障。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值