Web LLM 让你在浏览器中体验 GPT 大模型

最新推荐文章于 2025-06-02 09:15:33 发布
最新推荐文章于 2025-06-02 09:15:33 发布
阅读量641 收藏 1
点赞数
文章标签： 前端 gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/source_code13/article/details/130234298
版权
本文介绍了如何在浏览器中利用Web LLM项目实现GPT大模型的本地和在线体验，无需服务器支持，借助WebAssembly加速。通过下载Chrome Canary并设置代理，用户可以直接在浏览器上体验GPT模型，同时提供了开源项目的链接和本地启动的简单步骤。该项目目前尚处于早期阶段，但已在浏览器中运行大型语言模型方面展示了潜力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这会是一个关于 ChatGPT 的系列文章，主要记录日常使用 ChatGPT 的感想和相关信息以及有趣的开源项目，然后这些信息我都会汇总到一个 ChatGPT 信息群，有兴趣的朋友可以文末加入 🥳。

2f7c14bed70e6fc994b4edcfd47081ee.jpeg

Web LLM 将大型语言模型和基于 LLM 的聊天机器人引入 Web 浏览器。让一切都在浏览器内运行而无需服务器支持（使用 WebGPU 加速）。

这无疑产生了许多有趣的机会，这样做可以为每个人构建 AI 助手，还可以在享受 GPU 加速的同时实现隐私保护。项目相关信息如下：

  • 开源地址：https://github.com/mlc-ai/web-llm[1]

  • 支持模型：lmsys/vicuna-7b-delta-v0[2]（微调 LLaMA，号称能达到 GPT-4 的 90%性能）

这个项目 04-14 才开源，很多地方还没有很完善，如文档或者运行示例等，但是在浏览器中运行实在是吸引人，正好手头有一台 M1 的 MacOS

最低0.47元/天 解锁文章
【ChatGPT】Web LLM：你的本地的ChatGPT —— 完全在您的浏览器中运行 vicuna-7b 大型语言模型，它非常令人印象深刻
AI天才研究院
04-18 1万+
让你的 LLM 助手总结错误的网页，攻击者可能会诱骗它泄露你所有的私人数据，或者删除你所有的电子邮件，或者更糟。ShareGPT 是一个人们分享他们的 ChatGPT 记录的网站，这意味着微调是使用未经许可用于此类目的的数据进行的（OpenAI 条款和条件不允许使用这些数据来训练竞争对手的语言模型。但是，与之前的 LLaMA 和 Alpaca 一样，这个项目令人兴奋的地方在于它所展示的内容：我们现在可以完全在浏览器中运行功能极其强大的 LLM——尽管是测试版浏览器版本，而且是在功能非常强大的笔记本电脑上。
WebLLM：高性能浏览器内 LLM 推理引擎
yorkhunter的博客
01-09 995
24年12月来自CMU、上海交大和Nvidia的论文“WebLLM: A High-Performance In-Browser LLM Inference Engine”。 大语言模型 (LLM) 的进步释放了非凡的功能。虽然部署这些模型通常需要服务器级 GPU 和基于云的推理，但最近出现的小型开源模型和功能日益强大的消费设备使设备部署变得切实可行。
WebLLM Chat：无服务器、私密的AI聊天体验
wbsu2004的博客
12-04 5727
Web-LLM Chat 是一个私有的 AI 聊天界面，结合了 WebLLM 的强大功能，允许用户在浏览器中本地运行大型语言模型（LLM）。
什么是 LLM（面向 Web 开发者）
qq_46094651的博客
04-18 619
我们先从基础开始，逐步构建对 LLM 的理解。在谈论 AI 和机器学习时，你会经常听到“模型”这个词。一个模型，本质上就是一个数学函数，它将输入转换为输出。但不同于传统编程中你需要写出明确的规则，模型是通过从数据中学习模式来工作的。以下是几个例子：给模型输入大量猫和狗的图片，它就能学会区分它们（分类模型）输入房产数据，它能发现“面积越大，价格越高”这样的规律（回归模型）给它浏览记录，它就能猜测你可能会买什么（推荐模型）
WebLLM项目：在浏览器中运行LLM聊天机器人
csdn1561168266的博客
07-23 601
对IRModule中的函数运行多个转换，以获取经过优化和可运行的代码，TensorIR是用于优化具有张量计算的程序的编译器抽象。目前，此功能仅在Chrome Canary和最新版本的Chrome中可用，将这一功能扩展到更多支持的浏览器集合将是很有帮助的。用户不再需要昂贵的API调用和推理服务器，WebLLM使用底层系统的GPU和处理能力，因此运行WebLLM只需要一小部分成本就可以了。该系统是用Python开发的，并使用TVM运行时在Web上运行，通过运行一系列优化，将其嵌入到Web浏览器中。
WebLLM: 革新浏览器内的大语言模型推理
helloaiworld的博客
10-18 935
WebLLM不仅支持预构建的模型,还允许开发者集成自定义模型。通过MLC LLM项目,开发者可以将自己的模型编译为WebLLM兼容的格式,并在浏览器中运行。这为开发者提供了极大的灵活性,可以根据特定需求定制和优化模型。WebLLM代表了AI技术与Web技术融合的一个重要里程碑。它不仅降低了使用大语言模型的门槛,还为开发者提供了前所未有的灵活性和创新空间。随着项目的不断发展和完善,我们可以期待看到更多令人兴奋的应用和用例出现。无论你是AI研究者、Web开发者,还是对技术创新感兴趣的普通用户,We。
大模型应用开发-基于Streamlit实现的LLM大模型Web应用-附项目源码+流程教程-优质项目实战.zip
10-16
项目完成后，开发者将获得一个功能完备的LLM大模型Web应用，能够实时响应用户的自然语言查询，并通过浏览器界面与用户进行交互。这不仅展示了大型语言模型在实际应用中的潜力，也为开发者提供了一个宝贵的实战案例，...
完全在你的浏览器里用WebGPU和像Vicuna这样的LLM聊天，安全、私密，没有服务器。由web llm提供支持.zip
03-02
WebGPU和LLM（可能指的是Logical Language Model）是现代Web开发中的两个重要概念，它们结合在一起，为用户提供了一种全新的、安全且私密的在线聊天体验。在这个场景中，我们看到的是一个基于JavaScript的实现，它...
十分钟让你学会微调LLM大语言模型_text-generation-webui微调训练
lhx17673139267的博客
07-16 766
有同学给我留言说想知道怎么训练自己的大语言模型，让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。本文就来介绍一种大语言模型微调的方法，使用的工具是我最近在用的 Text Generation WebUI，它提供了一个训练LoRA的功能。
Web LLM 攻击技术
江左盟的博客
06-07 1098
在ChatGPT问世以来，我也尝试挖掘过ChatGPT的漏洞，不过仅仅发现过一些小问题：无法显示xml的bug和错误信息泄露，虽然也挖到过一些开源LLM的漏洞，比如前段时间发现的Jan的漏洞，但是不得不说传统漏洞越来越难挖掘，所以我们仍然有必要学习下Web LLM攻击相关的漏洞。
gpt3-sandbox:该项目的目标是使用户能够使用新发布的OpenAI GPT-3 API和几行Python创建酷炫的Web演示。
03-17
GPT-3沙箱：在短短几分钟内将您的想法变成演示 首次发布日期：2020年7月19日 请注意，此存储库未处于任何活动开发中； 只是基本的维护。 描述 该项目的目标是使用户能够使用新发布的OpenAI GPT-3 API和几行Python创建酷炫的Web演示。 该项目解决以下问题： 自动格式化用户的输入和输出，以便模型可以有效地进行模式匹配 为用户创建一个Web应用程序以在本地部署并展示他们的想法 这是启动GPT来将英语转换为LaTeX的快速示例： # Construct GPT object and show some examples gpt = GPT(engine="davinci", temperature=0.5, max_tokens=100) gpt.add_example(Example('Two plus two equals
WebLLM 项目使用教程
gitblog_00391的博客
08-15 512
WebLLM 项目使用教程 web-llm将大型语言模型和聊天功能引入网络浏览器。所有内容都在浏览器内部运行，无需服务器支持。项目地址:https://gitcode.com/gh_mirrors/we/web-llm 1. 项目的目录结构及介绍 WebLLM 项目的目录结构如下： web-llm/ ├── README.md ├── docs/ ├── examples/ ├── src/ │...
WebLLM 开源项目教程
gitblog_00349的博客
08-15 524
WebLLM 开源项目教程 web-llm将大型语言模型和聊天功能引入网络浏览器。所有内容都在浏览器内部运行，无需服务器支持。项目地址:https://gitcode.com/gh_mirrors/we/web-llm 项目介绍 WebLLM 是一个高性能的浏览器内语言模型推理引擎，它利用 WebGPU 进行硬件加速，使得强大的语言模型操作可以直接在网页浏览器中进行，无需服务器端处理。该项目是 ...
Web-LLM 项目常见问题解决方案
gitblog_01188的博客
12-14 964
Web-LLM 项目常见问题解决方案 web-llm 将大型语言模型和聊天功能引入网络浏览器。所有内容都在浏览器内部运行，无需服务器支持。 项目地址: https://gitcode.com/gh_mirrors/we/web-l...
探索未来网页交互：WebLLM带你进入高效本地语言模型推理新时代
gitblog_00100的博客
05-08 520
探索未来网页交互：WebLLM带你进入高效本地语言模型推理新时代 web-llm 将大型语言模型和聊天功能引入网络浏览器。所有内容都在浏览器内部运行，无需服务器支持。 项目地址: https://gitcode.com/gh_mirrors/we/web-llm ...
7个用于运行LLM的最佳开源WebUI
热门推荐
Everly_的博客
01-23 1万+
无论是希望将AI大模型集成到业务流程中，还是寻求企业客户服务自动化，亦或者是希望创建一个强大的个人学习工具。可能都需要考虑数据安全、灵活度以及更具有可控性的使用和开发基础。值得考虑的一个方案是：将大模型（LLM）私有化并且创建一个好用的LLM WebUI系统。下面，我们推荐7个出色的开源LLM WebUI 系统。Star：45.7K开发语言：Python、TypeScript\SvelteOpen WebUI是一个可扩展、功能丰富且用户友好的WebUI，旨在完全离线操作。
WebLLM项目入门指南：在浏览器中运行本地大语言模型
最新发布
gitblog_00776的博客
06-02 278
WebLLM项目入门指南：在浏览器中运行本地大语言模型 web-llm 将大型语言模型和聊天功能引入网络浏览器。所有内容都在浏览器内部运行，无需服务器支持。 项目地址: https://gitcode.com/gh_mirrors...
Python自动化工作流：结合浏览器、LLM和计算机视觉技术
在信息技术领域，特别是在Web开发和自动化测试中，通过自动化浏览器来模拟用户操作完成一系列任务是一个常见的需求。通过Python脚本，开发者可以自动化整个基于Web应用程序的工作流程，实现如自动化登录、数据抓取、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值