爬虫技术栈

最新推荐文章于 2025-08-19 19:51:30 发布
转载 最新推荐文章于 2025-08-19 19:51:30 发布 · 1.4k 阅读 · 4

成为一名优秀的爬虫工程师，需掌握前端、网络、存储等技术，包括html、js、ajax、http、sql、NoSQL及数据处理技能。了解Chrome调试、正则表达式、xpath等，为数据清洗、分析及挖掘打下基础。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一个好的爬虫工程师需要了解各种IT技术，因为不同的网页结构不同，使用的技术不同，爬取要求不同，所以写爬虫就要熟悉各种网络开发相关的技术。以下是爬虫涉及的一些技术要点。

1. 前端相关：包括html结构，js，ajax请求过程，css，h5，cookie，session

2. 网络相关：request和response流程，http知识，代理proxy的使用

3. 存储相关：sql，database，NoSQL，redis，文件读取

4. 其他知识：Chrome调试，正则表达式，xpath，文件编码,分布式

爬取数据以后还要做数据清洗，文本处理，数据分析，数据展示以及数据挖掘等，将会涉及更多的炫酷技能如npl，spark，machinelearing等

开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
以微薄之力，予他人些许温暖.
09-26 2万+
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
【Qwen2-VL部署实战】剖析阿里通义千问的 Qwen2-VL：新一代视觉语言模型本地实战指南
寻道AI，探索AI无限可能！
10-14 1840
阿里通义千问的 Qwen2-VL 是一款具有强大功能和优异性能的视觉语言模型，它的发布为多模态技术的发展带来了新的机遇。无论是在视觉理解能力、多语言支持还是视觉智能体能力方面，Qwen2-VL 都表现出了卓越的性能，为各种应用场景的智能化发展提供了有力的支持。随着技术的不断发展和应用场景的不断拓展，相信 Qwen2-VL 将在未来发挥更加重要的作用。
Qwen-Image单图训练LoRA全攻略：人物形象高保真还原与过拟合防治之道
Liudef06的博客
08-11 1万+
Qwen-Image单图LoRA训练核心要点 技术本质：阿里云Qwen-Image通过动态视觉分词技术实现细粒度特征提取，结合LoRA低秩适配（W'=W+BA^T）进行参数高效微调。 核心挑战：单图训练面临过拟合（PSNR仅28.7）与欠拟合（秩<8时特征还原度<60%）双重困境。 解决方案： 数据增强组合：仿射变换+色彩抖动+随机擦除等提升数据多样性 关键参数配置：LoRA秩≥32、注入视觉投影层、自适应学习率调度 防治过拟合五大技术：梯度惩罚、VGG特征约束、动态权重冻结等 效果验证：优化后
Qwen-VL图文多模态大模型LoRA微调指南
06-17 4981
Qwen-VL 是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。Qwen-VL 系列模型的特点包括：多语言对话模型：天然支持英文、中文等多语言对话，端到端支持图片里中英双语的长文本识别；多图交错对话：支持多图输入和比较，指定图片问答，多图文学创作等；开放域目标定位：通过中文开放域语言表达进行检测框标注；本文基于此进行微调。
探索阿里通义千问的 Qwen2-VL：新一代视觉语言模型本地体验实战大全
m0_59235945的博客
09-27 2504
阿里通义千问的 Qwen2-VL 是一款具有强大功能和优异性能的视觉语言模型，它的发布为多模态技术的发展带来了新的机遇。无论是在视觉理解能力、多语言支持还是视觉智能体能力方面，Qwen2-VL 都表现出了卓越的性能，为各种应用场景的智能化发展提供了有力的支持。随着技术的不断发展和应用场景的不断拓展，相信 Qwen2-VL 将在未来发挥更加重要的作用。
qwen2.5-vl：阿里开源超强多模态大模型（包含使用方法、微调方法介绍）
热门推荐
sherlockMa的博客
01-28 3万+
Qwen2.5-VL是由阿里巴巴通义千问团队推出的一款开源视觉语言模型，它在视觉理解、多模态交互以及自动化任务执行等方面展现出卓越的能力。该模型不仅能够识别常见的物体，如花卉、鸟类、鱼类、昆虫等，还能深入分析图像中的文本、图表、图标、图形和布局，其通用图像识别能力得到了显著增强，大幅扩展了可识别的图像类别范围。
阿里 Qwen-Image：开源 20B 模型引领图像生成新纪元，中文渲染超越 GPT-4o！
AI_gurubar的博客
08-06 1311
阿里巴巴通义团队于 2025 年 8 月 4 日正式开源了通义万相（Qwen-Image），这是一款 200 亿参数的多模态扩散 Transformer（MMDiT）图像基础模型，标志着通义系列在大型语言模型（LLMs）成功之后，向多模态 AI 领域的重大拓展。这一开源举措使其成为 DALL-E 2/3、Midjourney 和 GPT-4.1 等现有专有模型的直接竞争者，为业界提供了免费且可访问的高性能替代方案。Logo。
Qwen2-VL多模态大模型微调实战（完整代码）
SoulmateY的博客
11-15 2万+
Qwen2-VL多模态大模型微调实战。本文我们将简要介绍基于 transformers、peft 等框架，使用 Qwen2-VL-2B-Instruct 模型在上进行Lora微调训练，同时使用监控训练过程与评估模型效果。
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora&模型合并-V100（五）
以微薄之力，予他人些许温暖.
09-27 3577
使用LLaMA-Factory合并微调后的模型权重
Qwen2.5-Omni 多模态旗舰模型深度解析：性能、部署与个人玩家上手指南
AngelCryToo的专栏
03-28 2984
不同于GPT-4V、Gemini 1.5等采用分离式编码器，Qwen2.5-Omni采用统一的Transformer架构处理文本、图像、音频和视频，减少模态对齐损失，提升跨模态推理能力。对比测试：在100K tokens以上的文档问答任务中，Qwen2.5-Omni的准确率比Claude 3高出12%，比GPT-4 Turbo高出8%。：输入 2.5/1Mtokens，输出2.5/1Mtokens，输出7.5/1M tokens，比GPT-4 Turbo便宜70%。，是当前性价比最高的多模态大模型之一。
腾讯混元3D系列开源模型：从工业级到移动端的本地部署
彩旗工作室的博客
08-19 822
涵盖工业级到移动端的9款3D生成模型，包括基础生成、垂直领域和轻量化版本。工业级模型如Hunyuan3D-1.0支持高精度建模，而轻量化版本如Hunyuan3D-2mini适配移动端实时生成。部署指南详细介绍了macOS和Android环境下的配置及代码实现，帮助开发者快速应用。该系列为影视、游戏、AR/VR等场景提供全链路解决方案，未来将持续扩展应用边界。
通义万相Wan2.1- 阿里推出的开源视频生成大模型
Qynwang的博客
08-18 363
推荐优先体验 "武侠特效" 模板生成动态场景，开发者可通过 API 集成至短视频生产流水线。，包含 1.3B/14B 双规格文生视频与 720P 图生视频架构，在物理模拟、影视质感和复杂运动处理上实现突破性进展，登顶 VBench 全球榜单（86.22 分）。注：实测生成 1 分钟科普视频成本仅 $0.3，较传统制作降低 99.7%（2025 年数据）。输入文案→1 分钟生成油画 / 赛博朋克风格短片。通义万相 Wan2.1 是阿里巴巴推出的。书法 / 水墨 / 武侠专项优化。学生理解度提升 48%
猫头虎AI分享｜一款Coze、Dify类开源AI应用超级智能体Agent快速构建工具：FastbuildAI
猫头虎技术团队：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：优快云WF，猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务！全网搜：猫头虎技术团队，点击文章底部名片或直接私信我一切皆可谈，快找虎哥！
08-17 1343
摘要：FastbuildAI是一款开源AI应用快速构建工具，专注于易用性和商业闭环功能。相比Coze、Dify等工具，它提供可视化零代码搭建，内置算力计费、用户充值、营销收款等商业化能力，助力个人开发者和小团队快速上线AI应用。当前beta版本支持AI对话、多模型管理、MCP调用等功能，未来将扩展工作流、智能体、知识库等特性。通过Docker一键部署，开发者可快速完成从配置到运营的全流程，实现AI应用的高效变现。 开源地址：GitHub
猫头虎AI分享｜一款Coze、Dify类开源AI应用超级智能体快速构建工具：FastbuildAI
猫头虎技术团队：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：优快云WF，猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务！全网搜：猫头虎技术团队，点击文章底部名片或直接私信我一切皆可谈，快找虎哥！
08-17 997
摘要：FastbuildAI是一款开源AI应用快速构建工具，主打易用性和商业闭环功能。通过可视化零代码界面，用户可快速搭建AI应用并集成算力计费、用户充值、营销收款等商业化功能。与Coze、Dify相比，FastbuildAI更注重从开发到运营的全流程支持，适合个人开发者和小团队。当前版本支持AI对话、多模型管理和MCP调用等功能，未来将扩展工作流、知识库等特性。项目采用Docker一键部署，内置管理员系统，支持自定义界面和插件扩展，帮助用户实现从开发到商业运营的完整闭环。 （字数：149字）
MCP ZAP Server：一款能够利用大模型替代人工进行Web安全扫描的开源MCP
所有成功的背后，都是痛苦的坚持，所有的痛苦，都是傻瓜般的不放弃!
08-18 455
，它可以将 OWASP ZAP 公开为 MCP（模型上下文协议）服务器，允许任何兼容 MCP 的 AI Agent（例如 Claude Desktop、Cursor、Cline）调度 ZAP 执行扫描操作——爬虫、主动扫描、导入 OpenAPI 规范以及生成报告。各组件说明1. zap（OWASP ZAP镜像程序）镜像目的： 在端口 8090 上运行 OWASP ZAP 守护程序。配置禁用 API 密钥。接受来自所有地址的请求。将主机目录映射到容器路径/zap/wrk。
扣子(Coze)，开源了！Dify 天塌了
dsgdauigfs的博客
08-15 1637
先说结论：扣子（Coze）其实就是字节跳动自家的AI大模型智能体开发平台。如果你关注AI、玩过大模型，或者做过智能体产品，比如AI客服、AI助手、虚拟女友这些工具，一定绕不开扣子。扣子为开发者、产品经理、甚至是零基础的小白用户，提供了“零代码/低代码”可视化搭建工具。你可以像搭积木一样，把各类大模型、插件、工作流拖进来，5分钟就能造出一个属于你的AI智能体。无论你要做AI助手、虚拟助理，还是知识问答机器人、业务自动化流程，都能在扣子里快速落地。
开源数据发现平台：Amundsen Frontend Service 应用程序配置
船长Q的博客
08-15 960
Amundsen 是一个元数据驱动的应用程序，用于提高数据分析师、数据科学家和工程师与数据交互时的工作效率。
开源 C++ QT Widget 开发（二）基本控件应用
最新发布
ajassi2000的博客
08-19 414
本文记录了一个基于Qt Widgets的C++ GUI应用程序开发过程。文章详细介绍了实现的功能：1）定时器驱动的进度条自动更新；2）按钮点击计数器；3）单选/复选框状态显示；4）下拉框选择显示；5）列表项点击显示。重点分析了Qt信号槽机制的使用方法，包括自动生成槽函数和手动连接信号槽两种方式。虽然程序功能完整，但作者指出存在使用全局变量和过时语法的问题，建议优化代码结构。文章附有完整的.h和.cpp源码，为Qt初学者提供了实用的开发示例。
轻度娱乐浪潮下定制开发开源AI智能名片S2B2C商城小程序的机遇与策略
专注MarTech应用研究与实施方案
08-19 500
摘要：本文探讨了定制开发开源AI智能名片S2B2C商城小程序与轻度娱乐结合的市场机遇。研究指出，休闲类游戏和低门槛视频等轻度娱乐形式在低幼和银发新网民群体中展现出强大适应性，市场潜力巨大。通过分析开源AI智能名片的个性化服务与S2B2C模式的供应链优势，提出该组合在新兴市场的落地策略，包括精准营销、产品丰富、渠道拓展和用户体验提升等方面。研究为企业在新网民娱乐市场中的业务拓展提供了创新思路和实施方案。
Qwen2.5-VL：最强开源视觉大模型，本地部署完全免费
05-02
### Qwen2.5-VL 开源视觉大模型本地部署方法 Qwen2.5-VL 是阿里巴巴推出的一款强大的开源视觉语言模型，具备卓越的多模态理解和生成能力。为了便于开发者和研究人员使用，该模型支持本地部署，并提供免费资源供用户下载和运行。 #### 部署环境准备 在开始本地部署之前，需确保满足以下软硬件条件： - **操作系统**: 支持主流的操作系统，如 Linux 和 macOS[^3]。 - **硬件配置**: 建议配备 NVIDIA GPU 或其他高性能计算单元以加速推理过程[^4]。 - **依赖库安装**: 安装必要的 Python 库以及 CUDA 工具包来适配 GPU 加速功能[^2]。 #### 下载与安装流程 1. 访问官方 GitHub 页面或其他指定发布渠道获取最新版本的 Qwen2.5-VL 模型文件及其配套脚本。 ```bash git clone https://github.com/Qwen-Multimodal/Qwen.git cd Qwen ``` 2. 使用 pip 安装所需的 Python 包： ```bash pip install -r requirements.txt ``` 3. 将预训练权重文件放置到项目目录下的 `weights` 文件夹中，或者通过命令行参数指定路径: ```python model_path = "./weights/qwen_vl_7b_instruct" ``` #### 启动服务端口 完成上述步骤后，可以通过如下方式启动本地服务器实例以便调用 API 进行预测操作[^2]： ```python from qwen import QwenVLModel model = QwenVLModel(model_name="qwen-vl", device="cuda") # 设置为 'cpu' 如果没有GPU可用 app.run(host='0.0.0.0', port=8080, debug=True) ``` 此代码片段展示了如何加载模型并初始化 Web 应用程序监听特定 IP 地址及端口号上的请求[^1]。 #### 测试接口响应 最后，在浏览器地址栏输入 http://localhost:8080/predict 并附加适当格式化的 JSON 数据体即可验证整个系统的正常运作情况。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值