记录用web scraper爬取裁判文书网的文书列表信息以及批量下载word文书

最新推荐文章于 2023-12-19 13:58:47 发布
原创 最新推荐文章于 2023-12-19 13:58:47 发布 · 4.3k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#web scraper #python

本文档记录了如何使用Web Scraper爬取裁判文书网的文书列表信息，包括文书标题、文号、日期和摘要，并探讨了如何在Python中模拟鼠标键盘操作批量下载word文书，尽管遇到反爬难题，但通过巧妙配置和自动化工具，实现了高效解决方案。

这个是一位网友在B站交流的一个问题，这里记录一下。

需求

1、爬取的网站地址：http://wenshu.court.gov.cn/website/wenshu/181217BMTKHNT2W0/index.html?pageId=7bcf3b0574e320a487ada1f504759be4&s21=%E8%B5%94%E5%81%BF

2、需要抓取的信息

爬取文书列表内容，报告标题、文号、日期、摘要等等信息。

3、需要抓取多页，比如说前10页。

分析网站的情况

1、抓取的页面翻页的时候，url是不会变的。而在页面的源码当中又找不到内容，说明网页是通过异步加载的。

2、打开F12，就会弹出下面的暂停提示，阻止后续的查看。没事，点击右下角的取消断点，再运行即可。

3、点击“network”，点击网页的第二页，查看请求的数据。

可以看到，是post请求，后面需要有一堆的参数

一般而言，通过这样请求之后，可以获取到真实的json文件，里面就包含了网页中文书的列表当中，然而这次却是不一样，请求得到的居然是加密的信息，还需要

最低0.47元/天 解锁文章
Python爬虫实战：裁判文书网数据采集与解析
2201_76125261的博客
09-21 1120
随着大数据时代的到来，法律数据的价值日益凸显。裁判文书作为司法活动的重要载体，包含了丰富的法律信息和司法实践经验。本文基于Python技术栈，设计并实现了一个针对中国裁判文书网的网络爬虫系统，能够高效、稳定地采集裁判文书数据。系统采用Requests+BeautifulSoup4的基础爬虫方案，并结合Selenium应对动态内容加载，使用Scrapy-Redis实现分布式爬取，最终通过数据解析和存储模块将文书数据保存至MySQL数据库。
基于逆向工程的中国裁判文书网爬虫技术深度解析
2201_76125261的博客
10-17 1754
本文详细介绍了中国裁判文书网爬虫的开发过程，涵盖了从基础爬取到高级功能的完整解决方案。逆向工程分析：理解网站的反爬机制和加密逻辑浏览器自动化：使用Playwright模拟真实用户行为参数加密：通过JavaScript执行环境生成加密参数智能调度：控制请求频率，避免被检测错误处理：完善的异常处理和重试机制。
利用selenium实现中国裁判文书网自动登录批量下载功能
Mr.Gogh的博客
09-08 6162
利用selenium实现中国裁判文书网自动登录批量下载功能 最近关于一个法律机器人项目研究中，需要收集一些法律文件以及一些法律问答，需要大量的数据。然后就把目标定在了文书网，人为下载有点浪费人力，并且数量实在太大了。所以就自动化实现一下。 直接上代码了，挺简单的。 # -*- coding:utf-8 -*- from selenium import webdriver from selenium.webdriver.support.select import Select from selenium.we
python爬裁判文书网_记录用web scraper爬取裁判文书网的文书列表信息以及批量下载word文书...
weixin_39907658的博客
12-29 1444
这个是一位网友在B站交流的一个问题，这里记录一下。需求2、需要抓取的信息爬取文书列表内容，报告标题、文号、日期、摘要等等信息。3、需要抓取多页，比如说前10页。分析网站的情况1、抓取的页面翻页的时候，url是不会变的。而在页面的源码当中又找不到内容，说明网页是通过异步加载的。2、打开F12，就会弹出下面的暂停提示，阻止后续的查看。没事，点击右下角的取消断点，再运行即可。3、点击“network”，...
爬虫爬出来的数据不全_Web Scraper教程（二）爬虫入门之当当畅销书爬取
weixin_39915081的博客
11-21 933
你每年能读几本书？2018年，我国人均数字阅读量为12.4本；2019年，我国成年人均纸质图书阅读量为4.65本。粗略计算，我国人均每年可以读17本书，平均每月1.5本。按照从18岁成年到77岁的人均寿命计算，人的一生可以读1020本书。当当网上的图书数量是多少？经济类：614873 本管理类：1049148 本历史类：607259 本小说类：1564887 本可见时间有限，现代文明的...
利用Python中selenium库爬虫实现中国裁判文书网自动登录批量下载功能——最新版详细教程！！———已更新高级检索功能
zwangshun的博客
12-19 9662
0基础利用Python的selenium库爬虫实现中国裁判文书网自动登录批量下载功能，非计算机专业从未接触过的人也适用，一般法学专业的学生或是法律相关工作者可能会很需要
裁判文书抓取
pillwe-wli的博客
08-19 545
裁判文书，呵，我放弃了参数获取cipherdes3 解密devid请求 参数获取 cipher "var CryptoJS = CryptoJS || function(y, h) { var j = {} , g = j.lib = {} , f = function() {} , z = g.Base = { extend: function(b) { f.prototype = this; var d = new f; b &
Web Scraper爬取信息
lindenlin的博客
12-18 1553
Web Scraper爬取信息
webscraper 爬取二级网页_web scraper 入门到精通之路
weixin_39669638的博客
12-24 622
【摘要】来一个插件帮忙翻看一下网页上的数据——webscraper，目的当然是为了学习新知识，希望在此与大家一起进步，一起成长。谢谢大家的过目！为了更加透彻清晰，将采用图文并茂的方式。(如有侵权，请及时联系我) 本文来自于x-team成员：清泓 。「最后更新时间2020年2月23日【持续更新】」(本人郑重声明：抓取的所有资料著作权归被抓取方所属公司或集团，抓取数据只供学习使用，强烈谴责把数据商业化...
webscraper多页爬取_爬虫工具实战篇（Web Scraper）- 京东商品信息爬取（原创）
weixin_35952929的博客
01-17 2410
一、背景与目的数字化营销时代，快速掌握了解数据是一项基本技能，本文主要讲解里面Web Scraper工具如何爬取公开数据，比如爬取京东的店铺售卖商品情况数据，以便我们更好地了解竞品对手的产品情况和定价情况等，从而采取有效针对性的手段应对，同时对于个人也是一项数据收集技能的提升。二、工具介绍和安装1> 介绍WebScraper是一款可以从网页中提取数据的chrome网页数据提取插件,是一款非...
财务有必要学python吗-考完ACCA和CPA已经很难了，还有必要学Python吗？
q6q6q的专栏
10-28 1742
近一段时间，Python可谓是风生水起，各行各业都在讨论自己的岗位是否需要再考个Python来加持一下。那么学ACCA已经很难了，再加一个Python，有必要吗？会Python的人和不会Python的人其实在日常工作中能够看的出来的，大部分的公司都要求爬虫技术有一定的深度和广度，深度就是类似反反爬、加密破解、验证登录等等技术；广度就是分布式、云计算等等，这都是加分项；但是也有的人会说，其他的工具也...
selenium中国裁判文书网爬虫.zip
06-29
使用selenium的裁判文书网爬虫，需要传入的参数在py文件中有说明，同时需要更改txt文件的路径，cb那个exe据说可以加速火狐浏览器，用过没有什么感觉，可能有！ 如果没有积分的可以私信我
2021裁判文书网抓取
热门推荐
weixin_47345503的博客
07-07 3万+
记录一下抓取《裁判文书网》搜索功能的整体流程, 本文仅用于记录学习 简单的分析一下页面发现在点击下一页的时候页面的 url 并没有进行跳转初步判断请求时通过ajax进行的请求 筛选一下请求的结果 在点击下一页时只有这一个请求加载, 那么基本可以确定这个就是加密后的列表内容。还发现了可secretKey这个参数, 这种返回的形式,很大机率是对称加密中的key。 那么接下来可以通过拦截这个请求进行进一步的确认 通过观察调用栈, 发现 getData 很可能是请求发起的地方 追踪进去发现是一个ajax请求
裁判文书关键信息提取
qq_35332332的博客
05-10 3892
"""单个文件等级地处理""" # 程序实现：1.传入一个路径(doc或docx文件路径，系统会自动判断是doc文件还是docx文件，doc文件会转换为docx文件），在本路径下生成同文件名json文件。2.传入一个路径，返回一个列表（内嵌套固定类型字典）。 import os import docx import json from process_doc import doc2docx_1 # 通过文件路径解析信息（txt文件编码类型为ANSI），获取案件名（文件名）、案由、案件类型、文书类型 .
文书网列表页地址
Little Snow White
03-27 1471
首先查看列表页源代码 发现列表页的链接是通过Navi这个函数生成的 直接搜Navi搜不到 查资料，搜关键字Decrypt，找到函数本体 研究一下函数逻辑 发现一共分两步加密 第一步，把前面列表页js返回的加密字符串传入unzip， 第二步，计算获得unzipid值后再传入com.str里的Decrypt函数进行解密，获得最终的docid 在pako.js里找到这两个函数 这个函数里用到了B...
帮师妹写的裁判文书内容提取程序：可做进一步提取模板
python__reported的博客
02-27 4649
帮师妹写的裁判文书内容提取：可做进一步提取模板一、提取结果二、提取内容三、代码 一、提取结果 二、提取内容 需求内容为：被告、裁判文书案号、时间、地域、刑事强制措施、罪名、刑罚 整体运用的技术：主要采取的是正则匹配，因为裁判文书的这些表述是存在一定的模式的，法言法语的要求是的语言表述一般比较固定；当然在被告名字处正则匹配可能会遗漏，于是通过pyhanlp实体识别进行了进一步的精确化 遇到的一些问题：多主体不同罪名 这一问题主要通过被告名称进行定位，如果名字在该段文字中且存在这一罪名，
Python与R协同完成【中国裁判文书网】文书内容爬取
默默耕耘，阶段爆发，取长补短，修炼身心
08-16 4036
概述： 目标网站：http://wenshu.court.gov.cn/ 核心：爬取每份文书的DocID 请求URL：http://wenshu.court.gov.cn/List/ListContent 请求类型：POST 传参表格数据参数：Param,Index,Page,Order,Direction,vl5x,number,guid 分析过程： 1.guid也称为uuid,通用唯一...
webscraper 无代码爬虫
有什么问题回复不及时，可以私聊我。也可以加我的星球：知识爬行者
10-22 509
官网：https://www.webscraper.io/web-scraper-first-time-install webscraper 简介 Web Scraper 是一款免费的，适用于普通用户的爬虫工具，可以方便的通过鼠标和简单配置获取网页上的内容：文字、链接、图片、表格等，而无需写一行代码。 一、安装过程 webscraper是一个谷歌浏览器插件程序，所以想要使用首先要安装一个Chro...
关于裁判文书网的一些建议
Mr.Gogh的博客
01-07 2214
关于裁判文书网的一些建议 有部分小伙伴私聊我一些文书网的东西。原因应该是我关于文书网批量下载的博文，写得太过简单。但我认为实现思路其实就这么简单，登录爬取，就没其他操作可言了。今天整理一下大概的问题。 数据爬取需谨慎，学习就学习，知道怎么行就好。 1. 为什么我的selenium在跳转页面后就是空白？ 这个问题吧是chrome driver被检测了，这个很常见。 解决方式：下载可以将exe文件转换为16进制文件的软件。通过搜索 $cmd_ 把搜到的改为 $xxx_ 就行了。 2. 下载按钮和批量框，点击不
web scraper爬取购物变体信息
最新发布
11-15
Web Scraper 是一款基于 Chrome 浏览器的网页数据抓取工具，以下是使用 Web Scraper 爬取购物变体信息的一般方法： ### 安装 Web Scraper 扩展 首先，打开 Chrome 浏览器，在 Chrome 网上应用店中搜索“Web Scraper”，然后将其添加到 Chrome 浏览器中。 ### 创建站点地图 1. 打开要爬取的购物页面，点击浏览器右上角的 Web Scraper 图标，打开 Web Scraper 界面。 2. 在 Web Scraper 界面中，点击“Create new sitemap”创建一个新的站点地图。 3. 为站点地图命名，例如“shopping_variants”，然后点击“Create sitemap”。 ### 定义选择器 1. **页面选择器**： - 在站点地图中，点击“Add new selector”添加一个新的选择器。 - 选择选择器类型为“Element”，用于选择包含变体信息的页面元素。 - 使用鼠标在网页上选择包含变体信息的区域，Web Scraper 会自动识别并生成选择器规则。 - 为选择器命名，例如“variant_page”，然后点击“Save selector”。 2. **变体信息选择器**： - 再次点击“Add new selector”，选择选择器类型为“Text”或“Attribute”，具体取决于要提取的变体信息是文本还是属性值。 - 在网页上选择具体的变体信息元素，如变体名称、价格、颜色等。 - 为选择器命名，如“variant_name”、“variant_price”等，然后点击“Save selector”。 ### 配置选择器关系 如果变体信息存在嵌套关系，需要配置选择器之间的父子关系。例如，变体信息选择器应该是页面选择器的子选择器，以确保只在包含变体信息的页面区域内提取数据。 ### 运行爬虫 1. 配置完成后，点击 Web Scraper 界面中的“Scrape”按钮开始爬取数据。 2. 在弹出的对话框中，选择要爬取的页面 URL（通常是当前打开的购物页面），然后点击“Start scraping”。 3. Web Scraper 会自动遍历页面，按照定义的选择器规则提取变体信息。 ### 导出数据 爬取完成后，点击“Export data as CSV”将提取的变体信息导出为 CSV 文件，方便后续分析和处理。 以下是一个简单的示例代码，展示如何使用 Web Scraper 爬取购物变体信息： ```python # 这里只是示意，Web Scraper 主要在浏览器扩展中操作，并非使用 Python 代码 # 假设已经使用 Web Scraper 导出了 CSV 文件 import pandas as pd # 读取导出的 CSV 文件 data = pd.read_csv('shopping_variants.csv') print(data) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值