<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[pumpkin_0的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/pumpkin_0</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; pumpkin_0]]></copyright><item><title><![CDATA[python爬取国家法律法规数据库]]></title><link>https://blog.youkuaiyun.com/pumpkin_0/article/details/141862709</link><guid>https://blog.youkuaiyun.com/pumpkin_0/article/details/141862709</guid><author>pumpkin_0</author><pubDate>Tue, 03 Sep 2024 15:44:22 +0800</pubDate><description><![CDATA[从列表进入内容，发现每条内容文件对应一个id，这个id是由列表页传过来的，从列表获取拼出内容的url，然后进行接口爬取内容的文件路径path，再下载文件，解析文件。涉及文件下载，word解析，得到带标签和不带标签的内容，雪花算法非自增id，数据入库去重。发现导航栏有不同分类，f12查看网络接口，发现每个分类对应一个参数。爬取的文件数据下载到文件夹中，其他数据存储到数据库中。]]></description><category></category></item><item><title><![CDATA[python爬取国家标准文件]]></title><link>https://blog.youkuaiyun.com/pumpkin_0/article/details/141817611</link><guid>https://blog.youkuaiyun.com/pumpkin_0/article/details/141817611</guid><author>pumpkin_0</author><pubDate>Mon, 02 Sep 2024 14:47:22 +0800</pubDate><description><![CDATA[1.翻页爬取接口2.数据列表对页面爬取3.爬取接口获得行业类型4.文件下载页面需要图片验证，模拟浏览器完成验证。]]></description><category></category></item><item><title><![CDATA[爬取网页/接口/selenium时遇见的问题及解决方法]]></title><link>https://blog.youkuaiyun.com/pumpkin_0/article/details/141280052</link><guid>https://blog.youkuaiyun.com/pumpkin_0/article/details/141280052</guid><author>pumpkin_0</author><pubDate>Sat, 31 Aug 2024 15:31:47 +0800</pubDate><description><![CDATA[1.若报错：requests.exceptions.SSLError: HTTPSConnectionPool(host='XXX', port=443)，在请求时添加代码verify=False。20. 若报错requests.exceptions.SSLError: [SSL: SSL_NEGATIVE_LENGTH] dh key too small (_ssl.c:600)7.若网页内容是下载文件，下载后文件打不开有损坏，可能是url不对。8.图片路径对，但是页面不显示，在src=””前加。]]></description><category></category></item></channel></rss>