鸣蜩十四的博客

场景这次记录的是spa系列的4-6个，分别对应的技巧是智能分析，有翻页批量抓取，js逆向分析关卡spa4新闻网站索引，无反爬，数据通过 Ajax 加载，无页码翻页，适合 Ajax 分析和动态页面渲染抓取以及智能页面提取分析。智能解析的知识点详情：智能解析详解我在本次实验中使用的是newspaper库:newspaper详解使用智能解析方便快捷，结果的话抓取十个链接，可能出错的有2-3个，还可以接受的总代码：import jsonimport pandas as pdimport re

场景上次写了ssr系列，它主要依靠服务器渲染代码，并且没有什么困难的地方，主要学习的是request请求中的技巧和html页面元素的定位抓取等爬虫基础技巧。这次记录的是spa系列，这个系列的代码数据都通过Ajax加载，页面动态渲染，主要学习的是通过接口获取json数据并处理以及js的逆向分析，难度提升了一大截，这个系列我的目标是爬取首页每个电影的标题，主题，评分以及电影详情页里面的电影剧情技术json数据的处理，js逆向分析关卡spa1电影数据网站，无反爬，数据通过 Ajax 加载，页面动态渲染

场景最近在学习爬虫，实践使用的是https://scrape.center/网站的环境第一关没有任何限制，结果爬取的是所有的电影地址，标题，主题，分数，剧情简介技术主要使用的是request库和BeautifulSoup，最后导出一个csv文档代码import pandas as pdimport urllib3from bs4 import BeautifulSoupimport requestsurllib3.disable_warnings() #去除因为网页没有ssl证书出现

import requestsfrom lxml import etreedef book(): url = "https://www.xbiquge.la/56/56564/" proxy={ "https": "http://127.0.0.1:7890" } response = requests.get(url,proxies=proxy) #获取url response.encoding='utf-8' #指定字符