xingzhihuo的博客

C#判断两个List是否相同，无关顺序 List1.Count == List2.Count && List1.All(List2.Contains) && List1.Count == List2.Count &&List1.Except(List2)).Count() == 0

本文整理自韦玮老师的《Python大型网络爬虫项目开发实战》课程 一 编写思路介绍 大型商城爬虫项目的难点在于： 1、屏蔽数据的获取--抓包 2、信息提取--优先选XPath，其次正则 3、各种反爬手段--验证码、用户代理、IP代理、取消cookie 4、数据的合理存储--写进数据库中 5、爬取效率的问题--同时运行多个爬虫 二、创建项目 1、网站分析，获取爬取思路 要获取的目