初学者_小铭

这学期就想把习乐题库刷空，一直没时间弄，期末来了，课少了，搞起来~ 习乐好像是一个一个学长写的app，但是对不住了，增加了点垃圾数据，23333 思路： 1、手机或模拟器抓包，分析提交自测数据包、查看试卷数据包。 2、模拟上面的数据包。 3、清洗数据，得到想要的信息入库。 Fiddler抓手机/模拟器数据包，分析数据包基本数据包 Fidd...

一、前言 因为本人比较菜，在学习Scrapy 框架之前都是自己手写爬虫，最多也只是开线程解决，最多的数据量也只有2W+， 先说下我以前怎么解决多线程数据库存储到本地（受到倍增启发），因为数据量比较小，没使用数据库，而是生成的excel表格 解决办法 一：写个全局锁，如果有人在写入，那么他就暂停，等待一下，然后再次访问.（后来学了计网，...

一、初步使用scrapy 网上教程很多，不重复介绍了； Scrapy官方网站可以看下这篇 一些基本的scrapy命令 scrapy startproject preoject_name // 创造一个scrapy 项目 然后进入目录preoject_name（你刚创建的项目）： scrapy genspider Lushan "www.ym94.cn" // 如果没有修改模板 就...