qq_45315982的博客

一.确定项目需求1.1 抓取首页的分类信息·抓取数据：各级分类的名称 和 url0011.2 商品信息的抓取·抓取：商品名称，商品价格，商品评论数量，商品店铺，商品促销，商品选项，商品图片和URL002二.开发环境·平台：linux·开发语言：python3·开发工具：pycharm·技术选择： 由于全网爬虫，抓取页面非常的多，为了提高抓取的速度，选择使用scrapy框架+...

斗鱼弹幕抓取斗鱼api网上开放的。数据发送和接收流程：先发送长度，在发送数据，接收数据就是先接收长度，后接收数据。

预备知识asyncore模块介绍这个模块为异步socket的服务器通信提供简单的接口。该模块提供了异步socket服务客户端和服务器的基础架构。相比python原生的socket api，asyncore具有很大的优势，asyncore对原生的socket进行封装，提供非常简洁优秀的接口，利用asyncore覆写相关需要处理的接口方法，就可以完成一个socket的网络编程，从而不需要处...

把电影天堂数据存入MySQL数据库 - 增量爬取思路1、MySQL中新建表 request_finger,存储所有爬取过的链接的指纹2、在爬取之前,先判断该指纹是否爬取过,如果爬取过,则不再继续爬取这里写的原生sql语句：# 建库建表create database filmskydb charset utf8;use filmskydb;create table request_f...

爬虫数据的存储本篇文章主要对抓取的数据进行相关的存储，完成数据持久化存储。主要是存储为csv格式文件，MySQL数据库，MongoDB数据库。csv文件存储将爬取的数据存储到csv文件中。使用流程：1、导入模块2、打开csv文件3、初始化写入对象4、写入数据(参数为列表)import csv with open('film.csv','w') as f: writer...