Mr_blueD的博客

一.工具1. Python3.62. Django1.11.9二.创建Django项目进入命令行打开/myblog/myblog下的settings.py配置文件，添加blog应用二.初始化后台数据库Django默认使用Python自带的Sqlite3数据库，如果想使用其他数据库，也可以在settings.py中进行修改。本文使用默认数据库。执行数据库同步，生成相关文件表创建管理员账号邮箱地址可填...

先抓包分析我们想要获取的数据，很明显都是动态数据，所以直接到Network下的XHR里去找，这里我们找到具体数据后，就要去寻分析求地址与请求信息了。还有需要提交的表单信息分析完毕之后，我们就可以开始写我们的爬虫项目了。一.编写Itemitem编写比较简单# 拉钩职位信息class LagouItem(scrapy.Item): # 城市 city = scrapy.Field()...

这段时间我在一个爬虫项目写了两个蜘蛛（http://blog.youkuaiyun.com/mr_blued?t=1），都需要通过piplines将数据保存到Mysql数据库，所以在piplines写了两个类。一个MoviePipeline()，一个BookPipline()import pymysql'''class MoviePipeline(object): def __init__(s...

MySQL 数据库数据库:关系型 和 非关系型数据库关系型数据库的优势复杂查询可以使用SQL语句 在一个或者多个表之间 进行复杂的查询事物支持可以提高安全性能非关系型数据库性能NOSQL 是基于键值对 不需要SQL层的解析 性能高可扩展性因为基于键值对 所以水平扩展非常的容易一 进入MySQL数据库标准写法mysql -h主机名 -u用户名 -p输入密码mysql -hlocalhost -ur...

MongoDBmongodb 将数据存储为文档 数据结构是由键值对组成的 MongoDB 的文档类似于Json对象 字段的值可以是文档 数组 以及文档数组MongoDB和MySQL概念的区别SQL术语/概念MongoDB术语/概念解释/说明databasedatabase数据库tablecollection数据库的表/集合rowdocument数据记录行/wencolumnfield字段列...

1.禁止Cookie部分网站会通过用户的Cookie信息对用户进行识别与分析，所以要防止目标网站识别我们的会话信息。在Scrapy中，我们可以在爬虫项目的setting.py文件中进行设置将setting.py中的下面两行代码里的COOKIES_ENABLED = False 的注释去掉即可。2.设置下载延时部分网站通过分析我们的爬取频率对爬虫进行禁止或限制，所以我们需要控制爬取时间间隔。在Scr...

不知道如何创建django项目和app应用的可以先看这篇文章http://blog.youkuaiyun.com/mr_blued/article/details/79380470。今天刚完成的。说一下思路，本项目是实验项目，实现图片上传与显示功能。1.创建好标题，内容，图片等字段后，导入数据库。2.图片需通过上传图片文件，所以通过表单来实现。3.上传的图片会下载到/media/picture/下，/medi...

工具：Pycharm，Navicat将前段时间使用爬虫获取的数据进行可视化分析。于2018/3/18增加职位词云一.统计数据import pymysqldb = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='你的密码', db='你的数据库名', charset='utf8')cursor = db.cu...

1.def __str__(self): return self.namefanh返回添加的字段名称2.editable 属性可以让类选择是否显示在后台上。3.python.manage.py shell 进入shell操作数据库，from your.models import yourclassfrom django.utils import timezoneyourclass.obj...

抓包分析，找到整页数据所在，可以看到是在"lang"下。继续分析，找到每一本数据所在分析完毕，进行编码爬取。1.编写itemclass BookItem(scrapy.Item): # 小说名 book_name = scrapy.Field() # 作者 author = scrapy.Field() # 小说类型 book_type = scra...

首先我们先抓包分析一下，可以看到我们想要的每一页的全部数据都在"article"下。而其中每一部的电影的数据可以看到在"info"下。所以我们只要在info下找到自己的目标数据并想好匹配方法即可，本文使用的是xpath，其实也可以在spiders中导入pyquery或者BeautifulSoup来进行匹配，当然正则也是可以的。现在我们去找到目标数据。这些便是我们的目标数据，接下来便可以动手爬取了。...

不知道如何创建django项目和app应用的可以先看这篇文章http://blog.youkuaiyun.com/mr_blued/article/details/79380470。创建好django项目和app应用后就可以继续下去了，我这里创建的django项目的文件夹名字是myblog，app应用名为blog，记得将app添加到setting.py配置文件中。一.构造模型打开blog下的models.py...

目标网站：http://quotes.money.163.com/hkstock/cwsj_00700.html每支股票都有四个数据表找到这四个数据表的信息所在数据名第一条到第三条数据所在其他三个表也是这样子寻找，找到数据后，就可以动手爬取了。于2018\3\17 重写。一.Item# 腾讯控股股票信息class GupiaoItem(scrapy.Item): # 数据标题 t...

Python操作MongoDBpip install pymongo一 导入 pymongofrom pymongo import MongoClient二 链接服务器 端口号 27017con = MongoClient("localhost")con = MongoClient("localhost",port=27017)三 选择数据库db = con.数据库名称选择collection =...

Python操作MySQLpip install pymysqlimport pymysql(1) 链接MySQL数据库​ db = pymysql.connect(主机名,用户名,密码,数据库名称)(2) 设置字符集​ db.set_charset('utf8')(3) 创建游标对象​ cursor = db.cursor()(4) 准备SQL语句(5) 执行SQL语句​ cursor.exec...

首先抓包分析，所需的整页数据都在"main"下，再细分每一部的信息。每一部电影的信息在"board-item-main"下。接下来我们可以去找到目标数据并想好匹配方法了。我们所需的四种数据就找到了，接下来可以去动手了。一.编写Itemclass MaoyanItem(scrapy.Item): top = scrapy.Field() title = scrapy.Field()...

一.编写Itemclass MusicItem(scrapy.Item): # 音乐排名 top = scrapy.Field() # 音乐名 music_name = scrapy.Field() # 歌手 songer = scrapy.Field() pass二.编写PiplinesMysqlclass MycrawlPipeline(...

第一步：打开自己的Django项目，进入到settings.py中，进行如下修改：将Django自带的sqlite3数据库换成Mysql数据库，其中的NAME是数据库名，USER是你的用户名，PASSWORD是你的密码，HOST和PORT一般都是默认的。第二步：如果你在之前安装了Mysqldb或者mysqlclient，那么在做好第一步之后就可以直接进行数据库连接了，运行Run manage.py...