好好生活ying-优快云博客

原创 Django使用xadmin结合富文本编辑器uedtior

django 有一个封装好的admin后台管理系统，如果不能满足需求，可以使用第三方插件xadmin，xadmin的安装和使用可以参考git https://github.com/sshwsfc/xadmin对后台进行编辑的时候，有时需要上传图片之类更丰富的文本操作，这样就需要富文本编辑器，本文介绍使用百度开源的富文本编辑器ueditor,由于该编辑器较早产生，目前不支持python3，只支持...

2018-08-01 18:57:36 696

原创 django项目中xadmin的设置

一、Xadmin的配置和使用将下载好的xadmin解压，复制里面的xadmin文件夹到项目根目录当中创建extra_apps放置第三方的app，将xadmin移动到我们这个extra_apps下将extra_apps在setting当中配置好搜索路径将xadmin和crispy_forms添加到我们的installed_apps 将我们本来的admin注释掉改为我们x...

2018-07-31 19:43:27 370

原创 Redis在windows下安装过程

Redis在windows下安装过程 1. 下载windows版本的Redis 去官网找了很久，发现原来在官网上可以下载的windows版本的，现在官网以及没有下载地址，只能在github上下载，官网只提供linux版本的下载官网下载地址：http://redis.io/downloadgithub下载地址：https://github.com/MSOpenTech/redis/t...

2018-07-31 08:43:14 410

原创 ubuntu安装docker文件

# docker安装文档```sh$ sudo apt-get update$ sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-properties-common$ curl -fsSL https://download.docker.com...

2018-07-30 13:07:39 229

原创 scrapy 爬取拉勾网职位信息

需求：1.使用python爬虫框架，爬取拉勾网职位信息， 2.将爬取的职位信息存储到json格式的文件中 3.将爬取的数据进行数据分析1.图片中的链接是职位列表页的链接，进行翻页，该链接没有变化，无法从该链接中爬取数据 2.打开浏览器开发者模式，点击network的XHR，同时刷新页面，会出现ajax请求是post请求，红框中的For...

2018-07-24 19:26:16 1927 1

原创使用scrapy爬取豆瓣电影排行top250的电影，并存入mongoDB

一.scrapy startproject 项目名；并进入项目目录；建立爬虫：scrapy genspider 爬虫名爬取域名二.在pycharm中进行编程1.item文件的编写：需要获取标题，电影演职员信息，评分，简介import scrapyclass MongotestItem(scrapy.Item): # define the fields for your item ...

2018-07-14 08:26:31 1589

原创 scrapy(网络爬虫)———CrawlSpider（规则爬虫）

CrawlSpider（规则爬虫）一 .简介：它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制，从爬取的网页中获取link并继续爬取的工作更适合。二.创建爬虫命令：1.前提是已经创建好爬虫项目了，若没有创建好项目，请使用 scrapy startproject 项目名进入项目...

2018-07-13 08:16:14 2259 2

原创 Scrapy(爬虫框架)中，Spider类中parse()方法的工作机制

parse(self,response):当请求url返回网页没有指定回调函数，默认的Request对象的回调函数，用来处理网页返回的response，和生成的Item或者Request对象以下分析一下parse（）方法的工作机制：1.因为使用的yield，而不是return，parse函数将会当做一个生成器使用，scrapy会注意调用parse方法中生成的结果，并且判断该结果是一个什么样的类型2...

2018-07-12 16:14:15 7847

原创 Scrapy （网络爬虫框架）入门

一.Scrapy 简介：Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。二.Scrapy框架1.框架图绿色线是数据流向2.框架图讲解：功能讲解：Sc...

2018-07-11 13:43:39 3905

原创列表推导式的使用

列表推导式是一种轻量级的循环创建列表，列表生成式是一种简化代码的优美方式以下使用代码，展示一下列表推导式的使用：1.生成一个0-9的列表2.根据已有的列表快速创建一个新列表3.根据存在列表创建嵌套列表4.使用if子句作为过滤器5.根据两个列表创建一个列表6.两个for循环7.三个for循环8.根据列表推导式将一个3*4的列表，快速修改为一个4*3的问题以上是几种常见的列表推导式，比for循环创建列...

2018-05-24 23:39:00 1647