a2798003474-优快云博客

转载 Python3网络爬虫(七)：使用Beautiful Soup爬取小说

一、Beautiful Soup简介简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 ...

2018-02-05 22:01:00 629

转载 python3 爬虫内涵段子

import refrom urllib import requestclass Sprder: def __init__(self): self.page=1 self.switch=True def loadPage(self): """" 下载页面 """ url="http://www...

2018-02-05 18:51:00 198

转载 python3 爬虫百度贴吧

import urllib.request import urllib.parse from lxml import etree def loadPage(url): """ 作用：根据url发送请求，获取服务器响应文件 url: 需要爬取的url地址 """ #print url #美女 ...

2018-02-05 18:50:00 220

转载 Python3网络爬虫(五)：Python3安装Scrapy

一、Scrapy简介 Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，可以应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在，Scrapy已经推出了曾承诺过的Python3.x版本。为什么学习Scrapy呢？它能我们更好的完成爬虫任务，自己写Python爬虫程序好比孤军奋战，而使用了Scrapy就...

2018-02-04 17:14:00 180

转载 Requests: 模块

Requests: 让 HTTP 服务人类虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用：） Requests 继承了url...

2018-02-04 16:54:00 156

转载 Python3网络爬虫(四)：使用User Agent和代理IP隐藏身份

一、为何要设置User Agent 有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问，所以为了要让程序可以正常运行，需要隐藏自己的爬虫程序的身份。此时，我们就可以通过设置User Agent的来达到隐藏身份的目的，User Agent的中文名为用户代理，简称UA。 User Agent存放于Headers中，...

2018-02-04 16:44:00 248

转载 Python3网络爬虫(三)：urllib.error异常

一.urllib.error urllib.error可以接收有urllib.request产生的异常。urllib.error有两个方法，URLError和HTTPError。如下图所示： URLError是OSError的一个子类，HTTPError是URLError的一个子类，服务器上HTTP的响应会返回一个状态码，根据这个HTTP状态码...

2018-02-04 16:40:00 195

转载 Python3网络爬虫(二)：利用urllib.urlopen向有道翻译发送数据获得翻译结果

一、urlopen的url参数 Agent url不仅可以是一个字符串，例如:http://www.baidu.com。url也可以是一个Request对象，这就需要我们先定义一个Request对象，然后将这个Request对象作为urlopen的参数使用，方法如下： # -*- coding: UTF-8 -*- from urllib import reque...

2018-02-04 16:30:00 112

转载 Python3网络爬虫(一)：利用urllib进行简单的网页抓取

一、预备知识 1.Python3.x基础知识学习：可以在通过如下方式进行学习： (1)廖雪峰Python3教程(文档)： URL：http://www.liaoxuefeng.com/ (2)菜鸟教程Python3教程(文档)： URL：http://www.runoob.com/python3/python3-tutorial.ht...

2018-02-04 16:26:00 246

转载 VI编辑器

Sublime Text Sublime Text 是一个代码编辑器（Sublime Text 2是收费软件，但可以无限期试用） Sublime Text是由程序员Jon Skinner于2008年1月份所开发出来，它最初被设计为一个具有丰富扩展功能的Vim。 Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑...

2018-01-31 23:13:00 141

转载 python django -7 Git与项目

git的使用，主要包括：本地仓库的命令远程仓库的命令项目需求、页面、模型类的设计，及页面的使用 Git简介 Git是目前世界上最先进的分布式版本控制系统安装 sudo apt-get install git 安装成功后，运行如下命令 git 远程仓库 Git是分布式版本控制系统，同一个Git仓库，可以分布到不同的机...

2018-01-30 23:06:00 134

转载 7.Django 创建表后如何添加新表

1.makemigrations booktest2.因为在创建和修改过程中，会生成一些日志信息，存在数据库里面，必须将日志删除后才会成功。日志信息会存储到下表里面。 sqlmigrate booktest 00023.migrate 转载于:https://www.cnblogs.com/Bighua123/p/8371557.html...

2018-01-28 16:33:00 623

转载 python django -6 常用的第三方包或工具

常用的第三方包或工具富文本编辑器缓存全文检索 celery 布署富文本编辑器借助富文本编辑器，管理员能够编辑出来一个包含html的页面，从而页面的显示效果，可以由管理员定义，而不用完全依赖于前期开发人员此处以tinymce为例，其它富文本编辑器的使用可以自行学习下载安装在网站pypi网站搜索并下载"django-tinymce-2....

2018-01-28 15:29:00 441

转载 5- 高级1

阅读目录 1.高级知识点包括： 2.管理静态文件 3.静态文件实例 4.中间件 5.中间件实例：一个类 6.传图片 7.Admin站点 8.ModelAdmin对象 9.InlineModelAdmin对象 10.重写admin模板 11.分页 12.使用AJAX 回到顶部 1.高级知识点包括：静态文件处理中间件上传图片 Adm...

2018-01-25 12:41:00 700

转载 4 Template层-验证码

4 Template层-验证码阅读目录 1.验证码 2.代码如下： 3.实现回到顶部 1.验证码在用户注册、登录页面，为了防止暴力请求，可以加入验证码功能，如果验证码错误，则不需要继续处理，可以减轻一些服务器的压力使用验证码也是一种有效的防止crsf的方法验证码效果如下图：官网文档：http://pillo...

2018-01-24 16:34:00 203

转载 4 Template层-CSRF

阅读目录 1.csrf 2 .演示csrf 3.防csrf的使用 3.保护原理 4.取消保护回到顶部 1.csrf 全称Cross Site Request Forgery，跨站请求伪造某些恶意网站上包含链接、表单按钮或者JavaScript，它们会利用登录过的用户在浏览器中的认证信息试图在你的网站上完成某些操作，这就是跨站攻击回到顶部 ...

2018-01-24 15:52:00 148

转载 4 Template层- HTML转义

阅读目录 1.HTML转义 2.会被自动转义的字符 3.关闭转义 4.字符串字面值回到顶部 1.HTML转义 Django对字符串进行自动HTML转义，如在模板中输出如下值：视图代码： def index(request): return render(request, 'temtest/index2.html', ...

2018-01-24 15:39:00 189

转载 4 Template层 -模板继承

阅读目录 1.模板继承 2.三层继承结构 3.实例回到顶部 1.模板继承模板继承可以减少页面内容的重复定义，实现页面内容的重用典型应用：网站的头部、尾部是一样的，这些内容可以定义在父模板中，子模板不需要重复定义 block标签：在父模板中预留区域，在子模板中填充 extends继承：继承，写在模板文件的第一行定义父模板base....

2018-01-24 14:05:00 170

转载 4 反向解析

1.定义：动态生成url 2,应用范围： 3,使用方法： 4.模板中超链接步骤： 5.实例回到顶部 1.定义：动态生成url 　　参考博客：http://blog.youkuaiyun.com/u014745194/article/details/74010736 　　随着功能的增加会出现更多的视图，可能之前配置的正则表达式不够准确，于是就要修改正则表达式，...

2018-01-24 13:21:00 181

转载 4 Template层 -定义模板

阅读目录 1.模板介绍 2.定义模板 3. 变量 {{ variable }} 4.标签 { % tag % } 5.过滤器 6.注释回到顶部 1.模板介绍作为Web框架，Django提供了模板，可以很便利的动态生成HTML 模版系统致力于表达外观，而不是程序逻辑模板的设计实现了业务逻辑(view)与显示内容（template）的分离，一个视图可...

2018-01-23 20:19:00 192

转载 View - 状态保持 session

1.状态保持 2.session 3 .用户登录示例 4.会话过期时间 5. 存储session 6.使用Redis缓存session 7.session总结回到顶部 1.状态保持 http协议是无状态的：每次请求都是一次新的请求，不会记得之前通信的状态客户端与服务器端的一次通信，就是一次会话实现状态保持的方式：在客户端或服务器端存储与会话有...

2018-01-23 13:12:00 196

转载 3 View - Response对象

阅读目录 1.HttpResponse对象：返回数据 2.Cookie 2.子类HttpResponseRedirect：重定向 3.子类JsonResponse 4.简写函数：render，redirect 回到顶部 1.HttpResponse对象：返回数据 from django.http import HttpResponse 在d...

2018-01-23 09:36:00 161

转载 View - Request对象

阅读目录 1.HttpReqeust对象 2.QueryDict对象 3.GET属性 4.GET实例如下 5.POST属性 6 post示例如下回到顶部 1.HttpReqeust对象服务器接收到http协议的请求后，会根据报文创建HttpRequest对象视图函数的第一个参数是HttpRequest对象在django.http模块中定义了H...

2018-01-22 10:16:00 548

转载 3 View - 错误视图函数

阅读目录 1.定义视图 2.错误视图回到顶部 1.定义视图本质就是一个函数视图的参数一个HttpRequest实例通过正则表达式组获取的位置参数通过正则表达式组获得的关键字参数在应用目录下默认有views.py文件，一般视图都定义在这个文件中如果处理功能过多，可以将函数定义到不同的py文件中新建views1.p...

2018-01-22 09:52:00 168

转载 3 View视图 URLconf

阅读目录 1.视图 2 准备工作搭建test3 3 URLconf：3种方式 4.包含其它的URLconfs 5 URL的反向解析回到顶部 1.视图视图接受Web请求并且返回Web响应视图就是一个python函数，被定义在views.py中响应可以是一张网页的HTML内容，一个重定向，一个404错误等等响应处理过程如下图：...

2018-01-22 08:27:00 121

转载 2 Model层 - 模型查询

2 Model层 - 模型查询阅读目录 2.查询集 3.字段查询 4 自连接 1.简介查询集表示从数据库中获取的对象集合查询集可以含有零个、一个或多个过滤器过滤器基于所给的参数限制查询的结果从Sql的角度，查询集和select语句等价，过滤器像where和limit子句接下来主要讨论如下知识点查询集字段查...

2018-01-22 08:16:00 145

转载 2 Model层-模型成员

2 Model层-模型成员阅读目录 1类的属性 2.管理器Manager 3.创建对象 4.实例的属性 5.实例的方法回到顶部 1类的属性 objects：是Manager类型的对象，用于与数据库进行交互当定义模型类时没有指定管理器，则Django会为模型类提供一个名为objects的管理器支持明确指定模型类的管理器 ...

2018-01-22 08:15:00 132

转载 2 Model层 -定义模型

2 Model层 -定义模型阅读目录 1 ORM简介 2 使用mysql 数据库 3. 开发流程 4.使用数据库生成模型类 5.定义模型 6.字段类型 7.字段选项 8.关系 9.元选项 Meta 10 示例演示 11.测试数据回到顶部 1 ORM简介 MVC框架中包括一个重要的部分，就是ORM，它实现了数据模型与数...

2018-01-20 08:53:00 266

转载 1 Django

1 django 阅读目录 1.MVC 2.MVT 3.创建虚拟环境 4.安装django 5创建项目 6创建应用 7.定义模型类 8.生成数据表 9.测试数据操作 10使用django的管理 11管理界面本地化 12向admin注册booktest的模型 13自定义管理页面 14 关联对象 15视图 16U...

2018-01-19 15:43:00 101

转载常用js库

JQuery 移动端JS库 queryui; 移动端事件-zepto; swiper; Bootstrap 转载于:https://www.cnblogs.com/Bighua123/p/8284350.html

2018-01-14 21:04:00 148

转载关系连接查询

高级关系连接 select distinct 列* from 表1 innser|left|right join 表2 on 表1与表2的关系 where ... group by ... (5个聚合函数,avg,max,sum,min,count) having ... order by ... (排序desc...

2017-12-25 10:23:00 119

转载 mysql_基础

数据库命令：创建create database 数据库名 charset=utf8;删除drop database 数据库名;查看所有数据库：show databases;使用数据库：use 数据库名;----------------------------------------表命令：create table 表名(列...);唯一标识的要求：id 类型：int unsigne...

2017-12-25 08:45:00 90

转载 sqoop导出笔记

Sqoop导出笔记发表: 2016-10-14浏览: 755 Sqoop导出 Sqoop导出笔记 1、通用参数 2、导出控制参数 3、全表导出 4、更新导出注：若需转载，请注明出处！ Sqoop导出视频请参考：https://edu.hellobi.com/course/93/lessons（Sqo...

2017-10-24 09:34:00 156

转载 Sqoop增量导入

Sqoop增量导入发表: 2016-10-14浏览: 990 sqoop Sqoop增量导入 Sqoop增量导入 1、核心参数 2、增量模式（Mode） 1、 Append 2、 Lastmodified 3、示例注：若需转载，请注明出处！ Sqoop导出视频请参考：https://ed...

2017-10-23 21:23:00 184

转载 sqoop导入

Sqoop导入笔记发表: 2016-10-08浏览: 1784 sqoop Sqoop导入 1、通用参数 2、导入控制参数——选择部分数据导入 3、目的目录（HDFS） 4、分隔符 5、控制导入并行度 6、类型映射(导入到Hive时使用) 7、实战 1、查看对应库、表情况 2、密码 3、导入全表...

2017-10-23 21:06:00 267

转载 sqoop安装配置

之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。 Sqoop1安装配置比较简单一、安装部署（1）、下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz 解压到／opt/cdh5/sqoop （2）、拷贝mysql的jdbc驱动包mysql...

2017-10-23 00:26:00 106

转载 JAVA——面试

面向对象三大特征：你对面向对象的理解 1：封装 1）类：封装的是对象的属性和行为 2）方法：封装的是具体的逻辑功能实现 3）访问控制修饰符：封装的是访问的权限所谓的封装就是将属性和方法封装到一个类中，简单的说就是，你是人，你有许多属性，比如你的姓名，年龄，身高，体重，性别这是属性；而同时你又吃饭，睡觉，学习，做事这些事方法，同时将属性和方法封装到类中去，就...

2017-10-22 21:04:00 130

转载 YARN 笔记

YARN 笔记 1. YARN的产生背景 2. YARN的设计思想 3. YARN的基本架构 4. YARN的工作流程（小结） YARN课程地址：https://edu.hellobi.com/course/93/play/lesson/1471 1. YARN的产生背景 MRv1 编程模型：Map阶段和Reduce阶段数据处理...

2017-10-22 19:42:00 125

转载 hadoop伪分布式

Hadoop集群搭建笔记 Hadoop安装配置 1、安装虚拟机 VMware workstation CentOS 镜像安装Linux虚拟机：（在Win7上） 1）安装VMwareWorkstations（可修改配置） 2）添加CentOS镜像（启动安装 ->配置网络）网络配置：NAT模式网络重启：service network...

2017-10-17 22:20:00 93

转载 Hadoop_计算框架MapReduce

mapreduce 4个阶段的作用转载于:https://www.cnblogs.com/Bighua123/p/7667541.html

2017-10-14 15:35:00 100

空空如也

空空如也