- 博客(89)
- 收藏
- 关注
RSS订阅转载 Python3网络爬虫(七)：使用Beautiful Soup爬取小说
一、Beautiful Soup简介简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。...
2018-02-05 22:01:00
561
转载 python3 爬虫内涵段子
import refrom urllib import requestclass Sprder: def __init__(self): self.page=1 self.switch=True def loadPage(self): """" 下载页面 """ url="http://www...
2018-02-05 18:51:00
153
转载 python3 爬虫百度贴吧
import urllib.requestimport urllib.parsefrom lxml import etreedef loadPage(url): """ 作用：根据url发送请求，获取服务器响应文件 url: 需要爬取的url地址 """ #print url #美女 ...
2018-02-05 18:50:00
163
转载 Python3网络爬虫(五)：Python3安装Scrapy
一、Scrapy简介Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，可以应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在，Scrapy已经推出了曾承诺过的Python3.x版本。为什么学习Scrapy呢？它能我们更好的完成爬虫任务，自己写Python爬虫程序好比孤军奋战，而使用了Scrapy就...
2018-02-04 17:14:00
147
转载 Requests: 模块
Requests: 让 HTTP 服务人类虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用：）Requests 继承了url...
2018-02-04 16:54:00
108
转载 Python3网络爬虫(四)：使用User Agent和代理IP隐藏身份
一、为何要设置User Agent有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问，所以为了要让程序可以正常运行，需要隐藏自己的爬虫程序的身份。此时，我们就可以通过设置User Agent的来达到隐藏身份的目的，User Agent的中文名为用户代理，简称UA。User Agent存放于Headers中，...
2018-02-04 16:44:00
196
转载 Python3网络爬虫(三)：urllib.error异常
一.urllib.errorurllib.error可以接收有urllib.request产生的异常。urllib.error有两个方法，URLError和HTTPError。如下图所示：URLError是OSError的一个子类，HTTPError是URLError的一个子类，服务器上HTTP的响应会返回一个状态码，根据这个HTTP状态码...
2018-02-04 16:40:00
150
转载 Python3网络爬虫(二)：利用urllib.urlopen向有道翻译发送数据获得翻译结果
一、urlopen的url参数 Agenturl不仅可以是一个字符串，例如:http://www.baidu.com。url也可以是一个Request对象，这就需要我们先定义一个Request对象，然后将这个Request对象作为urlopen的参数使用，方法如下：# -*- coding: UTF-8 -*-from urllib import reque...
2018-02-04 16:30:00
84
转载 Python3网络爬虫(一)：利用urllib进行简单的网页抓取
一、预备知识1.Python3.x基础知识学习：可以在通过如下方式进行学习：(1)廖雪峰Python3教程(文档)：URL：http://www.liaoxuefeng.com/(2)菜鸟教程Python3教程(文档)：URL：http://www.runoob.com/python3/python3-tutorial.ht...
2018-02-04 16:26:00
214
转载 VI编辑器
Sublime TextSublime Text 是一个代码编辑器（Sublime Text 2是收费软件，但可以无限期试用）Sublime Text是由程序员Jon Skinner于2008年1月份所开发出来，它最初被设计为一个具有丰富扩展功能的Vim。Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑...
2018-01-31 23:13:00
119
转载 python django -7 Git与项目
git的使用，主要包括：本地仓库的命令远程仓库的命令项目需求、页面、模型类的设计，及页面的使用Git简介Git是目前世界上最先进的分布式版本控制系统安装sudo apt-get install git安装成功后，运行如下命令git远程仓库Git是分布式版本控制系统，同一个Git仓库，可以分布到不同的机...
2018-01-30 23:06:00
96
转载 7.Django 创建表后如何添加新表
1.makemigrations booktest2.因为在创建和修改过程中，会生成一些日志信息，存在数据库里面，必须将日志删除后才会成功。日志信息会存储到下表里面。sqlmigrate booktest 00023.migrate转载于:https://www.cnblogs.com/Bighua123/p/8371557.html...
2018-01-28 16:33:00
557
转载 python django -6 常用的第三方包或工具
常用的第三方包或工具富文本编辑器缓存全文检索celery布署富文本编辑器借助富文本编辑器，管理员能够编辑出来一个包含html的页面，从而页面的显示效果，可以由管理员定义，而不用完全依赖于前期开发人员此处以tinymce为例，其它富文本编辑器的使用可以自行学习下载安装在网站pypi网站搜索并下载"django-tinymce-2....
2018-01-28 15:29:00
389
转载 5- 高级1
阅读目录1.高级知识点包括：2.管理静态文件3.静态文件实例4.中间件5.中间件实例：一个类6.传图片7.Admin站点8.ModelAdmin对象9.InlineModelAdmin对象10.重写admin模板11.分页12.使用AJAX回到顶部1.高级知识点包括：静态文件处理中间件上传图片Adm...
2018-01-25 12:41:00
632
转载 4 Template层-验证码
4 Template层-验证码阅读目录1.验证码2.代码如下：3.实现回到顶部1.验证码在用户注册、登录页面，为了防止暴力请求，可以加入验证码功能，如果验证码错误，则不需要继续处理，可以减轻一些服务器的压力使用验证码也是一种有效的防止crsf的方法验证码效果如下图：官网文档：http://pillo...
2018-01-24 16:34:00
158
转载 4 Template层-CSRF
阅读目录1.csrf2 .演示csrf3.防csrf的使用3.保护原理4.取消保护回到顶部1.csrf全称Cross Site Request Forgery，跨站请求伪造某些恶意网站上包含链接、表单按钮或者JavaScript，它们会利用登录过的用户在浏览器中的认证信息试图在你的网站上完成某些操作，这就是跨站攻击回到顶部...
2018-01-24 15:52:00
107
转载 4 Template层- HTML转义
阅读目录1.HTML转义2.会被自动转义的字符3.关闭转义4.字符串字面值回到顶部1.HTML转义Django对字符串进行自动HTML转义，如在模板中输出如下值：视图代码：def index(request): return render(request, 'temtest/index2.html', ...
2018-01-24 15:39:00
145
转载 4 Template层 -模板继承
阅读目录1.模板继承2.三层继承结构3.实例回到顶部1.模板继承模板继承可以减少页面内容的重复定义，实现页面内容的重用典型应用：网站的头部、尾部是一样的，这些内容可以定义在父模板中，子模板不需要重复定义block标签：在父模板中预留区域，在子模板中填充extends继承：继承，写在模板文件的第一行定义父模板base....
2018-01-24 14:05:00
119
转载 4 反向解析
1.定义：动态生成url2,应用范围：3,使用方法：4.模板中超链接步骤：5.实例回到顶部1.定义：动态生成url 参考博客：http://blog.youkuaiyun.com/u014745194/article/details/74010736 随着功能的增加会出现更多的视图，可能之前配置的正则表达式不够准确，于是就要修改正则表达式，...
2018-01-24 13:21:00
121
转载 4 Template层 -定义模板
阅读目录1.模板介绍2.定义模板3. 变量 {{ variable }}4.标签 { % tag % }5.过滤器6.注释回到顶部1.模板介绍作为Web框架，Django提供了模板，可以很便利的动态生成HTML模版系统致力于表达外观，而不是程序逻辑模板的设计实现了业务逻辑(view)与显示内容（template）的分离，一个视图可...
2018-01-23 20:19:00
138
转载 View - 状态保持 session
1.状态保持2.session3 .用户登录示例4.会话过期时间5. 存储session6.使用Redis缓存session7.session总结回到顶部1.状态保持http协议是无状态的：每次请求都是一次新的请求，不会记得之前通信的状态客户端与服务器端的一次通信，就是一次会话实现状态保持的方式：在客户端或服务器端存储与会话有...
2018-01-23 13:12:00
142
转载 3 View - Response对象
阅读目录1.HttpResponse对象：返回数据2.Cookie2.子类HttpResponseRedirect：重定向3.子类JsonResponse4.简写函数：render，redirect回到顶部1.HttpResponse对象：返回数据from django.http import HttpResponse在d...
2018-01-23 09:36:00
114
转载 View - Request对象
阅读目录1.HttpReqeust对象2.QueryDict对象3.GET属性4.GET实例如下5.POST属性6 post示例如下回到顶部1.HttpReqeust对象服务器接收到http协议的请求后，会根据报文创建HttpRequest对象视图函数的第一个参数是HttpRequest对象在django.http模块中定义了H...
2018-01-22 10:16:00
492
转载 3 View - 错误视图函数
阅读目录1.定义视图2.错误视图回到顶部1.定义视图本质就是一个函数视图的参数一个HttpRequest实例通过正则表达式组获取的位置参数通过正则表达式组获得的关键字参数在应用目录下默认有views.py文件，一般视图都定义在这个文件中如果处理功能过多，可以将函数定义到不同的py文件中新建views1.p...
2018-01-22 09:52:00
139
转载 3 View视图 URLconf
阅读目录1.视图2 准备工作 搭建test33 URLconf：3种方式4.包含其它的URLconfs5 URL的反向解析回到顶部1.视图视图接受Web请求并且返回Web响应视图就是一个python函数，被定义在views.py中响应可以是一张网页的HTML内容，一个重定向，一个404错误等等响应处理过程如下图：...
2018-01-22 08:27:00
80
转载 2 Model层 - 模型查询
2 Model层 - 模型查询阅读目录2.查询集3.字段查询4 自连接1.简介查询集表示从数据库中获取的对象集合查询集可以含有零个、一个或多个过滤器过滤器基于所给的参数限制查询的结果从Sql的角度，查询集和select语句等价，过滤器像where和limit子句接下来主要讨论如下知识点查询集字段查...
2018-01-22 08:16:00
114
转载 2 Model层-模型成员
2 Model层-模型成员阅读目录1类的属性2.管理器Manager3.创建对象4.实例的属性5.实例的方法回到顶部1类的属性objects：是Manager类型的对象，用于与数据库进行交互当定义模型类时没有指定管理器，则Django会为模型类提供一个名为objects的管理器支持明确指定模型类的管理器...
2018-01-22 08:15:00
102
转载 2 Model层 -定义模型
2 Model层 -定义模型阅读目录1 ORM简介2 使用mysql 数据库3. 开发流程4.使用数据库生成模型类5.定义模型6.字段类型7.字段选项8.关系9.元选项 Meta10 示例演示11.测试数据回到顶部1 ORM简介MVC框架中包括一个重要的部分，就是ORM，它实现了数据模型与数...
2018-01-20 08:53:00
230
转载 1 Django
1 django阅读目录1.MVC2.MVT3.创建虚拟环境4.安装django5创建项目6创建应用7.定义模型类8.生成数据表9.测试数据操作10使用django的管理11管理界面本地化12向admin注册booktest的模型13自定义管理页面14 关联对象15视图16U...
2018-01-19 15:43:00
75
转载 常用js库
JQuery移动端JS库 queryui; 移动端事件-zepto; swiper; Bootstrap转载于:https://www.cnblogs.com/Bighua123/p/8284350.html
2018-01-14 21:04:00
112
转载 关系连接查询
高级 关系 连接select distinct 列*from 表1 innser|left|right join 表2 on 表1与表2的关系where ...group by ... (5个聚合函数,avg,max,sum,min,count)having ...order by ... (排序desc...
2017-12-25 10:23:00
92
转载 mysql_基础
数据库命令：创建create database 数据库名 charset=utf8;删除drop database 数据库名;查看所有数据库：show databases;使用数据库：use 数据库名;----------------------------------------表命令：create table 表名(列...);唯一标识的要求：id 类型：int unsigne...
2017-12-25 08:45:00
67
转载 sqoop导出笔记
Sqoop导出笔记发表: 2016-10-14浏览: 755Sqoop导出Sqoop导出笔记1、 通用参数2、导出控制参数3、全表导出4、更新导出注：若需转载，请注明出处！Sqoop导出视频请参考：https://edu.hellobi.com/course/93/lessons（Sqo...
2017-10-24 09:34:00
112
转载 Sqoop增量导入
Sqoop增量导入发表: 2016-10-14浏览: 990sqoopSqoop增量导入Sqoop增量导入1、核心参数2、增量模式（Mode）1、 Append2、 Lastmodified3、示例注：若需转载，请注明出处！Sqoop导出视频请参考：https://ed...
2017-10-23 21:23:00
142
转载 sqoop导入
Sqoop导入笔记发表: 2016-10-08浏览: 1784sqoopSqoop导入1、通用参数2、导入控制参数——选择部分数据导入3、目的目录（HDFS）4、分隔符5、控制导入并行度6、类型映射(导入到Hive时使用)7、实战1、 查看对应库、表情况2、 密码3、 导入全表...
2017-10-23 21:06:00
197
转载 sqoop安装配置
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。Sqoop1安装配置比较简单一、安装部署（1）、下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz解压到／opt/cdh5/sqoop（2）、拷贝mysql的jdbc驱动包mysql...
2017-10-23 00:26:00
81
转载 JAVA——面试
面向 对象三大特征： 你对面向对象的理解 1：封装 1）类： 封装的是对象的属性和行为 2）方法：封装的是具体的逻辑功能实现 3）访问控制修饰符：封装的是访问的权限 所谓的封装就是将属性和方法封装到一个类中，简单的说就是，你是人，你有许多属性，比如你的姓名，年龄，身高，体重，性别这是属性；而同时你又吃饭，睡觉，学习，做事这些事方法，同时将属性和方法封装到类中去，就...
2017-10-22 21:04:00
103
转载 YARN 笔记
YARN 笔记1. YARN的产生背景2. YARN的设计思想3. YARN的基本架构4. YARN的工作流程（小结）YARN课程地址：https://edu.hellobi.com/course/93/play/lesson/14711. YARN的产生背景MRv1编程模型：Map阶段和Reduce阶段数据处理...
2017-10-22 19:42:00
97
转载 hadoop伪分布式
Hadoop集群搭建笔记Hadoop安装配置1、安装虚拟机VMware workstationCentOS 镜像安装Linux虚拟机：（在Win7上）1）安装VMwareWorkstations（可修改配置）2）添加CentOS镜像（启动安装 ->配置网络）网络配置：NAT模式网络重启：service network...
2017-10-17 22:20:00
69
转载 Hadoop_计算框架MapReduce
mapreduce 4个阶段的作用转载于:https://www.cnblogs.com/Bighua123/p/7667541.html
2017-10-14 15:35:00
77
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人