HongKong_Python的博客

在搭建hadoop之前我们先准备准备虚拟机软件VM ware,和centOS_7,我们需要在VM上虚拟一个Linux系统,这个系统性的镜像文件就是centOS_7.,这里我使用的VM ware14版本.安装好VM后启动.先创建虚拟机>>>之后弹出这个对话框>>>>这里直接选择下一步就可以>>>这里选中CentOS-7的镜像文件路径一定要对...

要实现分页首先要导入一个模块：from django.core.paginator import Paginator然后在views里写一个函数：在welcome.html文件下写：在urls下配好路径，这样就实现分页了，QuerySet（查询集）：这里说一下查询集的特点？查询集是一个懒执行values  all  filter  ...order_by...  都不执行QuerySet什么时候开...

在富文本添加完之后我们还需要上传文件，上传文件时需要给提交的form表单一个属性enctype属性，enctype有三个值：       1.  application/x-www-form-urlencoded ：在发送前编码所有字符（默认）        2. multipart/form-data ：不对字符编码。在使用包含文件上传控件的表单时，必须使用该值。       3. tex...

文件操作一. 绝对路径和相对路径1.路径:    在我们使用计算机时要找到需要的文件的位置,而表示文件的位置的方式就是路径2.绝对路径:   在Linux中,绝对路径从”/”开始.比如/usr丶/ect/passwd.如果一个路径是从跟(/)开始的,它一定是绝对路径.3.相对路径: 相当于当前路径,或者是以. 或 ..开始的~ 主题目录, - 上一次访问的目录, cd 切换目录(进入目录) , ...

使用会话Django完全支持匿名会话。会话基础架构允许您存储和检索基于“一个站点一个访问者”的任意数据。数据存储在服务器端; cookies的发送和接收是透明的。Cookie包含会话ID，而不是数据本身（除非您使用基于cookie的引擎）。激活会话会话通过中间件组件实现。要启用会话功能，请执行以下操作：检查设置是否MIDDLEWARE完好'django.contrib.sessions.middl...

Django是什么？ 开源代码的Web框架，是由Python写成的  Django的主要目的是简便，快速的开发数据库启动的网站（动态网站），ULR:统一资源定位符;①  http://www.kgc.cnhttp:/ / 超文本传输协议;www.kgc.cn:80/***/***/  域名|主机名|ip地址 + 端口剩下的 URI 统一资源标识符FTP:下载协议;Smtp:邮件传输协议;Pop3:...

       浏览器请求服务器是无状态的。无状态指一次用户请求时，浏览器、服务器无法知道之前这个用户做过什么，每次请求都是一次新的请求。无状态的应用层面的原因是：浏览器和服务器之间的通信都遵守HTTP协议。根本原因是：浏览器与服务器是使用Socket套接字进行通信的，服务器将请求结果返回给浏览器之后，会关闭当前的Socket连接，而且服务器也会在处理页面完毕之后销毁页面对象。有时需要保持下来用户浏...

基于cookie做用户验证时：敏感信息不适合放在cookie中session依赖cookie使用session首先要进行以下操作：session 1. installed_apps2. 中间件3. 设置存储形式4. 引用 request.sessiondjango session的设计原理1. 如果用户是第一次请求(如何看用户是不是第一次请求，就看客户端ID是否保存了session的cookie)...

先按照spark和Python3export SPARK_HOME=/home/hadoop/opt/spark-2.2.1-bin-hadoop2.7export PATH = $PATH:$HADOOP/bin:$HADOOP/sbin解压完spark后需要配置环境变量,和hadoop配置是一样的请看本人上一篇bolg.配置好环境变量后我刷新一下路径的存

kafka版本： kafka_2.11-1.1.0.tgz将kafka解压在opt目录下（opt为hadoop用户下的目录）[html] view plain copytar -zxvf kafka_2.11-1.1.0.tgz  -C opt/  注意，此命令执行条件：我的kafka在hadoop主体目录下，而opt在hadoop目录下。启动服务器解压好后到,先进入kafka目录[html] v...

准备好Linux最小系统即可。1.需要在Linux上安装git （root下执行） yum install git -y2.安装python编译依赖 （root下执行） yum -y install gccmake patch gdbm-devel openssl-devel sqlite-devel zlib-devel bzip2-deve...

python爬虫爬取网站内容时，如果什么也没带，即不带报头headers，往往会被网站管理维护人员认定为机器爬虫。因为，此时python默认的user-agent如Python-urllib/2.1一样。因此，网站管理人员会根据请求的user-agent判定你是不是机器爬虫。所以，此时往往就需要伪装user-agent，模拟成真实的浏览器去取出内容。下面是一些比较常用的浏览器的user-agent...

1，nohup命令    ——Linux命令，表示不挂断地运行命令，常用于当你想要运行一个程序，但是你觉得当你退出账户时，该进程还不会结束，那么此时使用nohup命令就合适不过了。    ——用法如下：nohup python3 文件路径 >> 日志log存放位置 2>&1 &    如：nohup python3 /usr/local/spider/Spider...

Fiddler基础知识Fiddler是强大的抓包工具，它的原理是以web代理服务器的形式进行工作的，使用的代理地址是：127.0.0.1，端口默认为8888，我们也可以通过设置进行修改。代理就是在客户端和服务器之间设置一道关卡，客户端先将请求数据发送出去后，代理服务器会将数据包进行拦截，代理服务器再冒充客户端发送数据到服务器；同理，服务器将响应数据返回，代理服务器也会将数据拦截，再返回给客户端。F...

在linux下设置一个定时执行任务，首先在任务调度使用的是crontab的任务调度：crontab -e 编辑执行任务，crontab -l 列出用户目前的crontab.基本格式 : *　　*　　*　　*　　*　　command 分　时　日　月　周　命令 第1列表示分钟1～59 每分钟用*或者 */1表示 第2列表示小时1～23（0表示0点） 第3列表示日期1～31 第4列表示月份1～12 第5...

#蜘蛛：spiderfrom kgc_demo.items import *class KgcKe(scrapy.Spider): name = 'ke' allowed_domains = ['kgc.cn'] start_urls = ['http://www.kgc.cn/list/230-1-6-9-9-0.shtml'] def parse(self, ...

Scrapy的安装：1. scrapy需要安装第三方库文件，lxml和Twisted2. 下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/根据python的版本和位来下载相应的文件，否则安装不成功。3.下载好文件之后，在DOS命令下pip install   文件的位置\文件名进行安装。安装完成就可以安装：pip  install  scrappy还...

什么是kafkakafka是一个开源流处理平台，由java和scala编写。是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。kafka的目的是通过hadoop的并行加载机制来同意线上和离线的消息处理，也是为了通过集群来提供实时的消息。简单的来说，它就是一个消息中间件，天然分布式、支持集群的，专注于数据吃的存放缓存的。相关术语broker（经纪人）：kafka服...

这里我们使用的百度富文本编辑器，以百度富文本编辑器举例子，百度富文本编辑器是一个编写好的开源框架，先下载一个富文本编辑器：下载好了之后解压放入你的项目的目录的 static的ue下，这样需要配置一个路径在需要使用的页面上引入两js文件。在提交内容款上写上代码：再引入一个js代码就可以了：我们就实现了在django项目中富文本的添加：这样我们就实现了百度富文本编辑器的添加！...

项目目录介绍:manage.py ： Django项目里面的工具，通过它可以调用django shell和数据库等。mysite/| ---  settings.py ： 包含了项目的默认设置，包括数据库信息，调试标志以及其他一些工作的变量。| ---  urls.py ： 负责把URL模式映射到应用程序。| --- wsgi.py :  用于项目部署。bloguser /| --- admin....

线程锁当多线程争夺锁时，允许第一个获得锁的线程进入临街区，并执行代码。所有之后到达的线程将被阻塞，直到第一个线程执行结束，退出临街区，并释放锁。需要注意，那些阻塞的线程是没有顺序的。import threading,timeclass Thread1(threading.Thread): def run(self): for i in range(1,11):

Python中对文件和文件夹(文件操作函数)的操作需要涉及到os模块和shutil模块.IO:input / output stream(输入输出流)文件(file)/文件夹(directory)的操作:创建,删除,拷贝文件内容的操作:读取:从硬盘到内存写入:从内存到硬盘(硬盘里都是以二进制存储的)fp= open("test.txt",w)     直

在Python __new__()是用来创建对象实例的,__new__()在__init__()之前被调用，用于生成实例对象。利用这个方法和类的属性的特点可以实现设计模式的单例模式。单例模式是指创建唯一对象，单例模式设计的类只能实例化1个对象。class Singleton(object): __instance=None def __init__(self):

1.集合的创建集合是一个无序不重复元素的集。基本功能包括关系测试和消除重复元素。创建集合：大括号或 set() 函数可以用来创建集合。注意：想要创建空集合，你必须使用 set() 而不是 {}，后者用于创建空字典。大括号也不可以创建元素含有字典与列表的集合。集合删除、交集、并集、差集的操作创建集合setpython set类是在python的

PyGame游戏的基本结构最简单的PyGame代码：12345678910111213141516171819# 倒入PyGame框架import pygame # 初始化PyGamepygame.init() # 显示指定大小的窗口，返回的是一个Surface对象，你可以在其上进行绘图操作win = pygame.display.set_mode((400,400)) # 消

python中整数只有int浮点数运算可能存在误差赋值语句不是表达式，不能打印输出input输入的都是字符串在print输出的时候 使用+号链接输出一句话的时候，+号前后代表着彼此独立的字符串，系统需要为他们都分配内存空间，而使用字符串格式化的时候，就不会浪费系统资源 round（）方法是四舍五入：当整数部分是 偶数，小数部分是5 的时候就会将小数部分舍去，整数

什么是XML？XML 指可扩展标记语言（eXtensible Markup Language）。 你可以通过本站学习XML教程XML 被设计用来传输和存储数据。XML是一套定义语义标记的规则，这些标记将文档分成许多部件并对这些部件加以标识。它也是元标记语言，即定义了用于定义其他与特定领域有关的、语义的、结构化的标记语言的句法语言。python对XML的解析

什么是生产者消费者模式在软件开发的过程中，经常碰到这样的场景：某些模块负责生产数据，这些数据由其他模块来负责处理（此处的模块可能是：函数、线程、进程等）。产生数据的模块称为生产者，而处理数据的模块称为消费者。在生产者与消费者之间的缓冲区称之为仓库。生产者负责往仓库运输商品，而消费者负责从仓库里取出商品，这就构成了生产者消费者模式。以下有一个伙夫吃蒸馒头,三个吃货

线程:进程中的每一个子任务,不能独立存在进程:独立的所有子任务的集合线程,进程:目的都是想同时完成任务一。什么是进程      进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位。      线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。     系统资源：线程自己基本上不拥有系统资源,只拥有一点在运

异常信息的获取对于程序的调试非常重要，可以有助于快速定位有错误程序语句的位置。下面介绍几种python中获取异常信息的方法，这里获取异常（Exception）信息采用try...except...程序结构。如下所示:try:语句块except 异常类型:处理语句else:没有异常才会执行的代码finall:不管有没有异常都会执行的代码tr

继承(extends): 子类继承父类,子类可以使用父类的属性和方法,简化代码面向对象的三大特征:封装,继承,多态当生成子类对象时,先初始化父类对象,所以如果父类有_init_()方法,并且有属性时,要通过子类的构造赋值一个类可以有多个子类,子类:调用父类属性需要用父类名点属性名,或者self点属性名,调用父类方法时,super().方法名或者self().方法名当子类继承

类:具有相同的属性和方法的对象的集合对象:万物皆是对象类和对象的关系:类的包含属性和方法:语法:  class类名:属性:方法:定义一个类:创建对象:属性写在类外的情况,就是通过对象,属性,对象.方法()的方式调用.调用对象的方法:创建多个对象:self:Python类里声明的方法必须的参数def _init_(self):初始化属性;def _

正则表达式,又称规则表达式.Regular Expression,在代码中常简写为regex,regexp或者RE,计算机科学的一个概念.正则表达式通常被用来检索,替换那些符合某个模式(规则)的文本.1956,1971年正则表达式被引用到Unix系统1984年office系列软件开始使用正则.C语言1971年诞生,C语言中没有正则,C语言要调用一个regcomp的一个库才能使用正则,库文件是调用系

多态:（Polymorphism）按字面的意思就是“多种状态”。在面向对象语言中，接口的多种不同的实现方式即为多态。引用Charlie Calverts对多态的描述——多态性是允许你将父对象设置成为一个或更多的他的子对象相等的技术，赋值之后，父对象就可以根据当前赋值给它的子对象的特性以不同的方式运作（摘自“Delphi4 编程技术内幕”）。例:class Person(object

在Python中,变量不需事先声明类型和变量名值,直接赋值就可以创建各种类型的变量,Python是一种动态类型语言,也就是说变量的类型可以随时变化.例如:x=3print(type(x)) #type是内的一个函数,用来查看对象的类型; #x是整形x='hello world!'#给x重新赋一个类型不同的值print(type(x))isinst

内置函数是不需要导入任何模块即可直接使用的函数.1.abs(x):返回数字x的绝对值;2.all(x):可迭代(iterable)对象中所有元素x都有bool(x)为true,则返回true,对于空的可迭代对象也返回true;这个有点难理解,如下例子:>>> all(['a', 'b', 'c', 'd']) #列表list，元素都不为空或0True>

字符串是 Python 中最常用的数据类型。我们可以使用引号('或")来创建字符串。创建字符串很简单，只要为变量分配一个值即可.字符串的操作(替换、删除、截取、复制、连接、比较、查找、分割等)下表实例变量 a 值为字符串 "Hello"，b变量值为 "Python"：操作符描述实例+

1,列表内的元素类型不需要相同,可以是任意类型2.增删改查  增:list.insert(4,20)          #在list列表索引为4的位置插入20, 注:索引从0开始,索引为四也就是list的第五个元素list.append("hello" )  #在list列表最后的位置插入一个新元素hello,  注:append函数在list的最末尾加添加list.ext

函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。你已经知道Python提供了许多内建函数，比如print()。但你也可以自己创建函数，这被叫做用户自定义函数。自定义函数:def 函数名(参数):#def定义函数的关键字,函数名取名规则和变量相同,可以由字母,数字,下划线,但是必须由函数体

1. 匿名函数a)  没有名字,lambda[agr1[,arg2…]]:expressionb)  表达式:Sum=lambda agr1,agr2:agr1+agr2;Sum(10,20)c)  函数可以做参数传递,三个大数据用的函数:foo=[2,3,2,5,6,5,52]filter(lambdax:x%3=0,foo)//过滤留下能被三整除的数,map(l