- 博客(34)
- 收藏
- 关注
RSS订阅原创 django 常见问题
二、django 1、中间件 中间件一般做认证或批量请求处理，django中的中间件，其实是一个类，在请求和结束后，django会根据自己的规则在合适的时机执行中间件中相应的方法， 如请求过来 执行process_request, view，process_response方法 2、Django、Tornado、Flas...
2018-06-13 10:23:31
1173
原创 爬虫
win下环境搭建：1，在cmd命令窗口下安装lxml下载命令：python -m pip install lxml2,安装Twisted下载命令：python -m pip install Twisted3,安装Scrapy easy_install scrapy安装后在cmd命令行输入scrapy可以查看4，安装 win32pip install pypiwin32liunx下环境搭建：1...
2018-06-04 22:35:00
358
原创 flume安装配置
下载地址：http://www.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz解压：tar -zxvf apache-flume-1.8.0-bin.tar.gz -C opt解压完进入到flume的conf 目录下创建一个a1.conf文件，定义sources ,channels,sinks启动agent ./bin/flu...
2018-05-28 19:09:51
281
原创 hive 案例
创建一个alice 表：create table alice(line string);导入alice-in-wonderland.txt统计每一行有多少个单词 select split(line,' ') from alice where line!='' limit 3;统计每一行有多少个单词 select size(split(line,' ')) from alice; ...
2018-05-23 21:54:35
1665
原创 hive
什么是hive？Hive是一个基于hadoop的数据仓库平台，通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。hive数据放在哪里？数据在HDFS的warehouse（python05：50070/user/hive/wareouse/）目录下，一个表对应一个子目录。hive...
2018-05-19 10:06:16
268
原创 dataframe及sql
sparksql 运行架构：SparkSQL语句的顺序为：1. 对读入的SQL语句进行解析（Parse），分辨出SQL语句的关键词（如SELECT、FROM、WHERE 并判断SQL语句的合法性；2. 将SQL语句和数据库的数据字典进行绑定（Bind）如果相关的Projection、Data Source等都是存在的话，就表示这个SQL语句是可以执行的；3. 数据库会在这计划中选择一个最优计划（O...
2018-05-14 22:38:40
1770
原创 大数据---spark
spark的优点：1，先进的大数据分布式编程和计算框架2，试图替代HADOOP (SPARK 可以独立于HADOOP)3，内存分布式计算：运行速度快4，可以用不同的语言编写(java,scala,R,python)5,可以从不同的数据源取数据（HDFS，HBase,Cassandra）6,实现不同的大数据功能：Spark Core、Spark SQL、SparkStreaming，Spark ML...
2018-05-10 09:17:07
463
原创 spark--基本操作
王者荣耀的一个小案例rdd=sc.textFile("/user/hadoop/wangzhe.csv")print(rdd.collect())print("=="*50)#1,统计王者荣耀一共赚了多少钱rdd1=rdd.map(lambda x:x.split(",")).map(lambda x:int(x[2]))print(rdd1.collect())rdd1.reduce...
2018-05-09 22:45:56
307
原创 大数据--Hadoop环境搭建
进入Hadoop 主目录下创建 mkdir opt 创建一个opt 目录xftp上传文件上传完成 ll 查看文件tar：压缩、解压缩 tar -xzf 文件名（输文件名时可以输入前面几个字母后按Tab键） -C 目录解压完成， 配置环境变量修改环境配置的文件 vi ~/.bashrc保存退出更新环境变量 source ~/.bashrc输入Java查看成功Hadoop环境变量配置切换到Had...
2018-05-02 21:36:58
240
原创 Hadoop 环境搭建及基本命令
安装镜像1， 创建一个新的虚拟机2，选择典型安装配置3，选择下载好的centos路径（不选择也可以，自定义的时候也可以加上）4，编辑虚拟机的名字和安装的位置5，选择磁盘容量 20G ，选择将磁盘拆分成多个文件6，查看自定义，看下配置是否正确，点击完成7，修改下内存和处理器，内存选择电脑相应的，我的是（内存选2G，处理器选4个）8，进入虚拟机，点击安装contos9，（下面搜索，ch）选择中文,点击...
2018-05-02 20:39:54
357
原创 Django
文件上传：1，创建一个mtml文件<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>文件上传</title> <meta http-equiv="Content-Ty
2018-04-04 17:05:47
196
原创 Django-3
登陆功能：1，在templates中创建一个login.mtml登陆页面<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>登陆</title></head>&
2018-04-02 21:29:31
154
原创 Django-
请求的转发：1 ：涮新浏览器重新提交表单2 ：只能在项目内部跳转3 ：地址没有改变重定向： 一次以上的请求和响应，请求地址发生一次以上的变化。 如果此时刷新页面不会出现重做现象 我们需要在我们的views.py里面导入redirect和reverse模块1，首先我们要改下views.py里的内容 定义一个函数def show(request,i...
2018-03-31 06:53:09
213
原创 Django__1
Django pip命令安装方法:pip install Django默认文件：urls.py: 路径跳转settings.py: 项目设置，中间件，APP，数据库，根路径，静态文件，指定启动wsgiwsgi.py: 入口_init_.py: 一个空文件，告诉python这个目录该被认为是一个python包。mvc模式：model: 模型，实体类，数据库连接view：视图conntrol:控制层...
2018-03-28 22:31:41
201
原创 Pymysql
PyMySQL 安装：在python目录下的Programs文件路径下执行下面的命令 pip install PyMySQLpymysql创建表:import pymysql #导入pymysql模块def createtable(): #1 建立数据库 conn=pymysql.connect('127.0.0.1','root','123456','student',cha...
2018-03-26 21:37:55
1873
原创 MySQL数据库--视图，索引，备份。。
什么是视图？视图是一张虚拟的表，视图中不存放数据，其结构和数据是建立在对表的查询基础上，表示一张表的部分数据或多张表的综合数据。视图的用途筛选表中的行防止未经许可的用户访问敏感数据降低数据库的复杂程度将多个物理数据库抽象为一个逻辑数据库视图注意事项使用视图修改数据会有许多限制，一般在实际开发中视图仅用作查询对视图数据进行添加、更新和删除操作直接影响所引用表中的数据当视图数据来自多个表时，不允许添加...
2018-03-23 16:01:20
244
原创 mysql数据库查询和事务
MySQL查询：#检查“Logic Java”课程最近一次考试成绩#如果有 80分以上的成绩，显示分数排在前5名的学员学号和分数SELECT r.studentno AS 学生编号,r.studentresult AS 学生成绩 FROM result rWHERE subjectno=(SELECT subjectno FROM SUBJECT WHERE subjectname='jav...
2018-03-21 21:24:41
2384
原创 MLySQL数据库
数据删除： DELETE FROM 表名 [WHERE条件]; #删除自增列将不会重置 所以注意查询时会产生一些问题TRUNCATE TABLE 表名; #TRUNCATE语句删除后将重置自增列，表结构及其字段、约束、索引保持不变，执行速度比DELETE语句快用一条INSERT语句插入多条数据：INSERT INTO SUBJECT(`subjectNo`,`subjectName`,...
2018-03-19 22:58:19
249
原创 MySQL操作
修改表：#修改表名 ALTER TABLE 旧表名 RENAME [TO] 新表名;添加字段：#添加字段 ALTER TABLE 表名 ADD 字段名 数据类型 [属性];修改字段：#修改字段 ALTER TABLE 表名 CHANGE 原字段名 新字段名 数据类型 [属性];删除字段：#删除字段ALTER TABLE 表名 DROP 字段名;添加外键：ALTER TABLE ...
2018-03-16 23:14:10
132
原创 mysql数据库基础
数据库：数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统（RDBMS）来存储和管理的大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数...
2018-03-14 21:47:20
248
原创 网络编程--Socket
网络编程： 实现计算机与计算机之间的通信。通讯协议：tcp:可靠，有状态的，长连接的协议，像打电话一样的udp:不可靠，无连接，像发短信一样，发送的包的顺序要有编码http:基于tcp的协议，无状态的协议ftp:文件传输协议pop3：邮件协议版本3，是tcp/Ip协议族中的一员smtp:简单邮件传输协议网络的七层协议应用层，表示层，会话层，传输层，网络层，数据链路层，物理层网络根据地域分为三类：局...
2018-03-13 08:15:51
199
原创 python编写--弹球游戏
弹球游戏：from tkinter import * import timeimport randomtk=Tk() #创建一个界面tk.title("弹球游戏")canvas=Canvas(tk,width=800,height=600,bg="skyblue",bd=0,highlightthickness = 0)tk.resizable(0,0...
2018-03-12 10:43:37
2207
原创 多线程之锁的应用和 正则表达式
锁的概念：当多个线程同时进行任务时，为了保证不会有多个线程对同个数据进行操作造成不可预估的结果，所以有了锁的概念，我们通过锁来保证多个线程更加安全lock=threading.Lock()#获得一个锁cond1=threading.Condition(lock=lock)condition的四个方法： cond1.acquire()#上锁 cond1.wait() #等待 cond1.re...
2018-03-08 00:23:04
219
原创 python中的多线程
基本概念：线程：进程中的每个子任务不能独立存在进程：独立的所有子任务的集合线程，进程：目的都是想同时完成任务线程的五个状态：1：创建对象（）创建2：start() 就绪3：run() 运行4：阻塞5：死亡多线程类似于同时执行多个不同程序，多线程运行有如下优点：使用线程可以把占据长时间的程序中的任务放到后台去处理。用户界面可以更加吸引人，这样比如用户点击了一个按钮去触发某些事件的处理，可以弹出一个...
2018-03-05 22:06:29
121
原创 文件——读 ，写
继承：子类继承父类，子类可以使用父类的属性和方法，简化代码. 子类继承父类，父类派生子类当生成子类对象时，先初始化父类对象，所以如果父类有__init__()方法，并且有属性时，要通过子类的构造赋值一个类可以有多个子类初始化时。。。在子类中，调用父类的属性时，在__init__()方法中使用父类.属性,或self.属性或父类.__init__(self,参数)或super(子类,sel...
2018-03-05 22:06:06
151
原创 python中的函数应用
1. 函数的定义：[python] view plain copydef func_name(参数1,2...): "函数底下第一行写一个str会作为函数的文档DocStrings" print("hello world!") print("hello again!") # 函数底下缩进一个TAB的都是函数的代码块 按照语法就定义了一个函数，函数名为 func_na...
2018-03-05 22:05:31
942
原创 解析xml
sax解析xml例如:import xml.sax #导入xml.sax包from xml.sax import parse #导入parse包try: import xml.etree.cElementTree as ETexcept ImportError: import xml.etree.ElementTree as ETclass student(object)...
2018-03-05 21:27:12
118
原创 XML解析
xml:1：便签成对出现，2：区分大小写3：便签要正确的嵌套4：开始部分<?xml version="1.0" encoding="utf-8" ?>5：只能有一个根节点6：节点可以有属性例如：<?xml version="1.0" encoding="utf-8" ?> #开始部分<!DOCTYPE students[ <!
2018-03-02 22:22:35
157
原创 python中的 文件 操作
复制文件 myread=open("index.txt","r")#打开一个文件 mywite=open('aaa.txt','w')#复制到另一个文件 mystr=myread.read(1024) while len(mystr)>0:#遍历文件内容 mywite.write(mystr) mystr=myread.read(1024) mywite.flu...
2018-02-28 22:19:12
309
原创 迭代器与生成器 异常
迭代器与生成器 异常迭代器：可以被next()函数调用并不断返回下一个值，直到没有数据时抛出StopIteration错误的对象成为迭代器，即Iterator.iter(可迭代对象) ===>迭代器--->Iterator 迭代器内部持有一个状态，该状态用于记录当前迭代所在的位置， 以便于下次迭代的时候获取正确的元素。生成器 是特殊的迭代器，只需要一个yiled关键字。 生成器的...
2018-02-28 21:58:28
210
原创 python—列表与字典
list 相关函数len(list) 返回列表长度list.index("") 根据内容查找第一个元素，返回下标，找不到报错。与字符串不同的是，list没有 find 方法。可能是因为列表本身是动态的原因。☆ 复制，和赋值的区别1. 列表可以通过 list.copy() 方法以及切片 list[:] 返回一个与原列表相同的列表；2. 另外，如果把原
2018-02-01 13:04:46
279
原创 python中循环判断总结
猜数字游戏：i=random.randint(1,101) while True: a=int(input('请输入一个数字：')) if i>a: print('你猜小了') elif i<a: print('你猜大了') else: print("你猜对了")打印出1-100的偶数和，奇数和：
2018-01-26 13:15:47
607
转载 python 编程中常用的12种知识总结
Python 编程中常用的12 种基础知识总结：正则表达式替换，遍历目录方法，列表按列排序、去重，字典排序，字典、列表、字符串互转，时间对象操作，命令行参数解析(getopt)，print 格式化输出，进制转换，Python 调用系统命令或者脚本，Python 读写文件。1、正则表达式替换目标: 将字符串 line 中的 overview.gif
2018-01-24 10:20:22
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人