- 博客(25)
- 收藏
- 关注
RSS订阅原创 hadoop07 hive
hive是一个可以将sql翻译为MR程序的工具不用写大量的mr程序来分析数据，只需要写sql脚本即可hive的使用方法hive>select * from t_test;创建表[root@hdp01 ~]#hive -e “use default;create table test_1(id int,name string);”创建文件[root@hadoop2 home]#v...
2019-09-24 17:21:55
297
原创 hadoop06 HDFS
常用命令参数介绍-help功能：输出这个命令参数手册-ls功能：显示目录信息示例： hadoop fs -ls hdfs://hadoop-server01:9000/备注：这些参数中，所有的hdfs路径都可以简写–>hadoop fs -ls / 等同于上一条命令的效果-mkdir功能：在hdfs上创建目录示例：hadoop fs -mkdir -p /aaa...
2019-09-23 20:53:11
153
原创 hadoop05
函数使用2.6.1 函数定义#!/bin/sh# func1.sh#hellohello() ## 函数定义{ echo "Hello there today's date is `date +%Y-%m-%d`" return 2 ###返回值其实是状态码，只能在[0-255]范围内} echo "now going to th...
2019-09-23 20:42:28
150
原创 hadoop04
算数表达式运算1、用expr格式 expr m + n 或$((m+n)) 注意expr运算符间要有空格例如计算（2＋3 ）×4 的值1 .分步计算赋值：[root@hadoop2 home]# S=expr 2 + 3[root@hadoop2 home]# B=expr $S \* 4 ## *号需要转义[root@hadoop2 home]# echo $B...
2019-09-23 20:35:11
166
原创 hadoop03
调度配置基本格式* * * * * command分 时 日 月 周 命令配置示例*/1 * * * * date >> /root/date.txt上面的例子表示每分钟执行一次date命令30 21 * * * /usr/local/etc/rc.d/httpd restart上面的例子表示每晚的21:30重启apache。45 4 1,10,2...
2019-09-23 20:31:48
145
原创 hadoop02
通常将默认启动级别设置为：35 进程管理topfreeps -ef | grep sshkill -9 2358 ## 将指定进程号的进程杀死练习题：通过命令实现，将sshd的进程号查询出来后杀掉注意：grep搜索关键词的时候会把自己也搜索出来，对比以下两种写法[root@localhost ~]# ps -ef | grep sixunhuanroot 28...
2019-09-23 20:07:08
241
原创 hadoop01
1.数据的处理流程：收集数据—>web服务器，打日志–flume，sqoop–>hadoop(hdfs)----->数据的清理----->数据统计----->mapreduce（spark）------>存储(hdfs,hive,hbase)---->应用了。...
2019-09-23 20:05:30
280
原创 mysql作业题
1.数据库命令行中执行linux语句使用systemsystem ls /root2.MySQL跳过密码登陆数据库，适用于密码忘记情况–grant-skip-table参数mysqld_safe --defaults-file =/data/3306/my.cnf --grant-skip-tables &3.MySQL临时改变数据库提示符prompt zhang>>...
2019-09-23 19:33:21
419
原创 mysql02
一、MySQL安装步骤1.创建mysql 虚拟用户： useradd -s /sbin/nologin myql2.创建存放软件的文件夹：mkdir /application3.解压：tar xf mysql-5.5.62-linux-glibc2.12-x86_64.tar.gz -C /application/4.创建软链接 ：ln -s mysql-5.5.62-linux...
2019-09-23 19:31:56
151
原创 mysql01
yum -y install lrzsz 集群权限rz 解压MySQL安装步骤创建mysql 虚拟用户useradd -s /sbin/nologin myql创建存放软件的文件夹mkdir /application解压tar xf 压缩包名 -C /application/创建软链接 ln -s 压缩包名初始化/application/mysql/scripts/my...
2019-09-23 19:24:00
111
原创 homework 06
import requestsimport reimport multiprocessingdef PUT(q): headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0....
2019-08-23 08:35:34
300
原创 疯狂python day07
1.全局变量用大写2.线程适合用于请求，线程消耗比进程少3.最好不要用thread创5个线程 启动线程有self不会抢线程真正的线程版本join阻塞 走完start 再走run run函数不要传参验证码mode = 'a’追加式写入上锁一定要释放 所以最好用with每隔5秒打印一次多线程速度import _threadimport timedef go(): ...
2019-08-22 21:42:53
194
原创 疯狂python day06
多进程windows系统可以使用multiprocessing模块‘Process’类来创建子进程，批量启动进程的（‘pool’）、用于进程间通信的队列（‘Queue’）和管道（‘Pipe’）我们通过Process类创建了进程对象，通过target参数我们传入一个函数来表示进程启动后要执行的代码，后面的args是一个元组，它代表了传递给函数的参数。Process对象的start方法用来启动进程...
2019-08-21 17:19:26
166
原创 homework05
下载音乐到本地import jsonimport multiprocessingimport requestsdef text (path): list1 = [] list2 = [] with open(path,mode='r') as f: res = f.readlines()[0].strip('\n').split('}') ...
2019-08-20 22:49:56
124
原创 疯狂pythan day05
python进阶1.代码编排：缩进4个空格，禁止空格与Tab混用2.单行不要import多个库3.注释：忌逐行添加注释，没有一个注释*和 **的用法1.*args返回的是元组**kwagrs返回的是列表...
2019-08-20 17:30:05
254
原创 homework04
class Rect(object): """矩形类""" def __init__(self, width=1, height=2): """初始化方法""" self.__width = width self.__height = height def getPerimeter(self): """计算...
2019-08-20 08:38:00
154
原创 疯狂python day04
类在Python中可以使用class关键字定义类#标识 类名class class_name(object): def __init__(self): print('Hello')if __name__ == "__main__" xxx = class_name(）进度条读取文件读取文本中有多少大写字母class tom(object): def _...
2019-08-19 16:36:24
211
原创 音乐
import timeimport pygamelist = []file_1 = r'C:\Users\lenovo\Desktop\muise\薛之谦 - 意外VIP.mp3'file_2 = r'C:\Users\lenovo\Desktop\muise\薛之谦 - 你还要我这样.mp3'file_3 = r'C:\Users\lenovo\Desktop\muise\薛之谦 - ...
2019-08-18 21:17:08
512
原创 邮箱
import randomclass Regist(object): def __init__(self, mobile): self.mobile = mobile """ Implementation resgist in 163. """ def account(self): """ ...
2019-08-18 21:11:22
1312
原创 homework03
def main(): num_z = 0 num_f = 0 sum = 0 data = 1 while data != 0: data = int(input("请输入数字：")) if data > 0: num_z += 1 elif data < 0: ...
2019-08-18 19:57:31
132
原创 疯狂python day03
字符串的使用def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的拷贝 print(str1.capitalize()) # Hello, world! # 获得字符串变大写后的拷贝 print(str1.upper...
2019-08-17 13:19:46
133
原创 homework01
第一题c = float(input(‘请输入摄氏温度：’))f = (9/5) * c +32print(’%.1f华摄度 = %.1f摄氏度’% (c,f))第二题import mathradius = float(input(‘请输入圆柱的半径：’))length = float(input(‘请输入圆柱高：’))area = radius * radius * math.p...
2019-08-15 22:46:30
119
原创 疯狂python day01
1.变量：在程序设计中，变量是一种存储数据的载体。计算机的变量是实际存在的数据或者说是存储器中存储数据的一块内存空间，变量的值可以被读取和修改。2.类型：整型 (int) 浮点型（float） 字符串型（string)：单引号双引号都可以 布尔型（boolean) 复数型3.变量的使用a =123 b=321 print(a // b) # 整除 pri...
2019-08-15 22:46:05
136
原创 疯狂python day02
循环结构有了循环结构我们就可以轻松的控制某件事或者某些事重复、重复、再重复的发生。1.for-in2.whilefor循环例子for x in range(101): sum += xprint(sum)在这里插入代码片九九乘法表for i in range(1, 10): for j in range(1, i + 1): print('%d*%...
2019-08-15 22:45:31
220
原创 homework02
def fangcheng (): a = int(input('a')) b = int(input('b')) c = int(input('c')) if b**2 - 4*a*c > 0: r1 = (-b+(b**2 - 4*a*c) ** 0.5 )/2*a r2 = (-b-(b**2 - 4*a*c) ** ...
2019-08-15 22:43:24
143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人