- 博客(28)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 nosql 配置Hadoop的HA
在master修改core-site.xml文件，使用ns替换master做为Hadoop的访问地址 sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml 修改后的完整内容如下： <configuration> <!-- hdfs 的数据存储位置 --> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local
2021-12-13 17:50:37
1703
原创 nosql 安装zookeeper
Zookeeper 是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 了防止Zookeeper出现单点故障的问题，Zookeeper也是以集群的形式使用的。推荐集群不少于3个节点，并且节点总量是奇数。在Zookeeper集群中节点的角色总共可以分为以下两类： Leader：集群通过选举过程从所有节点中选举一个节点作为Leader。Leader负责接收客户端的读写请
2021-12-13 17:49:03
1615
原创 nosql
--------------------------------------------聚合函数 --查询每个学员学生的年龄总和，最大值 最小值 平均值 SELECT SUM(age), MAX(age), MIN(age), AVG(age), FROM student GROUP BY college; SELECT SUM(age), MAX(age), MIN(age), AVG(age), FROM student GROUP BY clazz; --查询学生总人数大于2的学院 SELECT ..
2021-12-13 17:44:52
723
原创 hive求学生们每门课成绩
--求学生们每门课成绩，展示格式 --1 80-90-xx-xx-xx --2 xx-xx-xx-xx-xx --COLLECT_SET/COLLECT_LIST:把聚合后的列值放到集合中。 --CONCAT_WS:取出字符串集合中的每个元素，使用指定分隔符分隔 --CAST:hive中转换字符串类型的 SELECT student_id ,CONCAT_WS('-',COLLECT_LIST(CAST(score AS STRING)) ) FROM score GROUP BY studen...
2021-11-23 08:55:03
522
原创 java 查询输出星座
package com.udf; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; import org.apache.hadoop.hive.ql.exec.UDF; public class UDFZodiacSign extends UDF{ public String evaluate(String birthday
2021-11-23 08:53:51
1638
原创 Python 序列化
''' Python的序列化是指把变量从内存中变为可以储存/传输的数据/文件的过程。 在Python中叫pickling， 序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。 反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling ''' #1,dumps()与loads（） import pickle data = {'k1':123, 'k2': 'Hello'} p_str = pickle.dumps(data) #注意dump
2021-11-11 17:00:01
667
原创 Python os模块
''' os模块:是Python标准库中的一个用于访问操作系统相关功能的模块， 提供了一种可移植的使用操作系统功能的方法。使用os模块中提供的接口， 可以实现跨平台访问。但是，并不是所有的os模块中的接口在全平台都通用， 有些接口的实现是一来特定平台的，比如linux相关的文件权限管理和进程管理。 os模块的主要功能：系统相关、目录及文件操作、执行命令和管理进程。 其中的进程管理功能主要与Linux系统相关。这部分内容会在Linux相关课程中进行讨论和学习。 ...
2021-11-11 16:58:29
1123
原创 Python 函数
''' Map,Filter和Reduce三个函数能为Python函数式编程提供 我们会通过实例来分别讨论并理解他们 1.map()函数 map()函数接受一个函数f和一个序列sq，这是它的规范 map(函数,序列) ''' items = [1,2,3,4,5,6] squared = [] #将平方后的数字存进去 for i in items: squared.append(i**2)#向squared列表中添加元素，每次循环添加到最后 print(squared) ..
2021-11-11 16:57:13
486
原创 Python 索引切片 删除添加
#切片（slice）:作用是从字符串序列中取出一部分相应的元素重新组成一个串 #list列表 num = [1,2,3,4,5] print(num) #优点：python支持不同数据类型可以混合存储在一个列表中 #缺点：会导致数据存储不紧凑，整个结构占用很多空间 num1 = [1,'python',3.1415926] print(num1) #sum():求和 print(sum(num)) #len():统计列表中元素的个数 print(len(num)) #根据索引
2021-11-11 16:56:10
631
原创 Python 迭代器可迭代对象
''' 1.可迭代对象（Iterable）,可以使用for循环遍历的对象，我们称之为可迭代对象 2.迭代器（Iterator）提供数据和记录位置的对象，迭代器对象从集合的第一个元素开始访问，直到所有的元素访问完结束 3.迭代（Iteration）python中可以用for循环使用取值操作的过程 4.生成器（generators）如果函数中有yield我们称之为生成器 迭代是Python最强大的功能之一，是访问集合元素的一种方式 常见的容器类型，如列表，集合，字典，元组等都有一个对应的迭代器 —
2021-11-11 16:53:18
437
原创 Python 数值的计算
#绝对值的计算：abs print(abs(-7)) print(abs(7)) #进制之间的转换：bin(),oct(),ord() #print(bin(100)) #print(oct(100)) #print(ord(100)) #Ascll码表与字符之间的转换 print(chr(37)) print(ord('@')) #商和余数的计算:divmod() #print(divmod(10,3)) 10//3 10%3 #幂计算：pow print(pow(2,5).
2021-11-11 16:52:01
1027
原创 Python 日期时区获取
# datetime.datetime类 # 定义：class datetime.datetime(year, month, day, hour=0, minute=0, second=0, microsecond=0, tzinfo=None) # 一定要注意这是datetime模块下的datetime类 # datetime模块下的日期时间类，你可以理解为datetime.time和datetime.date的组合类。 # utc：代表东八区时间，也就是北京时间 from datetime i
2021-11-11 16:50:31
1749
原创 Python 变量作用域
''' 在函数中，Python会按照以下顺序，在各个作用域的命名空间中寻找变量： 1.函数局部作用域（Local Function Scope）； 2.闭包作用域（Enclosing Scope）； 3.全局作用域（Global Scope）； 4.内置作用域（Built-in Scope）。 如果有重名的变量，局部优先于闭包，闭包优先于全局，全局优先于内置。 ''' #1.函数局部作用域只能在函数里面用，在函数外面调用，不起作用 def foo(a,b): c = 1 ...
2021-11-11 16:48:49
582
原创 Python 异常处理
''' 捕捉异常我们在运行代码时经常遇到程序出错的情况， 在Python中，这些错误通常叫做异常异常最基本的术语： try/except子句。表示可能触发异常产生的代码会放到try语句块 里， 而处理异常的代码会在except语句块里实现 ''' try: text = input('请输入:') #容易出异常的代码 如果出现异常向下面比较，看符合哪一个异常，就输出符合的异常下面的代码 except EOFError: #读取异常ctrl+Z/crtl+d print(...
2021-11-11 16:47:00
312
原创 Python sys模块
''' sys.argv[0]表示程序文件本身文件名（含路径） sys.argv[1]表示运行命令的第一个参数 sys.argv[1:]表示运行命令的第二个到最后一个参数 sys.argv 表示运行命令的全部参数 ''' import sys #1.处理命令运行参数sys.argv print('程序路径:',sys.argv[0]) #2.处理模块sys.path ''' path列表是一个由目录名构成的列表，返回模块的搜索途径 python从中查找模块（python 源模块
2021-11-11 16:45:17
362
原创 2021-05-21
创建文件夹的命令 hdfs dfs -mkdir -p /usr/hadoop/input 创建多级目录 hdfs dfs -mkdir /hadoop创建单级目录 把本地文件添加到 hdfs dfs -appendToFile 本地路径 hdfs上的路径 hdfs dfs -cat /a.txt 查看文件 查看文件末尾 查看的是1kb的内容 hdfs dfs -tail /a.txt 移动hdfs上面的文件或目录 hdfs dfs -mv /a.txt（hdfs上的路径） /usr/hadoop/i...
2021-05-21 09:34:36
145
原创 2021-05-18
HashSet笔记 import java.util.Arrays; import java.util.Collections; import java.util.HashSet; import java.util.Iterator; import java.util.List; import java.util.Set; public class HashSetTest { private static final Iterator Interator = null; public static
2021-05-18 17:19:07
121
原创 2021-05-07
HashSet笔记 import java.util.Arrays;//导包 import java.util.Collections; import java.util.HashSet; import java.util.Iterator; import java.util.List; import java.util.Set; public class HashSetTest { private static final Iterator Interator = null; public st
2021-05-07 15:43:14
142
原创 2021-05-05
面向对象的特征-------继承继承 1.提高了代码的重用性，子类继承了父类的所有属性和方法，所以子类不再重复定义 2.提高了代码的可扩展性，子类可以写自己独特的属性和方法，在父类的基础上进行扩展 继承的语法： [ 修饰符] class 类名 extends 父类 impleemeents 接口{ 继承的说明 1.子类继承了父类的所有属性和方法，只不过只能调用父类的非private(私有的)属性和方法 2.java中的继承只支持单继承，意思就是说一个子类只能继承一个父类，但允许多层继承 3.父...
2021-05-05 12:59:00
166
原创 2021-05-05
MySQL笔记 一.#查询数值型数据: SELECT * FROM tb_name WHERE sum > 100; 查询谓词:>,=,<,<>,!=,!>,!<,=>,=< 二.#查询字符串 SELECT * FROM tb_stu WHERE sname = '小刘' SELECT * FROM tb_stu WHERE sname like '刘%' SELECT * FROM tb_stu WHERE sname lik...
2021-05-05 12:54:47
351
原创 2021-05-05
package second.feuGe;//客户类 public class Customer extends Person{ private String CustomerId;//客户ID private String phone;//手机号 //无参构造器方法 public Customer() { } //有参构造器方法 public Customer(String CustomerId,String phone)...
2021-05-05 12:50:09
118
原创 2021-05-05
循环给值 package second.feuGe; import java.util.Arrays; public class CustomerData { //数组的长度，数组能多能少 private static int SIZE=10; //计数，计算数组到底放了几个值，记住count不能比size大 private static int COUNT=10; //声明了一个客户类的数组，长度不固定，给了一个size--...
2021-05-05 12:47:42
95
原创 2021-05-05
增加学生年龄和成绩 package first;//学生集合类 public class three { one [] xsong=new one[41]; //增加学生信息——————给数组赋值 public void add(one xs) {//one xs 代表一个学生的信息 for(int i=0;i<xsong.length;i++) { if(xsong[i]==null) { ...
2021-05-05 12:43:16
99
原创 2021-05-04
面向对象---装箱拆箱 public class TestInteger { public static void main(String[] args) { /**装箱 * 基本数据类型赋值给引用数据类型 * 语法 * 1.Integer i2 = i1; */ int i1 = 10; Integer i2 = i1; Integer i3 = new Integ...
2021-05-04 15:17:32
95
原创 2021-05-04
面向对象---集合框架 package First; import java.util.ArrayList; import java.util.Iterator; import java.util.List; public class TestLIist { public static void main(String[] args) { /** * ArrayList 有序 有下标 数据可重复 * LinkedList 查询慢 删除和插入数据快 */ L...
2021-05-04 15:13:18
97
原创 2021-05-04
面向对象-------抽象类和接口 public abstract class Animal {/** * 抽象类语法：public abstract class 类名 {} * 可以声明：属性和方法 构造器方法 抽象方法 * 特点1:抽象类里面不一定有抽象法方法 2:抽象类里面的方法不一定都是抽象方法，也可以有方法和构造器 * 3:有抽象方法的类一定是抽象类 *抽象类不能实例化兑现，只能通过向上转型进行实例化 Animal a =new Dog() */ int age; ...
2021-05-04 15:10:29
94
原创 2021-05-04
面向对象处理异常 import java.util.Scanner; public class first { public static void main(String[] args) { Scanner scanner = new Scanner(System.in); /**int num1 = 100;//被除数 System.out.println("请输入除数:"); int num2 = scanner.nextInt(); int ...
2021-05-04 15:07:01
89
原创 2021-05-02
ArraysList接口笔记 ArraysList接口的所有方法及使用方法 1.boolean add(E e) 将指定元素追加到此列表的末尾 add();添加数据 list.add("张三"); list.add(10); list.add(10.1); 2.void add(int index, E element) 在列表中的指定位置插入指定的元素 add.（int index , E element）; list.add("3,李四"); 在下标为3的位置上添加一个李四 3.add
2021-05-04 14:56:30
201
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人