BBcsx的博客

nosql 配置Hadoop的HA

BBcsx — Mon, 13 Dec 2021 17:50:37 +0800

在master修改core-site.xml文件，使用ns替换master做为Hadoop的访问地址 sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml 修改后的完整内容如下： hadoop.tmp.dir file:/usr/local

nosql 安装zookeeper

BBcsx — Mon, 13 Dec 2021 17:49:03 +0800

Zookeeper 是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。了防止Zookeeper出现单点故障的问题，Zookeeper也是以集群的形式使用的。推荐集群不少于3个节点，并且节点总量是奇数。在Zookeeper集群中节点的角色总共可以分为以下两类： Leader：集群通过选举过程从所有节点中选举一个节点作为Leader。Leader负责接收客户端的读写请

nosql

BBcsx — Mon, 13 Dec 2021 17:44:52 +0800

--------------------------------------------聚合函数 --查询每个学员学生的年龄总和，最大值最小值平均值 SELECT SUM(age), MAX(age), MIN(age), AVG(age), FROM student GROUP BY college; SELECT SUM(age), MAX(age), MIN(age), AVG(age), FROM student GROUP BY clazz; --查询学生总人数大于2的学院 SELECT ..

hive求学生们每门课成绩

BBcsx — Tue, 23 Nov 2021 08:55:03 +0800

--求学生们每门课成绩，展示格式 --1 80-90-xx-xx-xx --2 xx-xx-xx-xx-xx --COLLECT_SET/COLLECT_LIST:把聚合后的列值放到集合中。 --CONCAT_WS:取出字符串集合中的每个元素，使用指定分隔符分隔 --CAST:hive中转换字符串类型的 SELECT student_id ,CONCAT_WS('-',COLLECT_LIST(CAST(score AS STRING)) ) FROM score GROUP BY studen...

java 查询输出星座

BBcsx — Tue, 23 Nov 2021 08:53:51 +0800

package com.udf; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; import org.apache.hadoop.hive.ql.exec.UDF; public class UDFZodiacSign extends UDF{ public String evaluate(String birthday

Python 序列化

BBcsx — Thu, 11 Nov 2021 17:00:01 +0800

''' Python的序列化是指把变量从内存中变为可以储存/传输的数据/文件的过程。在Python中叫pickling，序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling ''' #1,dumps()与loads（） import pickle data = {'k1':123, 'k2': 'Hello'} p_str = pickle.dumps(data) #注意dump

Python os模块

BBcsx — Thu, 11 Nov 2021 16:58:29 +0800

''' os模块:是Python标准库中的一个用于访问操作系统相关功能的模块，提供了一种可移植的使用操作系统功能的方法。使用os模块中提供的接口，可以实现跨平台访问。但是，并不是所有的os模块中的接口在全平台都通用，有些接口的实现是一来特定平台的，比如linux相关的文件权限管理和进程管理。 os模块的主要功能：系统相关、目录及文件操作、执行命令和管理进程。其中的进程管理功能主要与Linux系统相关。这部分内容会在Linux相关课程中进行讨论和学习。 ...

Python 函数

BBcsx — Thu, 11 Nov 2021 16:57:13 +0800

''' Map,Filter和Reduce三个函数能为Python函数式编程提供我们会通过实例来分别讨论并理解他们 1.map()函数 map()函数接受一个函数f和一个序列sq，这是它的规范 map(函数,序列) ''' items = [1,2,3,4,5,6] squared = [] #将平方后的数字存进去 for i in items: squared.append(i**2)#向squared列表中添加元素，每次循环添加到最后 print(squared) ..

Python 索引切片删除添加

BBcsx — Thu, 11 Nov 2021 16:56:10 +0800

#切片（slice）:作用是从字符串序列中取出一部分相应的元素重新组成一个串 #list列表 num = [1,2,3,4,5] print(num) #优点：python支持不同数据类型可以混合存储在一个列表中 #缺点：会导致数据存储不紧凑，整个结构占用很多空间 num1 = [1,'python',3.1415926] print(num1) #sum():求和 print(sum(num)) #len():统计列表中元素的个数 print(len(num)) #根据索引

Python 迭代器可迭代对象

BBcsx — Thu, 11 Nov 2021 16:53:18 +0800

''' 1.可迭代对象（Iterable）,可以使用for循环遍历的对象，我们称之为可迭代对象 2.迭代器（Iterator）提供数据和记录位置的对象，迭代器对象从集合的第一个元素开始访问，直到所有的元素访问完结束 3.迭代（Iteration）python中可以用for循环使用取值操作的过程 4.生成器（generators）如果函数中有yield我们称之为生成器迭代是Python最强大的功能之一，是访问集合元素的一种方式常见的容器类型，如列表，集合，字典，元组等都有一个对应的迭代器 —

Python 数值的计算

BBcsx — Thu, 11 Nov 2021 16:52:01 +0800

#绝对值的计算：abs print(abs(-7)) print(abs(7)) #进制之间的转换：bin(),oct(),ord() #print(bin(100)) #print(oct(100)) #print(ord(100)) #Ascll码表与字符之间的转换 print(chr(37)) print(ord('@')) #商和余数的计算:divmod() #print(divmod(10,3)) 10//3 10%3 #幂计算：pow print(pow(2,5).

Python 日期时区获取

BBcsx — Thu, 11 Nov 2021 16:50:31 +0800

# datetime.datetime类 # 定义：class datetime.datetime(year, month, day, hour=0, minute=0, second=0, microsecond=0, tzinfo=None) # 一定要注意这是datetime模块下的datetime类 # datetime模块下的日期时间类，你可以理解为datetime.time和datetime.date的组合类。 # utc：代表东八区时间，也就是北京时间 from datetime i

Python 变量作用域

BBcsx — Thu, 11 Nov 2021 16:48:49 +0800

''' 在函数中，Python会按照以下顺序，在各个作用域的命名空间中寻找变量： 1.函数局部作用域（Local Function Scope）； 2.闭包作用域（Enclosing Scope）； 3.全局作用域（Global Scope）； 4.内置作用域（Built-in Scope）。如果有重名的变量，局部优先于闭包，闭包优先于全局，全局优先于内置。 ''' #1.函数局部作用域只能在函数里面用，在函数外面调用，不起作用 def foo(a,b): c = 1 ...

Python 异常处理

BBcsx — Thu, 11 Nov 2021 16:47:00 +0800

''' 捕捉异常我们在运行代码时经常遇到程序出错的情况，在Python中，这些错误通常叫做异常异常最基本的术语： try/except子句。表示可能触发异常产生的代码会放到try语句块里，而处理异常的代码会在except语句块里实现 ''' try: text = input('请输入:') #容易出异常的代码如果出现异常向下面比较，看符合哪一个异常，就输出符合的异常下面的代码 except EOFError: #读取异常ctrl+Z/crtl+d print(...

Python sys模块

BBcsx — Thu, 11 Nov 2021 16:45:17 +0800

''' sys.argv[0]表示程序文件本身文件名（含路径） sys.argv[1]表示运行命令的第一个参数 sys.argv[1:]表示运行命令的第二个到最后一个参数 sys.argv 表示运行命令的全部参数 ''' import sys #1.处理命令运行参数sys.argv print('程序路径:',sys.argv[0]) #2.处理模块sys.path ''' path列表是一个由目录名构成的列表，返回模块的搜索途径 python从中查找模块（python 源模块

2021-05-21

BBcsx — Fri, 21 May 2021 09:34:36 +0800

创建文件夹的命令 hdfs dfs -mkdir -p /usr/hadoop/input 创建多级目录 hdfs dfs -mkdir /hadoop创建单级目录把本地文件添加到 hdfs dfs -appendToFile 本地路径 hdfs上的路径 hdfs dfs -cat /a.txt 查看文件查看文件末尾查看的是1kb的内容 hdfs dfs -tail /a.txt 移动hdfs上面的文件或目录 hdfs dfs -mv /a.txt（hdfs上的路径） /usr/hadoop/i...

2021-05-18

BBcsx — Tue, 18 May 2021 17:19:07 +0800

HashSet笔记 import java.util.Arrays; import java.util.Collections; import java.util.HashSet; import java.util.Iterator; import java.util.List; import java.util.Set; public class HashSetTest { private static final Iterator Interator = null; public static

2021-05-07

BBcsx — Fri, 07 May 2021 15:43:14 +0800

HashSet笔记 import java.util.Arrays;//导包 import java.util.Collections; import java.util.HashSet; import java.util.Iterator; import java.util.List; import java.util.Set; public class HashSetTest { private static final Iterator Interator = null; public st

2021-05-05

BBcsx — Wed, 05 May 2021 12:59:00 +0800

面向对象的特征-------继承继承 1.提高了代码的重用性，子类继承了父类的所有属性和方法，所以子类不再重复定义 2.提高了代码的可扩展性，子类可以写自己独特的属性和方法，在父类的基础上进行扩展继承的语法： [ 修饰符] class 类名 extends 父类 impleemeents 接口{ 继承的说明 1.子类继承了父类的所有属性和方法，只不过只能调用父类的非private(私有的)属性和方法 2.java中的继承只支持单继承，意思就是说一个子类只能继承一个父类，但允许多层继承 3.父...

2021-05-05

BBcsx — Wed, 05 May 2021 12:54:47 +0800

MySQL笔记一.#查询数值型数据: SELECT * FROM tb_name WHERE sum > 100; 查询谓词:>,=,<,<>,!=,!>,!<,=>,=< 二.#查询字符串 SELECT * FROM tb_stu WHERE sname = '小刘' SELECT * FROM tb_stu WHERE sname like '刘%' SELECT * FROM tb_stu WHERE sname lik...

BBcsx的博客

nosql 配置Hadoop的HA

nosql 安装zookeeper

nosql

hive求学生们每门课成绩

java 查询输出星座

Python 序列化

Python os模块

Python 函数

Python 索引切片 删除添加

Python 迭代器可迭代对象

Python 数值的计算

Python 日期时区获取

Python 变量作用域

Python 异常处理

Python sys模块

2021-05-21

2021-05-18

2021-05-07

2021-05-05

2021-05-05

Python 索引切片删除添加