- 博客(22)
- 收藏
- 关注
RSS订阅原创 HBASE完全分布式
1.将hbase通过Xftp传入Red-Hat2.tar -zxvf hbase -C /usr/local (解压到目录下)3.cd /usr/local/hbase/conf (到conf修改hbase-env.sh,hbase-site.xml)4.vi hbase-env.sh4.1.set nu (方便查找)4.2.修改27行将jdk路径设置4.3.设置ZK5.vi...
2019-12-06 09:55:20
213
1
原创 Hbase
创建名称空间create_name ‘名称’展示名称空间list_namespace列出名称空间的所有表list_namespace_tables ‘hbase’创建表create ‘nds1:t1’, ‘f1’, ‘f2’添加数据put ‘nds1:t1’, ‘r1’, ‘f1:name’, ‘xxx’扫描scan ‘nds1:t1’查看列族get ‘nds1:t1’...
2019-12-03 20:55:11
136
原创 sqoop
// sqoop 从mysql导入到hdfs./sqoop import connect jdbc:mysql:localhost:3306/1704e \ #sql连接–username root \ #用户–password 123456 \ #密码–table tb_jk \ #表–target-dir /sqooptest \ #储存hdfs的路径–fields-termina...
2019-12-01 12:08:26
230
原创 Spark Streaming 总和练习
创建主题bin/kafka-topics.sh -create --zookeeper hdp01:2181,hdp01:2181,hdp03:2181 -replication-factor 3 --partitions 3 --topic my================================================================+生产者bin/...
2019-11-15 16:30:56
272
原创 spark core 与 streaming 处理过程
streaming (微批处理):以wordcount为例 lines Dstream包含多个时间片段信息,将0-1m的时间片段信息底层转换RDDSpark Core在一个driver 中创建一个SparkContext 同时包括DAGscheduler调度器(划分stage 以宽/窄依赖进行划分阶段) 一个stage 划分一个tabk 交给Taskschedulerspark-submit...
2019-11-14 14:48:28
245
原创 Scala函数
/*普通函数使用*/var a =(a:String,b:String)=>println(a+b);a("你好","python")-----------------------------------------------------/*匿名函数创建使用*/((a:String,b:String)=>println(a+b))("hello","java")-----...
2019-11-05 21:27:00
127
原创 Scala伴生类伴生对象
object Helloword { }/*是上述的伴生类*/class Helloword{ var name = "唐三" /*辅助构造器*/ /*多个参数逗号分隔*/ def this(name:String){ this() println("执行辅助构造器") this.name=name }}---------------...
2019-11-05 20:39:10
144
原创 Scala002
//Array (1.)var a = Array(1,2,3) (2.)val arr:Array[Int] = new Array[Int](3) arr(0) = 8 arr(1) = 6 arr(2) = 9// ArrayBuffer var a = scala.collection.mutable.ArrayBuffer[Any]() ...
2019-11-02 15:51:10
190
原创 scala001
// scala for循环breakes使用def main(args: Array[String]): Unit = { val u = new Breaks;//break包外 u.breakable( for ( i<- 0 to 10 ) { if(i==5){ u.break() } ...
2019-11-02 13:42:04
140
原创 hive语句大全
hive数据库是hdfs上的文件夹，表也是文件夹，表里的数据是文件hive建表create table t_student(id string,name string,age int,classNo string)row format delimitedfields terminated by ‘,’;创建外部表create external table t_a(id string,n...
2019-10-25 15:55:30
1019
原创 第11天笔记
启动 kafkabin/kafka-server-start.sh -daemon config/server.properties查看卡夫卡列表bin/kafka-topics.sh --zookeeper hdp01:2181 --list创建主题bin/kafka-topics.sh --create --zookeeper hdp01:2181,hdp02:2181,hdp03:...
2019-10-21 19:32:42
132
原创 Zookeeper集群搭配
解压tar -zxvf zookeeper3.4.14.tar.gz -C /usr/localvi zoo.cfgdataDir=/usr/local/zkdata在最后添加server.1=hdp1:2888:3888server.2=hdp2:2888:3888server.3=hdp3:2888:3888mkdir -p /usr/local/zkdata在zkdata目...
2019-10-15 18:54:30
187
原创 MapperReducer之WordCount 笔记
前情提要 :1.HDFS中有300MB a.txt和80MB b.txt2.写一个PV或者UV程序执行过程1.client(客户端)请求yarn的resourcemanager申请提交任务2.resourcemanager接受到请求返回给客户端 jobID和hdfs提交地址 (hdfs://hdp1:8020/tmp…/…/staing/jobid)3.扫描输入路径的文件划分切...
2019-10-13 09:44:18
290
原创 伪分布搭建
1.将jdk上传解压到linux目录下 tar -zxvf jdk -C /usr/local2.配置jdk文件vi /etc/profileJAVA_HOME=/usr/local/jdk1.8.0_192PATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME PATH刷新 :source /etc/profile3.安装完全分布式hdfst...
2019-10-10 13:46:23
280
原创 HDFS上传linuxSHELL
HDFS上传1_hadoop fs -mkdir /test (在hadoop创建一个文件)2_ hadoop fs -ls /test(浏览文集夹)3_ hadoop fs -put jdk-8u192-linux-x64.tar.gz /test(上传到指定文件夹)4_hadoop fs -lsr /(递归查看所有文件和目录)5_hadoop fs -cat /test/a.txt(...
2019-09-28 18:11:47
144
原创 hadoop集群搭配yarn配置
hadoop集群搭配0.准备工作修改linux主机名hostnamectl set-hostname “hdp1”hostnamectl set-hostname “hdp1” --statichostnamectl set-hostname “hdp1” --transienthostnamectl set-hostname “hdp1” --pretty修改网络映射(每台虚拟机都...
2019-09-28 18:05:42
657
原创 爬虫
// 记录文章数 int count = 0; // 获取连接对象 Connection connect = Jsoup.connect("https://news.163.com/"); // 获取文档对象 Document document = connect.get(); // 获取当前文档的所有超链接 Elements ahrefs = document.select("a...
2019-09-19 11:22:29
162
原创 kafka集群部署
kafka集群部署kafka设置群集 必要前提：zookeeper的集群是正常。 准备三台虚拟机 确定 三台主机IP 1.zookeeper集群搭建1.2 zookeeper 搭建zookeeper的集群1.2.1. . zookeeper的配置文件 zoo.cfg每个文件都加入如下内容server....
2019-09-19 11:11:34
205
原创 黎明杀机手游注册登陆详解
黎明杀机手游注册登陆详解 1.OurPlay 2.酷酷跑 3.Qoo APP1.打开Qoo APP 下载黎明杀机2.打开酷酷跑,申请账号2.1先点击一件安装再进行点击申请3.打开OurPlay 将黎明杀机导入3.选择加速节点4.点击导入的黎明杀机5.登陆游戏账号...
2019-09-18 07:50:01
12259
原创 Linux之kafka
Linux之kafkakafuka是开源消息系统,由Scala写成kafka 1.异步 2.解耦 3.高容错在linux中上传kafka使用rz命令上传 如果 rz命令提示报错先执行 yum -y install lrzsz之后再使用rz命令上传完成 这里我上传了 zookeeper和kafka将kafka进行解压使用命令 tar -zxvf kafka*******....
2019-09-10 16:50:15
154
原创 Linux笔记命令
Linux笔记命令cd ‘路径’切换命令ll ‘路径’查看当前目录下文件cat ‘文件名’查看文件内容mkdir -pv ‘多级目录’创建多级目录ps -ef查看所有进程kill -9 ‘进程号’杀死进程vim ‘文件名.xx’编辑touch ‘文件名.xx’创建文件tar -zcvf ‘xx.tar’ xx.txt压...
2019-09-06 11:35:14
94
原创 虚拟机内安装linux
虚拟机内安装linux 需要: 1.VMware(个人推荐使用10版本) 2.CentOS镜像1.打开虚拟机 选择文件,新建虚拟机2.选择典型,下一步3.选择稍后安装,下一步4.选择linux,版本选择CentOS 64位5.重命名,安装路径,下一步6.选择第二个,下一步7.选择自定义 1.修改新CD/DVD7.1修改新CD/DVD 1.选...
2019-09-06 10:50:29
113
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人