- 博客(181)
- 收藏
- 关注
RSS订阅原创 kylin
配置分发hive并建立软链接cdh1:deploy.shhive-1.1.0-cdh5.10.0/root/app/slavecdh2,cdh3:ln-shive-1.1.0-cdh5.10.0hive环境变量[所有节点]vi/etc/profileexportHADOOP_HOME=/root/app/hadoopexportP...
2020-04-20 14:56:59
399
原创 sparkstructuredstreaming
官网实例http://spark.apache.org/docs/2.3.0/structured-streaming-programming-guide.html#quick-example实例代码Completeimportorg.apache.spark.sql.functions._importorg.apache.spark.sql.SparkSession...
2020-04-17 15:55:23
304
原创 spark集成
Hive配置将hive的配置文件hive-site.xml拷贝到sparkconf目录cp/root/app/hive/conf/hive-site.xml/root/app/spark-alone/conf/vihive-site.xml<property><name>hive.metastore.uris</name&...
2020-04-17 15:51:31
340
原创 sparksql
pom<dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.11</artifactId><version>2.3.0</version><scope>provided</scope&g...
2020-04-17 15:38:29
206
原创 spark实时计算
第一个实例安装ncyuminstall-ync实例官网http://spark.apache.org/docs/2.3.0/streaming-programming-guide.html#a-quick-example启动服务nc-lk9999./run-examplestreaming.NetworkWordCountlocalhost999...
2020-04-17 15:31:39
469
原创 spark集群搭建
Scala安装及环境变量配置环境变量JAVA_HOME=/root/app/jdkSCALA_HOME=/root/app/scalaCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$SCALA_HOME/bin:/root/tools:/home/hadoop...
2020-04-17 15:20:48
164
原创 spark编程模型
创建RDD从集合创建RDD创建方式一：parallelizescala> val paraRDD = sc.parallelize(arr)paraRDD: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:26scala> val...
2020-04-17 15:14:10
139
原创 spark快速入门
基本安装官网http://spark.apache.org/docs/2.3.0/quick-start.html解压并创建软连接tar-xzvfspark-2.3.0-bin-hadoop2.6.tgzln-sspark-2.3.0-bin-hadoop2.6sparksparkshell[root@cdh1bin]#./spark-shell...
2020-04-17 15:08:12
328
原创 kafka
kafka配置配置文件zookeeper.propertiesdataDir=/root/data/zookeeper/zkdataconsumer.propertieszookeeper.connect=cdh1:2181,cdh2:2181,cdh3:2181producer.propertiesbootstrap.servers=cdh1:9092,cdh2:90...
2020-04-08 11:13:24
214
原创 flume
flume配置与启动官方文档http://flume.apache.org/配置flume-conf.properties.templateagent.sources=seqGenSrcagent.channels=memoryChannelagent.sinks=loggerSink#Foreachoneofthesources,th...
2020-04-08 11:10:00
150
原创 sqoop
sqoop导入hdfs官方文档http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html修改sqoop-env.sh#Setpathtowherebin/hadoopisavailableexportHADOOP_COMMON_HOME=/root/app/hadoop#Setpathto...
2020-04-08 11:02:25
184
原创 HIVE-java api
pom <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> <scope>test</scope> ...
2020-04-01 21:56:44
185
原创 HBASE-Java api
快捷键Alt + / Alt +shift+ lpom <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> &...
2020-04-01 21:53:03
136
原创 HIVE环境搭建
HIVE安装解压并创建软连接tar-xzvfhive-1.1.0-cdh5.10.0.tar.gzln-shive-1.1.0-cdh5.10.0hive配置文件hive-log4j.propertieshive.log.dir=/root/data/hive/logshive-env.shexportHADOOP_HOME=/root/app/h...
2020-04-01 21:43:08
284
原创 HBASE环境搭建
HBASE安装解压并创建软连接tar-xzvfhbase-1.2.0-cdh5.10.0.tar.gzlnhbase-1.2.0-cdh5.10.0hbase配置文件hbase-site.xml<configuration><property><name>hbase.zookeeper.quorum</name&...
2020-04-01 21:32:14
253
原创 HDFS的api
获取文件系统句柄 public static FileSystem getFileSystem() throws Exception{ Configuration conf = new Configuration(); URI uri = new URI("hdfs://cdh2:9000"); //active,不能是stand...
2020-03-30 11:55:42
132
原创 hadoop运行程序
配置pomMaven地址https://mvnrepository.com/tags/maven<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><versio...
2020-03-30 11:32:15
428
原创 hadoop集群安装部署
HDFS解压 Hadooptar -xzvf hadoop-2.6.0-cdh5.10.0.tar.gz创建软连接ln -s hadoop-2.6.0-cdh5.10.0 hadoop修改配置文件路径/root/app/hadoop-2.6.0-cdh5.10.0/etc/hadoopcore-site.xml<configuration>...
2020-03-26 09:45:04
272
原创 zookeeper
JDK安装解压缩tar-xzvfjdk-8u51-linux-x64.tar.gz创建软连接ln-sjdk1.8.0_51jdk修改环境配置变量vi/etc/profileJAVA_HOME=/root/app/jdkCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=...
2020-03-25 15:32:25
150
原创 shell-分发与远程执行
配置文件deploy.conf#规划集群角色cdh1,master,all,cdh2,slave,all,cdh3,slave,all,deploy.sh分发脚本#!/bin/bashif[$#-lt3]//如果参数的个数小于3，则报错$#：获取参数个数thenecho"Usage:./deploy.shsrcFile(orDir...
2020-03-25 10:51:39
370
原创 linux常用操作
修改主机名称vi /etc/sysconfig/network修改完后，rebootIP地址映射vi /etc/hosts 即可修改主机名与 IP 的映射关系。免密登录openssh-clients 服务yum install -y openssh-clients，即可安装 openssh-clients 服务。测试 ssh 命令...
2020-03-24 18:02:14
184
原创 elasticsearch运维相关
扩展程序加载elasticsearch-head_v0.1.4Kibana配置server.port: 5601server.host: "192.168.32.17"elasticsearch.hosts: ["http://***:***"]elasticsearch.username: "***"elasticsearch.password...
2019-12-23 19:00:56
583
原创 MYSQL优化
全值匹配(最好)建立复合索引(name,age,salary)create index idx_name_dep_age ON employee(name,dep_id,age )使用到了1个explain select * from employee where name ='鲁班'使用到了2个explain select * from employee wh...
2019-12-17 15:56:55
170
原创 Docker Compose
概述Docker Compose单机多容器部署工具通过yml定义多容器如何部署相关文件[root@rabbitmq1 wordpress]# lsdocker-compose.yml安装地址https://docs.docker.com/compose/install/命令sudo curl -L "https://github.com/docker/com...
2019-12-05 20:48:01
204
原创 Mall的docker发布实例
Mall的相关文件[root@rabbitmq1 mall]# lsapplication-dev.yml application.yml Dockerfile mall-admin-1.0-SNAPSHOT.jarDockfileFROM openjdk:8u222-jreWORKDIR /usr/local/mallADD mall-admin-1.0-SNA...
2019-12-05 19:54:20
234
原创 Volume数据共享
挂载命令docker run --name tomcat1 -v /opt/webapp:/usr/local/tomcat/webapps tomcat-v：volume进行挂载/opt/webapp ：原始的目录/usr/local/tomcat/webapps ：容器的目录两个目录用冒号隔开tomcat ：镜像名字原始目录存放相关程序：[root@rabbit...
2019-12-05 19:30:34
178
原创 feign
feign客户端yml配置spring: main: allow-bean-definition-overriding: trueeureka: client: service-url: defaultZone: http://localhost:8761/eurekafeign: hystrix: e...
2019-12-05 14:19:46
181
原创 git
拉取代码$ cd f:/mall/git$ git clone https://git.paas.sinopec.com/N0098007WSHOP/eshop-product.git提交代码$ cd eshop-product/eshop-product-api/$ git add -A$ git commit -m "mall"git pushgi...
2019-12-05 14:02:17
334
原创 基于bridge网桥双向通信
概述网桥是虚拟网卡内部容器可以相互访问容器内部可以ping通外部的百度自定义一个网桥，然后把容器绑定到该网桥上，属于该网桥的所有容器可以实现双向连接查看docker网桥[root@rabbitmq1 ~]# docker network lsNETWORK ID NAME DRIVER SCO...
2019-12-04 19:26:07
807
原创 容器间的单向访问
原则容器间最好不要使用ip，使用容器的名字访问，一旦重启，IP可能换容器启动MySQL角色[root@rabbitmq1 ~]# docker run --name mydb centos运行完就结束，但容器存在[root@rabbitmq1 ~]# docker run -d --name mydb centos sleep 1d运行24小时后结束...
2019-12-04 19:19:24
118
原创 Dockerfile构建MySQL与Redis
Dockerfile-MysqlFROM mysql:5.7WORKDIR /docker-entrypoint-initdb.dADD init.sql .#/docker-entrypoint-initdb.d ：官方mysql固定的目录#init.sql . 构建时执行的脚本MySql的构建与实例运行[root@rabbitmq1 opt]# dock...
2019-12-04 18:54:56
1262
原创 Dockerfile相关指令
FROMFROM centos #制作基准镜像（基于centos:lastest）From scratch #不依赖任何基准镜像base image尽量使用官方提供的Base ImageWORKDIR设置工作目录WORKDIR /usr/localWORKDIR /usr/local/lql #自动创建尽量使用绝对路径ADD -复制文件ADD hello / #...
2019-12-04 18:36:19
173
原创 Dockerfile实例
概述是镜像的描述文件制作属于自己的镜像文件不但要安装好tomcat，还要把docker-web发布上去与相关容器内部交互[root@rabbitmq1 ~]# docker psCONTAINER ID IMAGE COMMAND CREATED STATUS...
2019-12-04 15:53:58
160
原创 Docker快速安装Tomcat
抽取tomcat的镜像docker pull tomcat查看docker镜像[root@rabbitmq1 ~]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEtomcat latest...
2019-12-04 15:30:43
225
原创 docker安装
Docker安装Windows安装检查docker是否安装成功docker versionClient: Docker Engine - CommunityVersion: 18.09.2API version: 1.39Go version: go1.10.8Git commit: 624796...
2019-12-04 15:17:40
83
原创 VUE周期
官网https://cn.vuejs.org/v2/guide/instance.html概述created 和 beforeCreate - #### A 可以操作数据 B 数据没有初始化mounted 和 beforeMount - #### A 可以操作DOM B 还未生成DOMupdated 和 beforeUpd...
2019-10-12 15:43:08
111
原创 VUE非父子组件之间的通信
概述- #### 创建一个空实例（bus中央事件总线也可以叫中间组件）- #### 利用$emit $on的触发和监听事件实现非父子组件的通信Vue.prototype.$bus=new Vue()//在vue上面挂载一个$bus作为中央处理组件this.$bus.$emit('自定义事件名','传递的数据')//触发自定义事件传递数据this.$bus.$on('自定...
2019-10-12 13:53:25
124
原创 Vue路由守卫
概述```jsconst router = new VueRouter({ ... }//前置的钩子函数 最后要执行next（）才会跳转router.beforeEach((to, from, next) => { // ...})//后置的钩子函数 已经跳转了不需要nextrouter.afterEach((to, from) => { // ...
2019-10-12 09:42:40
135
原创 Vue嵌套路由
概述代码思想1:router-view的细分router-view第一层中，包含一个router-view2:每一个坑挖好了，要对应单独的组件路由配置 - ``` routes: [ { path:'/nav',...
2019-10-12 09:37:26
128
原创 Vue路由的传参与取参
概述1. 查询参数配置（传参） :to="{name:'login',query:{id:loginid}}"获取（取参） this.$route.query.id2.路由参数配置（传参）:to="{name:'register',params:{id:registerid} }"配置路由的规则 { name:'detail',path:'/det...
2019-10-12 07:02:47
368
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人