- 博客(17)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Docker环境下搭建ELK
1.拉取docker镜像这里选用7.6.1版本，注意es、kibana、logstash、filebeat版本要保持一致，不然会出现问题分别执行以下四条命令，拉取镜像docker pull docker.elastic.co/elasticsearch/elasticsearch:7.6.1docker pull docker.elastic.co/kibana/kibana:7.6.1docker pull docker.elastic.co/logstash/logstash:7.6.1do
2020-11-12 14:21:40
565
1
原创 用docker的方式搭建禅道
最近换了新的项目团队，由于新团队比较年轻化，考虑到要实行敏捷开发，为了帮助团队建立敏捷化的项目管理，经过调研之后，我选择了目前比较受欢迎的开源项目管理软件：禅道，这是一款国产的优秀开源项目管理软件，基于敏捷项目管理理念开发而成，操作简洁，能够很好地满足目前团队中的产品、开发、测试等人员的使用。同时，被告知测试服务器是个临时的服务器，可能要考虑后期的数据迁移，所以选择了以docker的方式快速部署禅道。1. 查看服务器是否有禅道容器docker ps -a查看所有容器是否存在禅道容器2.从doc
2020-06-23 17:28:40
1332
原创 Spring boot 集成Junit单元测试
单元测试”这个词在不同场景下可能有不同意思。我更偏向于将大家大致理解的“单元测试”称为“开发阶段的自动化测试“。这样就可以体现三个点：一是，这个测试是开发同学自己搞的。开发人员搞定代码后，为新代码添加测试，并且保证新老测试都能通过，才能提测。开发同学不能将满是bug的代码就丢给测试同学。二是，这个测试是自动化的，不是“手工调用接口做一次测试“那种形式的。并且执行起来要非常简单。比如任何人拿到代...
2020-04-21 20:30:12
306
原创 Spring boot 添加admin监控
第一步：添加Euraka注册中心服务并启动成功启动后访问：http://localhost:8761 查看一下注册中心运行情况第二步启动监控admin服务端并访问端口8766输入账号密码admin进入页面第三步：启动要监控的服务端刷新admin监控页面，发现了要监控的服务端端口8765看到了很多监控信息：JVM栈堆信息、日志在线查找下载、http跟踪、线程追踪局限性...
2020-03-04 19:21:34
265
原创 Java开发中的一些小技巧（一）
一、MyBatis 不要为了多个查询条件而写 1 = 1当遇到多个查询条件，使用where 1=1 可以很方便的解决我们的问题，但是这样很可能会造成非常大的性能损失，因为添加了 “where 1=1 ”的过滤条件之后，数据库系统就无法使用索引等查询优化策略，数据库系统将会被迫对每行数据进行扫描（即全表扫描） 以比较此行是否满足过滤条件，当表中的数据量较大时查询速度会非常慢；此外，还会存在SQL ...
2019-11-09 17:18:54
280
原创 CDH环境部署Elasticsearch集群
1.环境说明1.1、linux系统（我这里是centos6.8）1.2、jdk（我这里安装的Java1.8版本）1.3、hadoop平台（我这里使用的cdh搭建的，hive版本为1.1.0）2.安装单节点ES2.1、下载es安装包，去https://www.elastic.co/cn官网下载，因为最新更新到7X版本，所以这里选择6X最后一个版本Elasticsearch 6.7.2下载，...
2019-05-17 15:29:22
4919
2
原创 CDH Hive集成Hbase
1.背景Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统，Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具，将我们的sql操作转换为相应的MapReduce jobs，然后在Hadoop上面运行。HBase全称为Hadoop Database，即HBase是Hadoop的数据库，是一个...
2019-05-16 11:57:18
806
原创 Sqoop导入Mysql数据表到Hbase中
1.在mysql表中创建一个千万条数据的测试表card2.在Hbase中创建对应的test表，指定一个列族infohbase shellcreate 'test','info'3.将mysql数据导入hbase中sqoop import --connect jdbc:mysql://192.168.20.160/test --username root --password 11...
2019-05-15 16:21:44
687
1
原创 CDH常用优化配置项
搜集了CDH常用的hive配置可进行优化的配置项1.hive.metastore.warehouse.dirHive 仓库目录是在 HDFS 中存储 Hive 表格的位置。注意此仓库目录的 Hive 默认值为“/user/hive/warehouse”。2.hive.warehouse.subdir.inherit.perms让表目录继承仓库或数据库目录的权限，替代使用从 dfs umas...
2019-05-13 17:46:27
2655
原创 Hive索引的创建与性能测试
简介Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。在可以预见到分区数据非常庞大的情况下，索引常常是优于分区的。需要时刻记住的是，Hive并不像事物数据库那样针对个别的行来执行查询、更新、删除等操作。这些操作依赖高效的索引...
2019-05-10 17:27:09
868
原创 Hive动态分区表的学习测试与总结
数据准备因为创建可以分区的数据表结构很繁琐，所以我直接使用了CDH hue自带的hive测试数据customers表创建步骤，进入hue web 页面，在导航栏提示第二步的时候，创建hive 应用示例，几个经典hive结构表就创建好了查看示例表，发现customers表结构很适合作为分区表，里面的address字段里面的state（州）很适合做分区处理，但是customers并不是分区表，...
2019-05-09 16:50:10
446
原创 HBase Shell基本操作练习
1 基本操作备注：写错 HBase Shell 命令时将光标移动到你要删除的字符上，按下‘Backspace’或者‘Delete’删除,一定要注意Hbase Shell里面删除是删除光标后面的字符，跟linux操作完全相反，一定要注意，刚开始会很不习惯1.1 成功启动HBase之后，想要使用HBase Shell ，得输入命令行：hbase shell 并且控制台成功打印以下信息：1.2 ...
2019-05-08 18:45:38
2991
原创 Hive经典HQL语句练习（二）
26、查询每门课程被选修的学生数:select a.c_id,a.c_name,count(b.s_score) num_coursefrom course a join score b on a.c_id = b.c_idgroup by a.c_id,a.c_name27、查询出只有两门课程的全部学生的学号和姓名:select b.s_id,a.s_name,count(b.c...
2019-05-08 16:02:14
762
原创 Hive经典HQL语句练习（一）
搜集了50个经典SQL语句，以便加强对Hive的理解，包含了基本操作，UDF函数，以及很多常用统计函数，与mySQL写法有一定差别，用来做HQL练习1.数据准备home目录下新建data文件夹存放准备数据mkdir data创建student数据文本vi student.txt添加如下数据：01 赵雷 1990-01-01 男02 钱电 1990-12-21 男03 孙风...
2019-05-08 16:01:28
2916
1
原创 CDH集群hive使用以及性能测试
1.CDH集群里面的Hive角色分配及作用如图所示，Hive主要有三个角色：HiveServer2、Metastore Server、以及代理角色Gateway主要两个服务端守护进程：1、Hiveserver2：支撑JDBC访问，Thrift服务，部署在masternode3节点。2、MetaStore Server：支撑访问元数据库的服务，部署在toolnode1节点。2.Hive内...
2019-05-08 16:00:28
3115
原创 CDH中Sqoop的使用心得
Sqoop服务添加Sqoop版本选择CDH自带两个版本sqoop组件这里选择1.4.6版本也就是sqoop1，1.99.5版本是sqoop2，是半成品，不支持关系型DB到Hive跟Hbase，故不推荐使用Sqoop导入mySql数据到Hive操作1、测试MySQL连接sqoop list-databases --connect jdbc:mysql://192.168.20.160...
2019-05-08 15:59:04
4282
1
原创 CDH5.11.2集群安装部署
1、 主机分配以七台测试虚拟机为例：七台主机名分别为：cm、master1、master2、master3、node1、node2、node3对应的ip为：192.168.138.141 ——192.168.138.1472、修改静态IP因为除cm外都是克隆虚拟机机，所以首先要解决克隆机的静态IP跟主机名更改问题，更改cm为例：vi /etc/udev/rules.d/70-pers...
2019-05-08 15:46:32
571
1
spingboot-admin.zip
2020-03-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人