m风之伤-优快云博客

原创 docker的使用之安装mysql 镜像

docker的使用之安装mysql 镜像下载MySQL的镜像docker pull mysql查看当前docker中的镜像docker images运行镜像生成新的容器docker run -p 3306:3306 --name mymysql -v $PWD/conf:/etc/mysql/conf.d -v $PWD/logs:/logs -v $PWD/data:/va...

2019-10-23 11:27:44 282

centos7 安装docker按照centos7配置centos7的基本配置修改网卡的配置关闭防火墙关闭selinux修改主机名配置yum源（yum的软件仓库）安装Docker卸载已经安装的Docker添加阿里镜像查看可以安装的docker版本合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Smart...

2019-10-22 18:11:57 577

转载 Idea 部署SVN详细步骤以及上传、检出、提交更新步骤

https://blog.youkuaiyun.com/zhuyi2576947717/article/details/82713910

2019-08-29 08:48:15 288

转载优化hbase的查询优化-大幅提升读写速率(转)

问题导读：1.本文通过什么方法优化查询效率的？2.如何增大RPC数量？3.如何调整hbase内存？环境：suse8G内存，8核，12T磁盘 hbase master 占一台，其他7台作为hbase的region注意：此处不讨论hadoop情景：我们有7亿的数据，需要做查询操作，需要从1.7亿的表中查找一个字段，并写入到7亿数据的表中。 ...

2019-03-02 15:48:11 447

原创 Kafka的ACK机制有三种，是哪三种

Kafka producer有三种ack机制初始化producer时在config中进行配置0 意味着producer不等待broker同步完成的确认，继续发送下一条(批)信息提供了最低的延迟。但是最弱的持久性，当服务器发生故障时，就很可能发生数据丢失。例如leader已经死亡，producer不知情，还会继续发送消息broker接收不到数据就会数据丢失1意味着produc...

2019-02-20 16:53:26 19512

转载 zookeeper 在kafka中的作用是什么？

Kafka使用zk的分布式协调服务，将生产者，消费者，消息储存（broker，用于存储信息，消息读写等）结合在一起。同时借助zk，kafka能够将生产者，消费者和broker在内的所有组件在无状态的条件下建立起生产者和消费者的订阅关系，实现生产者的负载均衡。1. broker在zk中注册kafka的每个broker（相当于一个节点，相当于一个机器）在启动时，都会在zk中注册，告诉zk其br...

2019-02-20 16:48:46 2133 1

转载 hadoop mapreduce卡住解决方案

如何杀掉当前正在执行的hadoop任务列出当前hadoop正在执行的jobs:杀掉job: job_201212111628_11166列出当前hadoop正在执行的jobs:[hadoop@192.168.10.11 hadoop-0.20.2-cdh3u3]$ hadoop job -list10 jobs currently runningJobId State Start...

2018-12-30 17:54:44 688

原创 HIVE 二进制安装

HIve安装前提是mysql已经安装成功。安装步骤上个笔记有切换hadoop用户：su - hadoop xftp打开目录： /home/hadoop/soft 上传hive二进制文件：tar -xvf apache-hive-1.2.2-bin.tar.gz 移动解压的文件：mv apache-hive-1.2.2-bin ../install/hive 修...

2018-11-21 18:42:38 366

原创 linux下安装配置 MySQL5.6

mysql 二进制安装—安装hive前准备注：因为配在这里插入代码片置文件中路径已经配置好，所以文档中的目录都不能修改安装方式：二进制安装包+配置文件准备材料：mysql-5.6.39-linux-glibc2.12-x86_64.tar.gzmysql配置文件：my.cnf创建mysql用户：useradd mysql1、解压文件tar -xvf mysql-5.6.39-lin...

2018-11-21 18:39:15 910