linux相关
关注
分享
扫一扫
文章平均质量分 71
语兴数据
语兴数据官方号
语兴简介：
语兴数据科技有限公司KOL、前大厂某线数据负责人
展开
-
Canal简介
简介Canal：译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据...原创 2019-11-29 09:40:45 · 1062 阅读 · 0 评论 -
实时数据处理架构之 --Apache Kafka
简介Kafka，分布式消息发布&订阅系统，流处理平台1.发布-订阅流式记录2.存储流式记录，有较好的容错性3.可以在流式记录产生时就进行处理 Kafka Streaming使用场景1.构建实时流数据管道，在系统和应用间有效的获取数据2.构建实时流式应用程序核心APIThe Producer API 允许一个应用程序发布一串流式的数据到一个或者多个Kafka topic...原创 2019-11-29 09:38:32 · 307 阅读 · 0 评论 -
zeppelin配置
Zepplin安装使用一 下载安装包http://zeppelin.apache.org/download.html选择zeppelin-0.8.1-bin-all.tgz二 上传并解压上传到Linuxtar -zvxf zeppelin-0.8.1-bin-all.tgz -C /root进入目录cd /root/zeppelin-0.8.1-bin-all/-------ok...原创 2019-08-30 08:42:34 · 447 阅读 · 0 评论 -
ELK搜索引擎三剑客（存储+检索+分析） ---Kibana(可视化展示)
1.安装修改kibana.yml文件中的server.host: “0.0.0.0”指定kibana.yml文件中数据来源为elasticsearch.url: “http://192.168.56.100:9200”2.端口:5601创建index patternManagement>Index Patterns>Create Index Pattern数据探索1.Di...原创 2019-07-09 17:37:42 · 518 阅读 · 0 评论 -
ELK搜索引擎三剑客（存储+检索+分析） ---logstach(日志收集)
logstach安装解压 配环境变量#运行 logstach 必须手写conf配置文件logstach作为日志收集工具1.支持多种数据源输入2.支持多种过滤器3.支持多种数据输出目的地实例1：input {file{path =>["/etc/passwd","/var/log/messages"]start_position =>“beginning”si...原创 2019-07-09 17:36:57 · 741 阅读 · 0 评论 -
virtualBox 桥接网卡 未指定(转载)
https://blog.youkuaiyun.com/mythest/article/details/86591252转载 2019-07-07 14:51:16 · 320 阅读 · 0 评论 -
Hadoop完整伪分布式搭建(包含zookeeper+hbase+hive)
1.jdk2.jdk环境变量3.hadoop4.hadoop环境变量5.hadoop文件修改a.core-site.xml1. Fs.defaultFS = hdfs://192.168.220.129:90002. hadoop.tmp.dir=/usr/local/softwave/hadoop-2.7.3/tmpb.hdfs-site.xml1. Dfs.replicati...原创 2019-07-04 14:09:18 · 657 阅读 · 0 评论 -
必须要掌握的Linux命令总结
Linux命令练习常用目录opt(用户操作目录) usr(用户文件目录) etc(配置文件) var（存放日志）vi编辑器这里拷贝一份profile文件进行练习测试y数字y 复制一段 然后先移动到目的行粘贴dd 删除光标所在的当前行d数字d 删除：光标后的”数字行“x:删除一个字符 相当于删除delshift + x =X 相当于退格 backs...原创 2019-07-01 12:21:44 · 239 阅读 · 0 评论 -
centos7设置静态ip
查看网段：网卡1：设置连接方式为：仅主机网络访问网卡2：设置连接方式为：网络地址转换进入目录：vi ifcfg-enp0s3 文件这里需要设置的点为：静态ip最后一位任选 1-254保存后 重新激活网卡...原创 2019-07-01 12:19:29 · 130 阅读 · 0 评论 -
centos7下安装配置maven
centos7下安装配置maven首先在/usr/soft文件夹下新建maven目录mkdir maven我这里使用的是3.5.4的老版本，如果需要新版本可以去官网自行下载，直接在maven文件夹下复制如下命令：wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5....原创 2019-06-09 22:55:58 · 684 阅读 · 0 评论 -
docker环境下使用mysql出现编码格式问题修改编码格式的方法
方法一(适用于单机器修改)首先确定mysql服务处于开始状态键入docker exec -it +服务名 /bin/bash 进入控制台键入apt-get update 命令键入apt-get install vim （上述两条命令用于下载vim编辑器），输入vim /etc/mysql/mysql.conf.d/mysqld.cnf 命令 进入mysqld.cnf文件4.使用i打...原创 2019-06-03 17:16:03 · 1469 阅读 · 0 评论 -
docker环境下mysql学习
查看服务IDdocker ps -adocker start +服务名 打开mysql服务进入docker 控制台docker exec -it 服务名 /bin/bashmysql -uroot -p+密码进入数据库使用SQLyoghttp://www.onlinedown.net/soft/24926.htm激活方式：上面有激活码自行输入配置好IP和数据库密码 即可登录 ...原创 2019-06-03 17:00:32 · 138 阅读 · 0 评论 -
CentOS7安装docker并配置tomcat与mysql，安装redis
设置yum数据源yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repoyum install docker-ce #由于repo中默认只开启stable仓库，故这里安装的是最新稳定版17.12.0启动并加入自启动：systemctl start dockersyste...原创 2019-06-03 16:46:06 · 570 阅读 · 0 评论 -
CentOS7下安装MySql
安装设置数据源：wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysql-community-release-el7-5.noarch.rpm包：rpm -ivh mysql-community-release-el7-5.noarch.rpm安装：yum install mysql-serv...原创 2019-06-03 16:05:46 · 321 阅读 · 0 评论 -
CentOS7环境下安装java jdk
解压包：jdk-8u111-linux-x64.tar操作界面使用MobaXterm配置IP 默认用户名为root获取ip方法：终端输入：ifconfig在/usr目录下新建一个文件夹用于保存我们学习Linux需要的软件在解压jdk文件前，我们需要删除centos预装的jdk环境输入：rpm -qa | grep java 查看包含java的文件与目录删除所有带 ja...原创 2019-05-30 16:11:56 · 317 阅读 · 0 评论 -
VirtualBox安装centos7
新建分配内存直接上图上盘片：版本：-1611 自行下载启动虚拟机：键盘选择第一个，回车安装中文：不解释密码建议：ok一路ok安装完毕，开始快乐！...原创 2019-05-29 20:14:07 · 381 阅读 · 0 评论