大数据工具
关注
分享
扫一扫
文章平均质量分 80
.
落幕7
山山而川
展开
-
electerm代替xshell和xftp
文章目录electerm安装和使用安装使用快捷键electerm安装和使用由于某些特殊原因不让用xhell和xftp(都懂吧…)很难受，自己也找了其他的软件来代替xshell和xftp但是都用的不是很顺手，毕竟用那两个时间长了，唉难搞！！！试了好几个也就electerm好用点，还有其他的像finalshell、windterm、termius等就没有过多了解了（安装后试了一下感觉不顺手）下面有两种途径下载安装包：（网盘里的是在windows上的安装包）1.electerm百度网盘下载 百原创 2021-12-28 15:37:01 · 3888 阅读 · 1 评论 -
Elasticsearch常用命令
ES 常用命令RESTful APIcurl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'参数描述VERB适当的 HTTP 方法 或 谓词 : GET、 POST、 PUT、 HEAD 或者 DELETE。PROTOCOLhttp 或者 https（如果你在 Elasticsearch 前面原创 2022-01-04 09:45:31 · 1199 阅读 · 0 评论 -
Elasticsearch7.13+kibana7.13安装
文章目录安装ES 7.13.11、上传解压，配置环境变量2、修改配置文件elasticsearch.yml3、创建es启动用户并赋权（es不能使用root启动）centos6.5需要修改的配置4、启动es安装kibana 7.13.11、上传解压，2、修改配置文件3、启动kibana安装ES 7.13.11、上传解压，配置环境变量# 上传到/usr/local/soft/目录下tar -xvf elasticsearch-7.13.1-linux-x86_64.tar.gz2、修改配置文件ela原创 2021-12-31 16:31:47 · 550 阅读 · 0 评论 -
canal的搭建及使用
文章目录canal的搭建及使用1、开启mysql binlog2、上传解压配置环境变量3、修改配置文件conf/example/instance.properties4、修改配置文件conf/canal.properties5、测试6、可以利用Kafka的kafka-console-consumer或者Kafka Tools查看test这个topic的数据：canal的搭建及使用1、开启mysql binlogcp /usr/share/mysql/my-medium.cnf /etc/my.cnf原创 2021-11-26 21:37:07 · 1744 阅读 · 0 评论 -
kylin搭建及使用
最大限制引擎选择，建议mapreduce(虽然慢但是可以稳定运行完),spark不是很稳定，可能会报错然后都直接进行下一步，在下一步然后save然后点击后面的Actions然后点击里面的build选择时间然后点击submit提交然后到Monitor查看进度如下图一所示Progress进度开始为0再看已经运行了一部分了也可以点击最右边的（>）按钮查看进度侧边栏...原创 2021-11-23 13:53:02 · 2089 阅读 · 0 评论 -
Azkaban搭建及使用
Azkaban搭建使用（很简单）1、上传解压unzip azkaban-solo-server.zip#没有unzip插件的执行下面命令安装yum install unzip2、修改配置文件#修改azkaban.properties配置文件vim conf/azkaban.properties#修改时区default.timezone.id=Asia/Shanghai3、启动azkabancd /usr/local/soft/azkaban-solo-server不要进入bi原创 2021-11-21 05:00:00 · 889 阅读 · 0 评论 -
kafka搭建及使用
文章目录kafka搭建及使用使用kafkasourcekafka的APIkafka整合flume（监听hadoop日志）重置kafka相关命令kafka搭建及使用1、上传压缩包到任意节点2、解压，配置环境变量 所有节点都配置3、修改config/server.properties1、broker.id=0 #每一个节点broker.id 要不一样2、zookeeper.connect=master:2181,node1:2181,node2:21813、log.dirs=/usr/local原创 2021-11-25 23:22:57 · 1342 阅读 · 1 评论 -
kettle9.1连接hive2时出现User: root is not allowed to impersonate anonymous解决办法
文章目录问题1:User: root is not allowed to impersonate anonymous解决办法：问题2：解决办法：问题1:User: root is not allowed to impersonate anonymous我在用kettle9.1连接虚拟机上hive2.3.8时出现错误1：如下Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteExcepti原创 2021-10-24 15:20:00 · 3221 阅读 · 0 评论 -
Kettle8.2的安装及简单使用
Kettle的安装及简单使用文章目录Kettle的安装及简单使用一、kettle概述二、kettle安装部署和使用Windows下安装案例1：MySQL to MySQL案例2：使用作业执行上述转换，并且额外在表stu2中添加一条数据案例3：将hive表的数据输出到hdfs案例4：读取hdfs文件并将sal大于1000的数据保存到hbase中三、创建资源库1、数据库资源库2、文件资源库四、 Linux下安装使用1、单机2、 集群模式案例：读取hive中的emp表，根据id进行排序，并将结果输出到hdfs上原创 2021-10-23 20:12:45 · 1930 阅读 · 0 评论 -
Flume1.9安装及使用
Flume的安装及使用文章目录Flume的安装及使用Flume的安装1、上传压缩包至虚拟机，并解压2、重命名目录，并配置环境变量3、查看flume版本4、测试flume5、flume的使用Flume的安装1、上传压缩包至虚拟机，并解压点击Flume-1.9.0压缩包下载地址进行下载tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/softali原创 2021-10-22 20:53:33 · 1066 阅读 · 0 评论 -
DataX和FlinkX的安装及使用
文章目录DataX的安装DataX的使用stream2stream编写配置文件stream2stream.json执行同步任务执行结果mysql2mysql编写配置文件mysql2mysql.json执行同步任务mysql2hdfs编写配置文件mysql2hdfs.jsonhbase2mysqlmysql2hbasemysql2Phoenix在Phoenix中创建STUDENT表编写配置文件MySQLToPhoenix.jsonHDFSToHBaseFlinkX的安装与简单使用FlinkX的安装FlinkX原创 2021-10-22 01:30:00 · 1411 阅读 · 0 评论 -
Kettle安装以及MySQL千万、亿级数据量迁移方案及性能优化
此作者写的很全，很推荐原创 2021-10-20 10:10:24 · 3251 阅读 · 4 评论 -
Sqoop-1.4.7安装以及使用
SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数据的方式使用Navicat运行SQL文件导出MySQL数据库importMySQLToHDFS编写脚本，保存为MySQLToHDFS.conf执行脚本注意事项：MySQLToHive编写脚本，并保存为MySQLToHIVE.conf文件在Hive中创建t原创 2021-10-19 19:23:32 · 1820 阅读 · 0 评论