- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Windows环境安装kafka单节点模式
安装环境：windows（win7）kafka版本：2.3.0scala版本：2.11.x 一、下载安装包 这里给一个华中科技大学开源镜像地址：http://mirror.hust.edu.cn/apache/kafka/，你也可以自行在其它网站下载，下图是我选择下载的安装包： 二、修改配置参数 解压下载的安装包得到如下目录结构的文件夹：按照上图找到 server.properties 配置文件并修改 log.dirs 的参数值三、启动kafka进入bi.
2020-12-30 17:59:39
505
1
原创 maven打全量包-使用scope排除不需要打包的依赖
问题背景生产环境缺少一些依赖，导致程序无法运行，打全量包耗时而且有jar包冲突的风险，需要一种方法只把生产环境缺少的依赖打进去，生产环境有的依赖就不打进去（需要排除）解决方案使用maven全量包插件和依赖的作用域（scope）属性可以实现指定依赖打进jar包maven全量包插件配置如下：<build> <plugins> <plugin> <groupId>org.apa
2020-12-29 12:11:15
2212
1
原创 IDEA为新建项目设置默认maven
IDEA版本：2020.02IDEA创建新项目时总是使用默认maven仓库配置，每次新项目需要手动修改maven配置。在弹出窗口中进行如下操作：
2020-12-25 17:35:08
861
1
原创 Spark中判断DataFrame是否为空
没有找到直接判断DataFrame是否为空的方法，这里转换成数组后判断数组是否为空def isEmpty(df: DataFrame): Boolean = { df.collect().isEmpty }如果有更好的方法，欢迎交流学习。
2020-12-24 16:58:36
5187
4
原创 Hive元数据库切换
Hive高可用的“陷阱” Hive的元数据库保存在MySQL中，如果MySQL存在单节点故障问题，那么即使HiveServer和HiveMetastore有多个，Hive也不是高可用的； 临时解决方案：定期备份MySQL中的Hive数据库，如果Hive元数据库所在的MySQL挂掉，及时在其它MySQL服务器上恢复备份，同时需要修改Hive配置文件，告诉Hive新的元数据库地...
2019-10-09 11:29:29
1786
原创 Shell脚本中使用ssh远程执行多个命令
环境：用法：ssh -t -p 连接端口 目标机 "多个命令放在双引号中使用&&连接"因为之前使用单个命令时将命令直接跟在目标机后面就可以成功执行，使用多个命令时执行不成功，总是在本地机执行需要远程执行的命令，多次试验发现了放在双引号中可以成功执行。先记录再次，相信还有其它更好的的解决方法。...
2019-10-09 11:26:30
4958
原创 Spark提交任务Yarn-Cluster模式下任务日志的查看
前情提要任务以cluster模式提交命令Old: --name 任务名称 --master yarn-cluster 该命令已经过时：Warning: Master yarn-cluster is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.New...
2019-09-03 17:54:18
3922
原创 Python开发笔记
不定期更新中......1. TypeError: unhashable type: 'list' 字典的key不能为list类型，因为list类型是不可hash的 字典的key只能为字符串，数值或者元组 2. a = b = c = [] b.append(100) 上面代码运行完后a,b,c都是[100] 3. sre_constants....
2019-08-16 15:08:08
422
原创 Ambari安装Ranger详细教程
准备工作1.找到ambari-server所在的服务器（这里是hadoop-02）2.进入/usr/java/share/java/目录下查看数据库驱动包是否存在，并确认是什么类型的数据库这里确认ambari使用的是mysql数据库，驱动包路径：/usr/share/java/mysql-connector-java.jar3. 根据前两步执行命令ambari-se...
2019-08-16 14:53:50
8184
原创 Ambari安装Presto教程
1. 下载presto服务组件在ambari-server所在节点进行下载wget https://github.com/prestodb/ambari-presto-service/releases/download/v1.2/ambari-presto-1.2.tar.gz创建文件夹备用mkdir /var/lib/ambari-server/resources/stacks/...
2019-08-16 14:14:42
1622
1
python运行环境编码设置
2018-12-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人