<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Apache_Jerry的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Apache_Jerry</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Apache_Jerry]]></copyright><item><title><![CDATA[pycharm 新建文件后选错文件格式怎么改]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/118728150</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/118728150</guid><author>Apache_Jerry</author><pubDate>Wed, 14 Jul 2021 15:10:06 +0800</pubDate><description><![CDATA[pycharm 新建文件后选错文件格式怎么改
pycharm 版本 2021.1.3 版本
网上搜的都不能用, 版本不太一样, 可能设置的方式也不一样
比如这里新建文件时 指定了错误的文件类型, 虽然后面改成.sql, 但是 默认还是txt 文件格式, 就很烦,这个时候要自己改

点击 file - File Properties - Associate with File Type

然后选择相应的文件类型就ok 了


...]]></description><category></category></item><item><title><![CDATA[支持Impala 的数据库查询工具]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/115719157</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/115719157</guid><author>Apache_Jerry</author><pubDate>Thu, 15 Apr 2021 11:59:05 +0800</pubDate><description><![CDATA[支持Impala 的数据库查询工具

CDH自带的HUE, 网页版查询工具, 底层通过python进行数据查询分析, 中文界面;
Jetbranins 系列的软件, 通过JDBC进行连接, 比较推荐他家的 DataGrip, 英文界面;
开源的 Dbeaver, 完全开源免费,使用也很方便, 通过JDBC连接, 中文界面;
DBVisualizer, 通过JDBC连接,个人感觉界面风格不适合我, 没有深入使用

下面介绍一下连接的操作步骤
HUE
Hue 没有教程, 直接点进去用就好了…
DataGrip ]]></description><category></category></item><item><title><![CDATA[pip 离线 批量安装 python 库及其依赖]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/115655657</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/115655657</guid><author>Apache_Jerry</author><pubDate>Tue, 13 Apr 2021 10:19:46 +0800</pubDate><description><![CDATA[pip 下载和安装的命令
注意:
离线安装, 需要你下载用的python3 版本和 安装时用的Python3 版本一致, 否则可能会安装失败的.
先编写 requirements 文件,将准备下载的库写入(可以指定版本)
vim requirements
hdfs


下载库以及库的依赖
sudo pip3 wheel -r requirements 

下载完毕会有很多依赖

最后将文件传入离线环境汇总, 安装库和依赖即可
sudo pip3 install --no-index --find-links]]></description><category></category></item><item><title><![CDATA[如何以管理员权限来操作 hdfs]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/115321310</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/115321310</guid><author>Apache_Jerry</author><pubDate>Tue, 30 Mar 2021 11:29:53 +0800</pubDate><description><![CDATA[Hadoop 的管理员用户是hdfs, 我们只要在 centos 中使用 hdfs用户来操作hadoop, 他默认识别到的就是管理员了 .
sudo -u hdfs hadoop fs  -mkdir -p /user/spark/applicationHistory
sudo -u hdfs hadoop fs  -chmod -R 777 /user/
sudo -u hdfs hadoop fs  -chown hdfs:supergroup /user
sudo -u hdfs hadoop fs ]]></description><category></category></item><item><title><![CDATA[CDH6.3.2 端口使用整理]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/115321227</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/115321227</guid><author>Apache_Jerry</author><pubDate>Tue, 30 Mar 2021 11:26:18 +0800</pubDate><description><![CDATA[CDH 6.3.2端口使用说明:
ClouderaManager  版本:6.1.1
7180： Cloudera Manager WebUI端口
7182： Cloudera Manager Server 与 Agent 通讯端口
8087:  Activity Monitor Web UI 端口
9087:  Port for Activity Monitor’s HTTPS Debug page
9999:  Activity Monitor 侦听端口
9998:  公开 Activity Monit]]></description><category></category></item><item><title><![CDATA[dss nginx 403 forbidden]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/111273929</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/111273929</guid><author>Apache_Jerry</author><pubDate>Wed, 16 Dec 2020 14:51:58 +0800</pubDate><description><![CDATA[在centos7上面搭建 DataSphereStudio 精简版, 一切安装成功之后, 发现访问 ip:8088 一直显示 403 forbidden, 一直以为是软件装的不对, 追个排查之后才发现是 nginx的问题,nginx的 配置他没写, 我们使用的是默认配置, 默认配置下 nginx 的程序用户是nginx用户, nginx 用户没有权限访问dss 的web资源.
nginx 报错日志:
2020/12/16 14:26:02 [error] 5951#0: *1 "/home/bank/dss]]></description><category></category></item><item><title><![CDATA[crontab识别不了python_path ,ModuleNotFoundError 的问题]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/108010320</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/108010320</guid><author>Apache_Jerry</author><pubDate>Fri, 14 Aug 2020 17:41:26 +0800</pubDate><description><![CDATA[crontab -e 编辑命令 执行python文件
结果crontab 找不到 python, 或者使用的不是我们用户的python,而是系统默认的python
步骤一:
这时我们可以手动指定 python, xxx/xxx/xx/ python3  python 文件 这样的方式

错误用例:
crontab -e
00 03 * * * python3 /home/youjun.wang/csv/mdl_online/run_model  &amp;&gt;/xx/xx/xx.log &amp;

正]]></description><category></category></item><item><title><![CDATA[配置简单的linux 的几个操作步骤（Cent OS）]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/82843654</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/82843654</guid><author>Apache_Jerry</author><pubDate>Thu, 21 May 2020 15:54:37 +0800</pubDate><description><![CDATA[vi  /etc/sysconfig/network-scripts/ifcfg-eth0   //修改网卡的配置文件


vi  /etc/hosts


vi  /etc/sysconfig/network


关闭IP防火墙
service iptables stop
chkconfig iptables off


配置谷歌的DNS服务器
vi  /etc/resolv.conf
在配...]]></description><category></category></item><item><title><![CDATA[自己 spark 优化心得]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/105538652</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/105538652</guid><author>Apache_Jerry</author><pubDate>Wed, 15 Apr 2020 16:45:12 +0800</pubDate><description><![CDATA[Spark 优化
资源调优
1. 阻塞间隔
有一个配置参数：spark.streaming.blockInterval，它的意思是每间隔多少秒后，Spark才把接收到的数据组成数据块存到Spark中。官网推荐的最小值是50ms，默认值200ms。假设实例化InputDStream时设置的Duration(batch interval)为1秒（1000ms），那么任务执行时，总共有 1000 / 2...]]></description><category></category></item><item><title><![CDATA[tldr no internet connection detected. Please reconnect and try again.]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/105538409</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/105538409</guid><author>Apache_Jerry</author><pubDate>Wed, 15 Apr 2020 16:37:29 +0800</pubDate><description><![CDATA[(base) wangyoujundeMacBook-Air:~ jerry$ tldr -h
usage: tldr [-h] [-u] [--download_cache] [-p PLATFORM] [-s SOURCE] [-c] [-r]

Python command line client for tldr

optional arguments:
  -h, --help     ...]]></description><category></category></item><item><title><![CDATA[Windows 桌面美化]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/105449180</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/105449180</guid><author>Apache_Jerry</author><pubDate>Sat, 11 Apr 2020 11:34:27 +0800</pubDate><description><![CDATA[大家都是程序员，我平时上班用mac，mac没啥想调整的，自己用的win想搞美化一点，就网上搜了不少东西。
这是我现在的桌面，桌面软件用的是wallpaper，stream18元有售。内部还有福利。。。。

我只保留了垃圾桶，清垃圾方便点，当然也可以删掉，但是比较麻烦，可以网上搜教程。

平时要找程序是这样找的, 就是将桌面上的快捷方式，右键 -&gt; 固定到开始屏幕

translucentDB...]]></description><category></category></item><item><title><![CDATA[Insert Overwrite 进行hive或impala小文件合并后 文件数量不是1]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/105448659</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/105448659</guid><author>Apache_Jerry</author><pubDate>Sat, 11 Apr 2020 11:11:26 +0800</pubDate><description><![CDATA[HDFS的表里面，按天分区，每个分区都有很多的小文件，长此以往必然会导致性能的下降。所以我们在保持原来的业务逻辑不变，增加每日跑批 来合并分区内的小文件。
刚开始我是直接Impala执行Insert overwrite ，想合并某一天分区内的4份文件, 发现分区内部的文件数还是4个，我就纳闷，以为我记错了 overwrite 的执行原理，然后使用Hive 进行 insert overwrite，结...]]></description><category></category></item><item><title><![CDATA[SparkStreaming 消费阿里云日志服务,出现消费中断的情况,跑着跑着就不消费了...]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/105439874</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/105439874</guid><author>Apache_Jerry</author><pubDate>Fri, 10 Apr 2020 18:54:51 +0800</pubDate><description><![CDATA[日志信息
WARN metadata.Hive: No partition is generated by dynamic partitioning

WriteAheadLogBasedStoreResult

Futures timed out after

这边是表在HDFS中的路径,可以看出,有数据时,会有.hive_stagexxxx 这样的文件, 无数据进来就没有,这时候Streami...]]></description><category></category></item><item><title><![CDATA[Superset 调研]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104769125</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104769125</guid><author>Apache_Jerry</author><pubDate>Tue, 10 Mar 2020 10:42:38 +0800</pubDate><description><![CDATA[Superset
1配置数据源
添加新的数据库连接
填写数据库信息
添加数据库成功
2配置数据源表
点击添加新表
填写表的基本信息，点击保存。
添加表成功
3使用SQL 编辑器进行数据查询
新建一个SQL 查询
在左边设置该查询连接的数据库信息，可以预览该库下的表数据
在SQL 编辑器里运行SQL语句，查询结果可以制作图表，导出为csv文件或者复制到剪贴板
4根据查询结果制作图表
点击图表类型，选...]]></description><category></category></item><item><title><![CDATA[Superset 二次开发环境搭建以及启动命令]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104768996</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104768996</guid><author>Apache_Jerry</author><pubDate>Tue, 10 Mar 2020 10:39:07 +0800</pubDate><description><![CDATA[搭建开发环境
参考文档
https://blog.youkuaiyun.com/jiongsui7605/article/details/92380661
启动开发环境
终端输入以下命令
在 assert 目录下运行 下面两个命令
npm run build
npm run dev

最后启动 flask 程序
flask run -p 8088 --with-threads --reload --debug...]]></description><category></category></item><item><title><![CDATA[sqoop import 命令常用参数]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104533104</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104533104</guid><author>Apache_Jerry</author><pubDate>Thu, 27 Feb 2020 11:43:42 +0800</pubDate><description><![CDATA[sqoop import 命令常用参数
表1.常用参数




参数
描述




--connect
指定JDBC连接字符串


--connection-manager
指定要使用的连接管理器类


--driver
手动指定要使用的JDBC驱动程序类


--hadoop-mapred-home
覆写$ HADOOP_MAPRED_HOME


--help
打印使用说明


--passw...]]></description><category></category></item><item><title><![CDATA[HDFS HA 两个NameNode 都是standby状态]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104500101</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104500101</guid><author>Apache_Jerry</author><pubDate>Tue, 25 Feb 2020 16:37:43 +0800</pubDate><description><![CDATA[HDFS HA 的两个NameNode 都是备用状态，怎么解决？
方法：
重启，不管用。。。。。。
查看日志，/var/log/ 里面的NameNode 日志，发现有这么一段
java.lang.IllegalArgumentException: 
Unable to determine service address for namenode 'namenode87'

我们继续到配置文件中找n...]]></description><category></category></item><item><title><![CDATA[Linux VIM 编辑常用命令]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104496894</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104496894</guid><author>Apache_Jerry</author><pubDate>Tue, 25 Feb 2020 14:23:03 +0800</pubDate><description><![CDATA[Linux vi/vim
所有的 Unix Like 系统都会内建 vi 文书编辑器，其他的文书编辑器则不一定会存在。
但是目前我们使用比较多的是 vim 编辑器。
vim 具有程序编辑的能力，可以主动的以字体颜色辨别语法的正确性，方便程序设计。
相关文章：史上最全Vim快捷键键位图 — 入门到进阶

什么是 vim？
Vim是从 vi 发展出来的一个文本编辑器。代码补完、编译及错误跳转等方便编程...]]></description><category></category></item><item><title><![CDATA[Linux 查看系统资源的命令（CPU,内存，磁盘，网络）]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104481181</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104481181</guid><author>Apache_Jerry</author><pubDate>Mon, 24 Feb 2020 17:17:30 +0800</pubDate><description><![CDATA[Linux 查看系统资源的命令
1. CPU
top 命令
命令 参数
d：指定更新的间隔，以秒计算。
q：没有任何延迟的更新。如果使用者有超级用户，则top命令将会以最高的优先序执行。
c：显示进程完整的路径与名称。
S：累积模式，会将己完成或消失的子行程的CPU时间累积起来。
s：安全模式。
i：不显示任何闲置(Idle)或无用(Zombie)的行程。
n：显示更新的次数，完成后将会退出top...]]></description><category></category></item><item><title><![CDATA[Impala 管理(准入控制)]]></title><link>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104006270</link><guid>https://blog.youkuaiyun.com/Apache_Jerry/article/details/104006270</guid><author>Apache_Jerry</author><pubDate>Thu, 16 Jan 2020 15:52:35 +0800</pubDate><description><![CDATA[Impala 管理(准入控制)
1. 准入控制和查询队列
​	准入控制是Impala 的一个功能，为的是避免对一个繁忙的CDH集群产生过多的内存压力。
​	准入控制是一个轻量级的去中心化的系统，它适用于负载主要是Impala查询的集群，它以软限制的方式去控制Impala 相对稳定的方式去使用内存，而不是要么执行要么取消的方式限制资源的使用。
​	但是准入控制并不像YARN 那样那么了解集群的整体负...]]></description><category></category></item></channel></rss>