- 博客(54)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 查看 Active NameNode 的服务 ID
在 Hadoop 的高可用性 (HA) 配置中，Active NameNode 的服务 ID 是一个在配置文件中定义的标识符，通常在 Hadoop 的 hdfs-site.xml 文件中进行设置。该服务 ID 用于标识不同的 NameNode 实例，以便进行故障转移和管理。此命令将显示 nn1 的状态，如果是 Active 则代表它是当前的 Active NameNode。可以使用以下命令获取集群状态，其中包含 Active 和 Standby NameNode 的信息。
2024-11-05 15:53:35
607
原创 ile “D:\tools\python\Lib\site-packages\pip\_internal\cli\base_command.py“, line 180, in exc_loggin
python安装module报错
2024-03-15 23:17:10
477
原创 pycharm交互式编程 python console
输入ipython进入ipython交互式编程。（3）IPython的安装和使用。（2）Python的交互式编程。
2024-02-23 09:17:49
932
原创 pycharm没有setuptools包、wheel包的解决措施（pycharm添加包的两种方式）
同理安装其他包如：wheel。运行如以下界面显示即可。
2024-02-22 15:48:06
1705
原创 Markdown编辑器官方说明
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + S
2024-01-18 16:07:15
801
原创 C语言结构体成绩排名
要求按照排名从高到低输出考生信息，包括名次 id 成绩 分数不同，按分数为序，即score大的在前，小的在后 分数相同，以id为序，即id小的在前，大的在后。：看成绩相同是否排名相同 成绩不同排名在第几就是第几。
2023-05-13 17:19:16
1334
转载 C语言-直接插入排序算法
本文链接：https://blog.youkuaiyun.com/weixin_63246064/article/details/122050587。
2023-05-12 10:25:37
90
原创 Spark on Yarn 查看日志及状态的命令
1、查看某个job的日志yarn logs -applicationId application_1515118561637_04392、查看某个job的状态yarn application -status application_1515118561637_04393、kill掉某个job（直接在UI界面或者是终端kill掉任务都是不对的，该任务可能还会继续执行下去，所以要用如下命令才算完全停止该job的执行）yarn application -kill application_15151185
2021-03-01 14:05:52
451
转载 Hive笔记之collect_list/collect_set（列转行）
原文出自：https://www.cnblogs.com/cc11001100/p/9043946.htmlHive中collect相关的函数有collect_list和collect_set。它们都是将分组中的某列转为一个数组返回，不同的是collect_list不去重而collect_set去重。做简单的实验加深理解，创建一张实验用表，存放用户每天点播视频的记录：12345create table t_visit_video (username string,video_name
2020-12-16 16:56:13
266
原创 Hive的Explain命令 （执行计划命令）
Hive的Explain命令，用于显示SQL查询的执行计划。Hive查询被转化成序列阶段（这是一个有向无环图）。这些阶段可能是mapper/reducer阶段，或者是Metastore或文件系统的操作，如移动和重命名的阶段。例子 hive> explain [extended] --加上关键字extended,则显示抽象语法树 > select * from student > cluster by age;1.查询的抽象语法树(
2020-11-07 10:18:23
600
原创 java.io.IOException: Connection reset by peer
Caused by: java.nio.channels.ClosedChannelExceptionjava.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcherImpl.read0(Native Method) at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) at sun.nio.ch.IOUtil.readIntoNativeBuff
2020-11-07 10:12:18
53798
1
原创 Linux编辑文件命令
1.进入文件 vim 文件名（vim test.txt）2.编辑完成之后，按ESC键 跳到命令模式（命令前面冒号是必要的）：:w 保存文件但不退出vi:w file 将修改另外保存到file中，不退出vi:w! 强制保存，不推出vi:wq 保存文件并退出vi:wq! 强制保存文件，并退出vi:q 不保存文件，退出vi:q! 不保存文件，强制退出vi:e! 放弃所有修改，从上次保存文件开始再编辑...
2020-10-27 09:44:34
178
原创 left join和left semi join的联系和区别
**转载:left join和left semi join的联系和区别**1、联系他们都是 hive join 方式的一种，join on 属于 common join（shuffle join/reduce join），而 left semi join 则属于 map join（broadcast join）的一种变体，从名字可以看出他们的实现原理有差异。2、区别（1）Semi Join，也叫半连接，是从分布式数据库中借鉴过来的方法。它的产生动机是：对于reduce side join，跨
2020-10-26 13:47:34
1588
原创 在spark 中获取时间
在spark 中获取时间用到java.util.{Calendar,Date} 以及java.text.SimpleDateFormat来对时间输出格式作规范首先先导入包import java.text.SimpleDateFormatimport java.util.{Calendar, Date}获取当前时间def getNowTime(): String = {//实例化一个Date对象并且获取时间戳val time = new Date().getTime//设置时间格式val f
2020-10-14 16:04:27
1921
原创 齐治堡垒机
一、基本信息参考：https://www.cnvd.org.cn/flaw/show/1559039补丁信息：该漏洞的修复补丁已于2019年4月1日发布。如果客户尚未修复该补丁，可联系齐治科技的技术支持人员获得具体帮助。二、漏洞挖掘过程这是我第一次接触运维堡垒机，通过堡垒机登录目标服务器/应用，就像在本地直接打开一样，觉得很神奇。1、挖掘过程首先，在安装齐治运维堡垒机客户端软件ShtermClient后，会在计算机上注册一个伪协议“shterm”。堡垒机正是通过该协议，调用本地程序打开了连接到堡
2020-10-14 09:25:20
9070
原创 Spark-SQL 内置函数之时间日期类
转载请注明转自：http://www.cnblogs.com/feiyumo/p/8760846.html一、获取当前时间1.current_date获取当前日期2018-04-092.current_timestamp/now()获取当前时间2018-04-09 15:20:49.247二、从日期时间中提取字段1.year,month,day/dayofmonth,hour,minute,secondExamples:SELECT day(‘2009-07-30’);302.day
2020-10-13 17:34:46
468
原创 hive表结构信息
转自网友的，主要是自己备份下 有时候不记得！问题导读：1.如何查看hive表结构？2.如何查看表结构信息？3.如何查看分区信息？4.哪个命令可以模糊搜索表1.hive模糊搜索表show tables like ‘name’;2.查看表结构信息desc formatted table_name;desc table_name;3.查看分区信息show partitions table_name;4.根据分区查询数据select table_coulm from table_name
2020-07-22 16:42:16
393
原创 自定义udf函数的使用
自定义udf函数的使用新建df1 和 df2 两个数据源，指定数据源的中的列名和列的类型。用相同列“chanel_id”做关联，进行join outer查询, 在select取值的时候，用自定义的udf函数(get_channel_id)，取两个表中不为空的“channel_id”作为结果集的数据。用fillna 替换结果集中的null值from pyspark.sql.functions import udfdf1 = spark.createDataFrame([(‘baidu’, 1001),
2020-07-01 17:06:03
785
原创 substr函数或者substring函数。
开发中，经常进行模糊查询或者进行截取字符串进行模糊匹配，常用的就是substr函数或者substring函数。使用语法: substr(string A, int start),substring(string A, int start) 两者用法一样,两个参数返回值: string说明：返回字符串A从start位置到结尾的字符串举例演示：hive> select substr(‘abcde’,3) fromlxw_dual;cdehive> select substring(‘a
2020-07-01 16:23:17
1664
原创 spark sql substr函数
开发中，经常进行模糊查询或者进行截取字符串进行模糊匹配，常用的就是substr函数或者substring函数。使用语法: substr(string A, int start),substring(string A, int start) 两者用法一样,两个参数 返回值: string 说明：返回字符串A从start位置到结尾的字符串123举例演示：spark.sql(“select substring(‘abcdeffff’,3) from data1”).sh
2020-07-01 16:11:52
2826
原创 Hive substr 函数截取字符串
开发中，经常进行模糊查询或者进行截取字符串进行模糊匹配，常用的就是substr函数或者substring函数。使用语法: substr(string A, int start),substring(string A, int start) 两者用法一样,两个参数 返回值: string 说明：返回字符串A从start位置到结尾的字符串举例： hive> select substr('abcde',3) fromlxw_dual;
2020-07-01 16:09:32
4008
原创 字符串处理func_split，func_split_TotalLength
CREATE FUNCTION func_split(f_string text character set utf8 ,f_delimiter varchar(5),f_order int)RETURNS varchar(9999)BEGINDECLARE result VARCHAR(9999) character set utf8 default ‘’;set result=REVERSE(SUBSTRING_INDEX(REVERSE(SUBSTRING_INDEX(f_string,f_
2020-07-01 16:08:02
510
2
原创 Error contacting service. It is probably not running.报错解决
nohup: 无法运行命令"/usr/bin/java": 没有那个文件或目录./zkServer.sh start2jps没有QuorumPeerMain进程./zkServer.sh statusJMX enabled by defaultUsing config: /home/wdz/hadoopProperties/zookeeper-3.4.6/bin/../conf...
2020-05-13 07:16:29
1182
原创 start-yarn.sh启动不了
所有启动脚本都在nn节点上，start-dfs.sh 启动，错误如下：解决：错误显示:hadoop103上没有/opt/module/hadoop-2.7.2/sbin/hadoop-daemon.sh这个目录去检查发现，没有sbin这个目录原因：分发的时候，没有分发hadoop-2.7.2目录重新分发hadoop-2.7.2目录即可...
2020-05-13 07:16:16
2645
原创 replication factor:2 larger than available bokers:1(两个副本只有一个节点)
错误信息：A broker is already registered on the path /brokers/ids/0. `This probably indicates that you either have configured a brokerid that is already in use, or else you have shutdown this broker an...
2020-05-13 07:16:03
820
原创 卸载mysql
a卸载安装的MySQL*** 注意：一定要卸载干净相关的文件①[atguigu@hadoop103 mysql-libs]$ sudo find / -name mysql/opt/software/mysql/usr/bin/mysql/usr/share/mysql/usr/lib64/mysql/var/lock/subsys/mysql/var/lib/mysql/...
2020-05-13 07:15:40
245
原创 ERROR! MySQL server PID file could not be found!
sudo service mysql stop ERROR! MySQL server PID file could not be found!sudo service mysql status ERROR! MySQL is running but PID file could not be found解决：1.正常按顺序关闭集群进程2.重启该节点的虚拟机3.sudo ser...
2020-05-13 07:15:23
572
原创 Flume日志采集步骤
**Flume日志采集步骤**①配置jobs/taildir_kafka.conf文件②写拦截器代码，导入jar包到flume的lib下③分发flume④kafka创建topic_starttopic_event⑤flume生成数据⑥第5步骤会将生成的数据写进kafka中，消费一下测试是否成功...
2020-05-13 07:15:06
1194
maven依赖管理 继承管理
2019-12-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人