<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[学海无涯的博客]]></title><description><![CDATA[做一行，学一行，懂一行，爱一行...]]></description><link>https://blog.youkuaiyun.com/qq_43147136</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_43147136]]></copyright><item><title><![CDATA[分布式任务调度平台DolphinScheduler]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/125987479</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/125987479</guid><author>qq_43147136</author><pubDate>Tue, 26 Jul 2022 11:27:02 +0800</pubDate><description><![CDATA[ApacheDolphinScheduler是一个新一代分布式大数据工作流任务调度系统，致力于“解决大数据任务之间错综复杂的依赖关系，整个数据处理开箱即用”。它以DAG(有向无环图)的方式将任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。.....................]]></description><category></category></item><item><title><![CDATA[不同场景下集群环境时间同步问题]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/122304120</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/122304120</guid><author>qq_43147136</author><pubDate>Tue, 04 Jan 2022 15:42:55 +0800</pubDate><description><![CDATA[1.场景介绍
比如说我现在项目部署在若干的服务器上面，然后构成整个集群，如果我们每台服务器的时间不一致，我们在业务代码里面拿到的时间也就不一致，这时候不管我们往数据库插入数据的create_time 还是修改数据update_time 还是我们使用时间计算，定时任务等等都会发生错乱，造成数据错乱，所以我们需要对集群下的服务器时间进行同步。
我们对时间同步分为两种情况，一是所有的服务都能连接外网，二就是有一台服务器能够连接外网，其余服务器能够与这台机器内网通信
2. 服务器均能连接外网
所有机器都能够访问外网]]></description><category></category></item><item><title><![CDATA[Office破解excel的代码不适用于WPS]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/107997046</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/107997046</guid><author>qq_43147136</author><pubDate>Fri, 14 Aug 2020 09:17:10 +0800</pubDate><description><![CDATA[破解三部曲
1、第一步
打开一个空白文档，按 Alt+F11，进入到Office代码模式



效果如下：


2、第二步

3、第三步
运行完代码后，密码会在弹窗显示。


]]></description><category></category></item><item><title><![CDATA[启动HBase抛出org.apache.hadoop.hbase.ClockOutOfSyncException异常]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/105504632</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/105504632</guid><author>qq_43147136</author><pubDate>Tue, 14 Apr 2020 09:19:04 +0800</pubDate><description><![CDATA[错误详情：
org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException:
 Server host-31,16020,1515048380697 has been rejected; Reported time is too far out of sync with...]]></description><category></category></item><item><title><![CDATA[ntpdate解决同步时间报错 the NTP socket is in use, exiting]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/105504314</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/105504314</guid><author>qq_43147136</author><pubDate>Tue, 14 Apr 2020 09:15:26 +0800</pubDate><description><![CDATA[在HBase启动服务前首先查看集群时间是否同步

《第一步》
检查是否安装ntpd，ntpdate服务
命令为：rpm -qa | grep ntp   rpm -qa | grep ntpdate

《第二步》
如果没有安装上述服务，则使用命令安装
命令为：yum install -y ntp   yum install -y ntpdate

《第三步》
启动ntpd服务，同步网络时间
ser...]]></description><category></category></item><item><title><![CDATA[Nginx+OBS+rtmp+VLC实现视频直播网站]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/104192738</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/104192738</guid><author>qq_43147136</author><pubDate>Thu, 06 Feb 2020 11:51:48 +0800</pubDate><description><![CDATA[背景
本文使用的流媒体服务器的搭建是基于rtmp（Real Time Message Protocol）协议的，rtmp协议是应用层的协议，要依靠底层的传输层协议，比如tcp协议来保证信息传输的可靠性。最后提供了一个不错的测试方案。

流媒体服务器依赖的服务，1.nginx 服务器；2.nginx服务器安装需要依赖的服务 OpenSSL、pcre、zlib、 c++、gcc等。

服务器环境是Ce...]]></description><category></category></item><item><title><![CDATA[Java和大数据的区别]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/102567877</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/102567877</guid><author>qq_43147136</author><pubDate>Tue, 15 Oct 2019 15:30:48 +0800</pubDate><description><![CDATA[1架构层面：
javaee：三层架构 表现层（web）业务层（service）持久层（dao）
大数据：围绕数据 数据采集 --数据存储–数据计算（分析）–数据展示
2.技术层面：
javaee：成熟 解决方案多 技术点集中
大数据：相对年轻 迭代更新快 解决方案相对少 技术相当繁琐 杂 /碎
3.开发层面：
javaee：代码量很大 偏向业务 运维等任务较少 固定搭配 习惯用法较多
大数据：代码...]]></description><category></category></item><item><title><![CDATA[数据分析系统的流程图及架构图]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/99712767</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/99712767</guid><author>qq_43147136</author><pubDate>Mon, 19 Aug 2019 10:27:03 +0800</pubDate><description><![CDATA[1、大数据平台网站日志分析系统，项目技术架构图：

2、大数据平台网站日志分析系统，流程图解析，整体流程如下：

ETL即Hive查询的sql；
但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统BI完全不同：
1）数据采集：定制开发采集程序，或使用开源框架Flume
2）数据预处理：定制开发mapreduce程序运行于hadoop集群
3）数据仓库技术：基于hadoop...]]></description><category></category></item><item><title><![CDATA[LNMP环境的服务器重启后网站无法访问]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/99682237</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/99682237</guid><author>qq_43147136</author><pubDate>Fri, 16 Aug 2019 17:22:39 +0800</pubDate><description><![CDATA[原因：MySQL数据库测试不成功或者Nginx服务未设置重启。
最终原因定位为Nginx服务未运行，未设置服务器重启后服务自启。
解决办法:
在/etc/init.d下创建文件nginx
vim /etc/init.d/nginx

文件内容如下：
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chk...]]></description><category></category></item><item><title><![CDATA[Linux系统MySQL初始化后运行报错]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/99583898</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/99583898</guid><author>qq_43147136</author><pubDate>Wed, 14 Aug 2019 16:51:29 +0800</pubDate><description><![CDATA[问题过程：
初始化数据库:
./mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
运行该命令后若出现的报错如下(阿里云CentOS7)：
error while loading shared libraries: libaio.so.1: cannot open s...]]></description><category></category></item><item><title><![CDATA[Spark onYarn集群模式搭建]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/96873208</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/96873208</guid><author>qq_43147136</author><pubDate>Mon, 22 Jul 2019 16:54:45 +0800</pubDate><description><![CDATA[转载此博主https://blog.youkuaiyun.com/qq_21439395/article/details/80678372

]]></description><category></category></item><item><title><![CDATA[Windows系统tomcat服务startup.bat开机自动后台启动]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/96424481</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/96424481</guid><author>qq_43147136</author><pubDate>Thu, 18 Jul 2019 10:16:08 +0800</pubDate><description><![CDATA[一万匹马在奔腾，本机装了tomcat8，再装tomcat9设置为自动启动，程序开了机就报错，memory leak…jdbc没有注册错误，网上都是扯淡回答。
附一个百度经验的方法，停了以前服务里面的tomcat8，设置为手动，注册现有tomcat9为自动。完成!

...]]></description><category></category></item><item><title><![CDATA[Kylin深入前对多维分析技术概念的理解]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/92806270</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/92806270</guid><author>qq_43147136</author><pubDate>Wed, 19 Jun 2019 10:27:23 +0800</pubDate><description><![CDATA[一、数据仓库
1.数据仓库是面向主题的；数据仓库是集成的，数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出来，进行加工与集成，统一与综合之后才能进入数据仓库；
2.数据仓库是不可更新的，数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询；
3.建设步骤：
收集和分析业务需求——建立数据模型和数据仓库的物理设计——定义数据源——定义数据源——从操作型数据库中抽取、净...]]></description><category></category></item><item><title><![CDATA[hive建立内外部表关联HDFS文件]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/91866622</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/91866622</guid><author>qq_43147136</author><pubDate>Thu, 13 Jun 2019 15:31:15 +0800</pubDate><description><![CDATA[参考此博主文章：https://www.cnblogs.com/fefjay/p/6044474.html
一、关于Hive的insert into 和 insert overwrite与数据分区
1》数据分区：数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表...]]></description><category></category></item><item><title><![CDATA[SQOOP在Hbase与MySQL互导的替代方案]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/91383238</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/91383238</guid><author>qq_43147136</author><pubDate>Mon, 10 Jun 2019 16:29:35 +0800</pubDate><description><![CDATA[参照贵博主https://www.jianshu.com/p/3be96085660b

]]></description><category></category></item><item><title><![CDATA[遇到kylin往hdfs写数据权限问题]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/90905513</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/90905513</guid><author>qq_43147136</author><pubDate>Wed, 05 Jun 2019 17:06:35 +0800</pubDate><description><![CDATA[问题：Caused by：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user/root/.hiveJars":hdfs:hdfs:drwxr-xr-x
解决办...]]></description><category></category></item><item><title><![CDATA[Linux配系统置多台服务器系统时间一致（亲测有效）]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/90233968</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/90233968</guid><author>qq_43147136</author><pubDate>Wed, 15 May 2019 13:03:24 +0800</pubDate><description><![CDATA[1.设置服务器A为时间服务器
vim  /etc/ntp.conf
#最后一行加入下面一行，保存退出

server 127.127.1.0

#重启时间服务器

service ntpd restart

2.B服务器同步A服务器的时间
[root@bak-thinkee ~]# systemctl stop ntpd.service 
Shutting down ntpd:          ...]]></description><category></category></item><item><title><![CDATA[Kylin在Ambari中运行示例的时候报错]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/90211140</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/90211140</guid><author>qq_43147136</author><pubDate>Tue, 14 May 2019 17:27:46 +0800</pubDate><description><![CDATA[新搭建好的ambari集群，然后发现hive启动失败，我也是醉了，报错如下
WARNING: Use “yarn jar” to launch YARN applications.
Logging initialized using configuration in file:/etc/hive/2.4.0.0-169/0/hive-log4j.properties
Exception in th...]]></description><category></category></item><item><title><![CDATA[BUG: soft lockup - CPU#0 stuck for s!]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/90204117</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/90204117</guid><author>qq_43147136</author><pubDate>Tue, 14 May 2019 13:04:14 +0800</pubDate><description><![CDATA[目前看来就是内核中有死循环！
解决BUG: soft lockup - CPU#0 stuck for 61s!问题
1 在网上看到很多软死锁的问题，经过对自己程序的理解，结合网上一些相关资料，基本上可以确定是由于内核bug造成的，这个问题基本上在内核模块加载或者卸载的时候发生，对我的模块而言，每次卸载时候发生，其他一切情况均正常，而且在2.6.28和3.0.0内核下均有问题。
2 问题描述：
2...]]></description><category></category></item><item><title><![CDATA[HDP2.6.3.0+Ambari2.6.1大数据平台]]></title><link>https://blog.youkuaiyun.com/qq_43147136/article/details/90032153</link><guid>https://blog.youkuaiyun.com/qq_43147136/article/details/90032153</guid><author>qq_43147136</author><pubDate>Thu, 09 May 2019 14:05:11 +0800</pubDate><description><![CDATA[一、配置流程
http://www.cnblogs.com/zhang-ke/p/8944240.html
参照此博主的博客搭建，本人是3台虚拟机，按要求配置好hostname以及hosts，ssh等基础工作。1、虚拟机配置为：4核8G（定义为低配，有条件的多加还是比较好）
2、在主服务器上配置HDP的压缩包，从服务器上部署Mysql或者Maria数据库，也可以不配置，默认选择HDP的Postgr...]]></description><category></category></item></channel></rss>