- 博客(17)
- 资源 (1)
- 收藏
- 关注
原创 POSTGRESQL远程连接报错: FATAL: no pg_hba.conf entry for host
POSTGRESQL远程连接报错: FATAL: no pg_hba.conf entry for host
2023-03-15 17:04:45
8948
1
原创 DolphinScheduler 资源中心创建目录或者文件失败
Apache DolphinScheduler 资源中心创建目录或者文件失败资源中心创建文件和修改文件会报错,提示 更新资源文件错误api-server报的错,查看日志:到hdfs上配置的resources路径(/dolphinscheduler/dolphinscheduler/resources)下查看资源,全部变成了只读模式。结合上面的报错信息,问题基本已经定位了。解决办法:修改临时资源文件的权限。chmod -R 777 /tmp/dolphinscheduler/dolphinsc
2022-07-01 17:27:16
5196
转载 Hive SQL主要开窗函数用法介绍
在开窗函数出现之前,存在着很多用 SQL 语句很难解决的问题,很多都要通过复杂的相关子查询或者存储过程来完成。为了解决这些问题,在2003年ISO SQL标准加入了开窗函数,开窗函数的使用使得这些经典的难题可以被轻松的解决。下面通过一些简单的需求示例介绍主要的开窗函数。本例的数据源:select * from wx_tmp1;需求1:要在源表中,增加两列,全国总的gmv和各城市的gmv占比。select *,sum(gmv) over() as all_gmv,gmv/sum(gmv) ove
2022-04-24 17:42:52
1650
原创 海豚调用kettle任务报错,提示Unable to get VFS File object for filename ‘plugins‘。
配置内容如下:运行任务报错:Unable to list jar files in plugin folder ‘plugins’Unable to get VFS File object for filename ‘plugins’ : Could not find file with URI “/opt/module/data-integration/plugins” because it is a relative path, and no base URI was provided.Cou
2022-04-01 15:45:44
2377
7
原创 海豚调度启停命令汇总
1.启动命令sh bin/start-all.sh2.停止命令sh bin/stop-all.sh3.启动停止mastersh ./bin/dolphinscheduler-daemon.sh start master-serversh ./bin/dolphinscheduler-daemon.sh stop master-server4.启动停止workersh ./bin/dolphinscheduler-daemon.sh start worker-serversh ./bin/d
2022-02-23 16:54:39
1743
原创 海豚启动报错,提示日志文件夹无权限
海豚启动报错一、出现的问题监控中心worker节点和master节点挂掉,Zookeeper 管理中节点通信正常。重新启动提示根据报错,下载日志文件sz /opt/module/dolphinscheduler/logs/dolphinscheduler-master-server-hadoop002.out主要报错信息为:Logging system failed to initialize using configuration from ‘classpath:logback-mast
2022-02-23 16:46:59
2739
原创 MySQL启动提示The server quit without updating PID file (/[失败]sqld/mysqld.pid).
mysql突然挂掉,重新启动提示The server quit without updating PID file首先 从 mysqld_safe 查看日志路径打开日志看到报错信息:2021-12-28T12:58:09.193497Z 0 [Note] Server socket created on IP: ‘0.0.0.0’.2021-12-28T12:58:09.194701Z 0 [ERROR] /usr/local/mysql/bin/mysqld: Can’t create/wri
2022-01-18 15:36:30
6060
原创 Dolphinscheduler配置Datax抽取数据
需求是从mysql增量抽取数据到postgresql练习了两种实现方式第一种:使用海豚自带datax组件实现第二种:在海豚里调用shell脚本实现,抽取配置写在shell脚本中shell脚本配置内容如下:下载地址:https://download.youkuaiyun.com/download/weixin_43025027/76460239{“job”: {“content”: [{“reader”: {“name”: “mysqlreader”,“parameter”: {“colum
2022-01-18 15:13:27
6523
原创 Kettle8.3新建数据库连接窗口打开错误 提示 XUL Definition
@Kettle8.3新建数据库连接窗口打开错误 提示 XUL DefinitionTOC下载Kettle 8.3,jdk安装的10,安装好,点击DB连接提示连接错误(图找不到了,搜了一下也没有)大概是 Error with …… XUL Definition ……网上百度到的,都是说jdk版本不对,有人换了jdk8就OK了看完也装了jdk8,结果还是提示这个错误翻了半天资料,一筹莫展...
2019-11-18 15:04:25
578
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人