- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 dolphinscheduler 二次开发 问题记录
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
2023-04-15 18:03:51
3516
10
原创 项目开发的 Docker 自动化部署解决方案
docker run -d -p 9000:9000 --restart=always -v /var/run/docker.sock:/var/run/docker.sock --name prtainer docker.io/portainer/portainer （启动命令 -v把docker的数据持久化）-v /etc/localtime:/etc/localtime 让容器使用和服务器同样的时间设置。这个是可以连接其他得服务器 也可以是本地的 ，在创建打包项目得时候这两个操作不一样。
2023-04-15 16:57:25
1481
转载 Hive On Spark报错
Hive On Spark环境中执行selectcount语句时候报错：Failedto execute spark task, with exception'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create sparkclient.)如图：报错完整信息是：hive> select coun...
2019-06-14 12:32:09
1720
原创 java 代码 操作sqoop api 转数据 到 hdfs 或者到hbase
这个问题折磨了我一周多了，今天解决完了 写篇博客记录下 ，希望帮到遇到和我一样问题的小伙伴！！！！！！！！！！！！首先 我们转数据用sqoop转数据的时候一般都是在安装好sqoop环境，用的sqoop的命令去转的数据，很少去写java代码去操作 我这个实现主要是为了通过我的项目去做这个操作！一般sqoop的命令是这样的sqoop import --connect jdbc:ora...
2019-06-11 12:32:51
803
2
原创 Python正则表达式
正则表达式在我们之前学习过的js语言中有过正则的表达式主要的作用是用来做的信息的验证，而我们现在的Python正则呢和js的类似，但是用法上还是有很大的区别的Python的正则在一后的大数据的处理方面 用到的还是比较多的什么是正则？正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。正则表达式的一些基本用法：import reline ...
2019-06-11 12:04:31
152
原创 zookeeper 连接不上一直重新连接的问题
首先我们要知道ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。我们搭建的组件 都会在zookeeper上进行注册 我们通过zookeeper就能访问到我们需要的组件，创建连接也是如此，当我们创建...
2019-06-11 12:01:56
5132
转载 Django入门
首先我们要创建一个项目:1.在python开发环境下载django的框架模块---》下载教程网上自己找2对比java框架学习更快速djangoproject: manage.py --- project admin tool application(model*,package*) install urls.py ---路由规
2017-11-15 18:08:47
279
原创 Python的网络编程
什么是网络编程？ 网络编程最主要的工作就是在发送端把信息通过规定好的协议进行组装包，在接收端按照规定好的协议把包进行解析，从而提取出对应的信息，达到通信的目的。 计算机与计算机之间的通信要解决那些问题？通信协议：通信协议就是指信息的交流方式常见的通信协议： tcp :TCP（Transmission Control Protocol 传输控制协议）
2017-11-03 15:05:37
394
原创 python的io 与java的io流的使用及对象的序列化
io的使用采用流技术：字节inputStream/outputStream字符reader/writer首先介绍的是java的io的使用方法 在下面的案例中d:/demo这些是你本地的路径，需要你自己去创建的public class Testio { public static void main(String[] args) { //输入输出选择
2017-10-08 10:51:23
1009
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人