- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Airflow docker版配置、部署
Airflow docker单机版配置、部署背景说明部署前提条件airflow docker镜像选型镜像代码拉取镜像编译配置airflow.cfg配置docker-compose-LocalExecutor.yml启动镜像查看镜像运行情况增加用户管理模块需要记录的坑背景说明近期，我负责的公司项目增加了大量的定时任务，维护的难度大量的增加，产生了开发一个监控平台的需求。鉴于公司的技术栈，最后选型...
2020-04-23 14:19:22
4218
原创 解决mac下源码编译ffmpeg，ffplay未编译成功问题
mac包管理工具：brew系统缺少sdl2，会导致fflpay无法编译成功，所以先安装sdl2brew install sdl2安装完成之后就开始编译就好了./configuremake && make install等待编译完成之后就有了...
2020-08-10 10:34:36
608
原创 hadoop分布式集群配置hbase数据库
注意： 之前的章节配置好了完全分布式hadoop集群，共有三台机器，master， slave01, slave02， 下面开始配置hbase首先说明一点，hbase是依赖于zookeeper的进行运行的，所以在部署hbase之前需要先进行部署zookeeper， 但是，hbase中自带了默认的zookeeper，如果不需要自己手动部署zookeeper 的话，可以选择hbase自...
2018-04-24 15:26:31
1061
原创 Hadoop异常 hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException
今天在做hadoop完全分布式任务测试的时候遇见了这种错误，发现Datanode节点找不到，但是去slave节点上看，已经启动了，后来才发现是slave节点防火墙没有关闭：防火墙有两种: 一种是centos默认的firewall防火墙 一种是iptables防火墙iptables我没有安装(iptables关掉是：servcie iptables stop 这是临时关...
2018-03-24 09:32:59
3146
原创 linux ssh免密登陆
现在有两台机器，(master)root@192.168.31.001和(slave)root@192.168.31.002, 想要从master上能直接免密登陆slave,需求定下来了，开始做： 1.第一步: <a>在master上运行命令： $ ssh-keygen -t dsa -P '' -f ~/.ssh...
2018-03-23 14:29:48
265
原创 Hadoop伪分布式模式安装
更新： 现在分享一个完全分布式的链接博客， http://blog.51cto.com/balich/2062052 感谢这位大神！-----------------------------------------------------------------------------------伪分布式：参考链接：http://gitbook.cn/books/5954c960...
2018-03-21 17:16:13
621
原创 centos7 设置默认图形界面启动
第一步 设置默认启动方式为graphical.target图形界面启动 打开终端， 运行命令systemctl get-default 查看默认启动方式是什么，如果显示multi-user.target， 说明是默认命令行启动，接着下一步 再运行命令 cat /etc/inittab 查看配置文件修改默认启动方式 输入命令： systemctl set-default gr...
2018-03-16 10:37:01
23889
2
原创 python将爬取到的时间与现在的时间做差
import timefrom datetime import datetimetimestamp = ['发布时间：2017-11-18']tp = timestamp[0].replace(' ', '').replace('\n', '').replace('\r', '')try: timestring = tp[-10:] timenumber = time.mktime(t...
2018-02-08 14:27:50
730
hadoop权威指南第三版中文pdf
2018-03-13
python常用库及最佳实践经典案例大全
2018-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人