- 博客(23)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 HDFS DataNode
DataNode工作机制（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。（4）集群运行中可
2022-03-12 19:40:44
285
原创 HDFS NameNode 和 Secondary NameNode 流程解析
NameNode 和 Secondary NameNode 流程解析1）第一阶段：NameNode启动（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）NameNode记录操作日志，更新滚动日志。（4）NameNode在内存中对元数据进行增删改。2）第二阶段：Secondary NameNode工作（1）Secondary NameNode询问NameNode是否需要
2022-03-12 19:13:37
541
原创 mysql 两张表并列合并（多列数据拉链合并）
mysql 两张表并列合并需求背景处理方式需求背景现有两张表SELECT * FROM `tb_1`;+----+------+| id | name |+----+------+| 1 | 小赤 || 2 | 小橙 || 3 | 小黄 || 4 | 小绿 || 5 | 小青 || 6 | 小蓝 || 7 | 小紫 |+----+------+SELECT * FROM `tb_2`;+-----+| age |+-----+| 14 || 16
2020-06-29 11:22:01
4143
1
原创 Python3 & pip3 安装文档
安装 Python3安装准备# 创建安装目录$ sudo mkdir /usr/local/python3# 下载 Python源文件$ wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tgz# 解压缩$ tar -zxf Python-3.6.8.tgz# 进入解压目录$ cd Python-3.6.8...
2019-05-17 15:42:58
537
原创 redash安装教程 使用构建Docker镜像的方式搭建redash服务
尝试过使用以 docker-compose.production.yml 为核心拉取已构建好的redash服务镜像，但服务正常启动后，出现sql查询没有任何响应的问题，暂时没有找到解决办法。索性不再使用已有镜像，改用redash官方资源包自己构建镜像，目前使用一切正常。网上资源较少，踩了不少坑，这里整合出来分享给大家。1. 前置环境dockerdocker-composenodejs...
2019-05-09 10:56:18
10832
5
原创 Docker 常用操作
Docker Commands常用操作搜索docker仓库docker search [OPTIONS] TERM下载镜像docker pull [OPTIONS] IMAGE[:TAG]将本地的镜像上传到镜像仓库,要先登陆到镜像仓库docker push [OPTIONS] NAME[:TAG]登陆/登出Docker镜像仓库docker login/logout [OPTION...
2019-05-08 17:24:34
356
原创 Docker run 启动容器
使用docker run [OPTIONS] IMAGE [COMMAND] [ARG...]选项名称描述-a指定标准输入输出内容类型，可选 STDIN/STDOUT/STDERR 三项 详情-w指定容器的工作目录-c指定容器CPU权重, 在CPU共享场景使用-m指定容器的内存上限-d后台运行容器，并返回容器ID 详情-p端口映...
2019-05-08 17:23:20
6476
1
原创 Docker 容器互访
Docker容器互访有三种方式一、虚拟ip直接访问这种方式必须知道每个容器的ip，在实际使用中并不实用二、link后创建的容器可以连接先创建的容器，但先创建的容器无法连接后创建的容器，使用不方便三、bridge网络不用顾虑ip是否变动，只要连接到docker内部的bridge网络即可互访，bridge也可以创建多个，隔离在不同的网段。创建Bridge网络创建桥接网络docker...
2019-05-08 17:22:49
686
原创 Docker Pull 下载镜像
Docker Pull Document使用docker pull [选项] [仓库/]name[:版本|@digest]版本默认使用 :latest选项名称默认描述--all-tags,a下载仓库所有镜像--disable-content-trusttrue跳过镜像校验--platform设置镜像所属平台, 如果有多个镜像服务....
2019-05-08 17:22:15
2598
1
原创 Docker 创建私有仓库
使用registry快速创建私有镜像仓库Docker Registry Document使用docker下载registry镜像[root@VM_32_161_centos ~]# docker pull registry:2.0Trying to pull repository docker.io/library/registry ...sha256:3cac1869696e4ff34...
2019-05-08 17:21:44
241
原创 Docker 安装
更新yum源yum update下载安装dockeryum -y install docker-io查看是否安装成功docker -v配置国内镜像echo "OPTIONS='--registry-mirror=https://mirror.ccs.tencentyun.com'" >> /etc/sysconfig/docker启动dockerservice doc...
2019-05-08 17:20:57
237
原创 yum 安装指定版本Docker
添加docker-ce仓库查看yum源，发现并没有docker-ce仓库[root@VM_32_167_centos ~]# ll /etc/yum.repos.d/total 48-rw-r--r-- 1 root root 614 Mar 22 11:04 CentOS-Base.repo-rw-r--r-- 1 root root 1309 Nov 23 21:16 CentOS...
2019-05-08 15:02:35
9170
原创 python3 获取文件的上一级目录
获取文件的上一级目录parent_dir = os.path.dirname(os.path.dirname(os.path.realpath(__file__)))
2018-10-13 10:51:43
2589
转载 python3 循环语句的break与else的灵活运用
break 语句和 C 中的类似，用于跳出最近的一级 for 或 while 循环。循环可以有一个 else 子句；它在循环迭代完整个列表（对于 for ）或执行条件为 false （对于 while ）时执行，但循环被 break 中止的情况下不会执行。以下搜索素数的示例程序演示了这个子句:>>> for n in range(2, 10):... for x i...
2018-10-13 10:36:20
581
原创 python3 实用数据结构defaultdict
By cn.Dixon使用自带默认值的字典 defaultdict若使用dict()直接操作不存在的key_dict = dict()_dict['a'] += 1 # KeyError: 'a'此时为了省去 _dict[‘a’] = int() 设置默认值的步骤, 可以使用defaultdictfrom collections import defaultdictdf_...
2018-09-19 17:13:55
736
原创 python3 计算字符串、文件md5值
By cn.Dixon字符串md5值import hashlibdef md5_convert(string): """ 计算字符串md5值 :param string: 输入字符串 :return: 字符串md5 """ m = hashlib.md5() m.update(string.encode())
2018-09-19 16:55:34
8657
原创 python3 ConfigParser字符串格式化
By cn.Dixon配置文件： config.ini使用 %( )s 将字符串映射到变量[mysql]host = 172.0.0.1port = 6379db = defaultuser = rootpassword = rootjdbc_url = jdbc:mysql://%(host)s:%(port)s/%(db)s?user=%(user)s&passw...
2018-09-19 16:46:10
1162
原创 python3 re模块 正则
By cn.Dixon字符串保留指定内容import redef remove_specific_symbol(string): """ 保留大小写英文、数字、汉字以及单双引号 :param string: 输入字符串 :return: 输出字符串 """ rule = re.compile(u"
2018-09-19 15:45:18
247
原创 python3 时间工具类
By cn.Dixon获取指定时间间隔指定格式的时间字符串from datetime import datetime, timedeltadef get_date_str(time_delta: int = 0, str_format: str = '%Y%m%d'): """ 获取日期字符串 :param time_delta: 时间间隔(天) :pa...
2018-09-19 15:37:30
1039
原创 python3 Mysql事务框架
mysql 事务框架import pymysqlimport loggingclass MysqlHandler: """ Mysql事务框架 """ # 创建mysql客户端连接 __mysql_client = pymysql.connect('mysql_host', 'mysql_user', 'mysql_passwo
2018-09-18 14:01:35
1150
原创 python3 RSA算法生成秘钥对、文件加密解密
RSA文件加密解密生成秘钥对文件加密文件解密生成秘钥对 @staticmethod def create_rsa_keys(code='nooneknows'): # 生成 2048 位的 RSA 密钥 key = RSA.generate(2048) encrypted_key = key.exportKey(passphrase...
2018-09-18 12:13:33
3738
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人