
T
文章平均质量分 54
_txg
平凡,是为了最美的荡气回肠
展开
-
Yarn运行原理了解
YARN运行原理yarn的前世今生首先在hadoop1.0版本中,存在的最大问题就是资源管理的问题!随着技术的发展,人们已经不在满足hadoop集群中只使用mapreduce一个计算框架,人们更希望有一套合理的管理机制来控制整个集群的资源。在hadoop中启动yarn的命令: ./start-yarn.shRescoueceManager 是全局资源管理器NodeManager 是节点资源任务管理器我们可以理解成RM和NM就是YarnYarn的基本架构Yarn在总体设计思想原创 2020-06-04 15:15:38 · 671 阅读 · 0 评论 -
MaxWell 概述
MaxWell概述将mysql的binlog以json的形式输出到kafka,它的常见用例包括ETL,缓存建立/过期,指标收集,搜索索引和服务间通信json示例:mysql> update test.maxwell set daemon = 'firebus! firebus!' where id = 1; maxwell: { "database": "test", "table": "maxwell", "type": "update", .原创 2020-06-01 10:54:10 · 1084 阅读 · 0 评论 -
为什么kafka客户端需要配置 /etc/hosts文件
问题背景前段时间,遇到一个kafka集群部署在k8s中,而kafka客户端在另一个k8s集群的pod的容器中,kafka集群中配置的advertised_listeners便是hostname。然而当时我只知道kafka集群的ip地址,当在客户端直接使用ip操作broker的时候便报错无法解析一个hostname。当时不知道什么原因,只听同事说需要在kafka客户端对应的yaml文件中添加H...原创 2020-01-21 18:28:15 · 6846 阅读 · 2 评论 -
python--List
数据结构:List(列表) 编码方式: #-*- coding:utf-8 -*- 创建一个LIst list = [1,3,5,7,9] 使用index查询元素 list[1] = 3 修改元素 list[3] = 30 删除元素 del list[2]#python脚本语言 print(len([1,2,3原创 2018-01-23 15:42:15 · 220 阅读 · 0 评论 -
python-tuple and dictionary
元组(tuple)#一旦创建不可更改(和list的根本区别),不可以更改,不可以删除元素(可以删除tuple)List与Tuple的对比在tuple中只创建一个元素时需要加上都逗号消除歧义。例如:tuple = (2,)在tuple中可以包含List:例如:tuple = (1 , 2 , ['a' , 'b'] )注意:此时可以更改tuple中的Lis原创 2018-01-23 15:58:22 · 388 阅读 · 0 评论 -
python基础课题开发小游戏
'''Created on 2018年1月24日@author: Vision_TXG'''#导入tkinter库from tkinter import *import tkinter.simpledialog as dlimport tkinter.messagebox as mb #信息框#Tk()是tkinter自带的构造函数,主函数的显示框root = Tk()原创 2018-01-24 11:01:43 · 961 阅读 · 0 评论 -
python-面向对象基础
面向对象:实例化步骤 调用__new__()方法创建实例 __new__()自动从object继承 调用__init__()方法初始化 __init__()方法在类中定义 查看类说明 类名.__doc__ help(类名) 新式类与经典类 在py2中,默认是经典类,继承object为新式类 在py3中,统一为新式类 区别:经典类继承为深度优先,新世类继承为广度优原创 2018-01-24 20:56:11 · 216 阅读 · 0 评论 -
深刻理解Python中的元类(metaclass)
译注:这是一篇在Stack overflow上很热的帖子。提问者自称已经掌握了有关Python OOP编程中的各种概念,但始终觉得元类(metaclass)难以理解。他知道这肯定和自省有关,但仍然觉得不太明白,希望大家可以给出一些实际的例子和代码片段以帮助理解,以及在什么情况下需要进行元编程。于是e-satis同学给出了神一般的回复,该回复获得了985点的赞同点数,更有人评论说这段回复应该加入到P...转载 2018-04-10 13:29:54 · 157 阅读 · 0 评论 -
解释器全局锁(GIL)
原文的链接:点击打开链接本来是中文的翻译的,但是感觉不如英文表达更直观,所以就直接copy的原文,这样自己在以后阅读或者读者阅读的时候更方便。Python's Hardest ProblemFor more than a decade, no single issue has caused more frustration or curiosity for Python novices and e...转载 2018-04-12 15:43:16 · 335 阅读 · 0 评论 -
内存分配器(Memory Allocator)
原文链接 :https://yq.aliyun.com/articles/254033对于大多数开发者而言,系统的内存分配就是一个黑盒子,就是几个API的调用。有你就给我,没有我就想别的办法。来UC前,我就是这样认为的。实际深入进去时,才发现这个领域里也是百家争鸣,非常热闹。有操作系统层面的内存分配器(Memory Allocator),有应用程序层面的,有为实时系统设计的,有为服务程序设计...转载 2019-10-10 18:05:39 · 1259 阅读 · 0 评论 -
python基本数据类型
Numeric Types(数值型):int (包含boolean), float ,complex(复数)python的一大优点是包含了对复数的直接运算复数的运算:例如:e = complex(c,d)f = complex(a,b)h = e+f字符串(String)和变量(Variable)引号(单引号,双引号,三引号)在python原创 2018-01-23 15:29:53 · 252 阅读 · 0 评论 -
vim编辑器常见操作
vim编辑器 VIM支持多级撤销 VIM可以跨平台 VIM支持语法高亮 VIM支持界面操作 VIM编辑器的操作模式 Command Mode 命令模式 Insert Mode 输入模式 Last Line Mode 低行模式 底行模式常用指令:w 保存:q 退出:! 强制执行:ls 列出打开的文件:n 下翻打开的文件:N 上翻打开的文件...原创 2018-04-12 15:24:02 · 259 阅读 · 0 评论 -
Linux中管道符和通配符
多命令顺序执行 ; 命令1;命令2 && 命令1 && 命令2 命令1正确执行命令2才会执行 || 命令1 || 命令2 命令1不正确才会执行命令2 管道符 命令格式: 命令1 | 命令2 #命令1的结果传给命令2,命令2操作命令1的结果 通配符: ? 匹配一个任意字符 * 匹配0个或任意多个任意字符,也...原创 2018-04-12 15:22:53 · 890 阅读 · 0 评论 -
配置PyDev
在Eclipse里安装PyDev在Eclipse的菜单栏点击help->install New Software->add->(Name = PyDev,Location = http://www.pydev.org/updates)->OK 等加载完后,对PyDev打勾,进行下一步->next->next->finish->弹出对话框点击接受->继续安装 ->要求重新启原创 2018-01-22 21:21:05 · 287 阅读 · 0 评论 -
Linux磁盘管理命令
df查看磁盘分区使用情况 -l 仅显示本地磁盘(默认) -a 显示所有文件系统的磁盘使用情况, -h 以1024进制计算最合适的单位显示磁盘容量 -H 以1000进制计算最合适的单位显示磁盘容量 -T 显示磁盘分区类型 -t 显示指定类型文件系统的磁盘分区 -x 不显示指定类型文件系统的磁盘分区 du统计磁盘上的文件大小 -b 以byte为单位统计文件 -k ...原创 2018-04-14 09:19:53 · 175 阅读 · 0 评论 -
Linux和Windows的不同
Linux的字符界面严格区分大小写 1、Linux中所有的内容以文件形式保存,包括硬件(一切内容皆文件) 2、Linux不靠扩展名区分文件类型(靠权限来区分) 3、以下是约定俗称的扩展名(为了方便管理员的使用): 压缩包:"*.gz","*.bz2","*.tar.bz2","*.tgz"等 二进制软件包:"*.rpm" 网页文件:"*.html","*php" 脚本文件:"*.sh"原创 2018-01-19 13:17:26 · 347 阅读 · 0 评论 -
虚拟机中安装linux时常见的选择
//虚拟机的删除一般删不干净,一般用软件VMware_Install_Cleaner 虚拟机的使用: 虚拟机的两个小技巧: 快照(记录当前虚拟机的状态)、克隆(复制一个一样的虚拟机镜像) 1、网络配置的使用一般选择桥接 2、内存一般小于主机内存2GB 3、DVD使用选择链接和虚拟机位置 磁盘分区 磁盘分区是使用分区编辑器往磁盘上划分几个逻辑部分。碟片一旦划分成数个分区,不原创 2018-01-19 13:23:47 · 1800 阅读 · 0 评论 -
Xshell的远程的使用
Xshell的简介:https://baike.baidu.com/item/Xshell/5659054?fr=aladdin选择文件中的新建会打开新建会话属性:在名称一栏填写一个你喜欢的名称,然后将你要远程的Linux的ip地址填到主机那一栏,然后选择用户身份验证:填写该主机的用户名和密码,密码也可以不填写,等每次打开这个主机链接的时候填写,这样会更安全,然后点击确定刚才我选择默认的名称“新建原创 2018-01-19 13:45:10 · 326 阅读 · 0 评论 -
Linux常用命令
Linux命令常用命令 [root@localhost:~]命令提示符: root:当前登陆用户 localhost:主机名 ~:当前所在目录 #:超级用户提示符 $:普通用户提示符 命令格式: 命令 [选项] [参数] 注意:个别命令使用不遵循此格式,当有多个选项时,可以写在一起 简化选项与完整选项: 例如:-a等于--all 查原创 2018-01-19 14:10:25 · 223 阅读 · 0 评论 -
Linux常用命令(2)
压缩命令:常用压缩格式:.zip .gz .bz2 .tar.gz .tar.bz2.zip格式.zip格式压缩:(注意:这里的.zip格式和windows中的zip格式是一样的,该格式文件在两个系统中是通用的)zip 压缩文件名 源文件 #压缩文件zip -r 压缩文件名 源文件 #压缩目录 .zip格式解原创 2018-01-20 11:52:40 · 206 阅读 · 0 评论 -
Linux中setup配置ip
使用setup命令配置ip的时候出现的配置无效的现象: 先在文件/etc/sysconfig/network-scripts/ifcfg-eth0中修改ONBOOT=yes 然后再配置就可以了,配置完后执行service network restart启动一下网络 输入命令ifconfig就可以看到它的ip了...原创 2018-04-01 11:06:41 · 2200 阅读 · 0 评论 -
Linux基础命令
echo 输出命令echo [选项] [输出内容] 选项: -e 能够识别控制字符 显示显色:\e[1;31m...\e[0m \e[1 表示开启颜色显示 \e[0m 表示关闭颜色显示 31m 表示红色脚本执行 赋予执行权限,直接运行 chmod 755 hello.sh 关于755的解释: r=4,w=2,x=1 若要rwx属性则4+2+1=7; 若要rw-属性...原创 2018-04-10 13:31:32 · 180 阅读 · 0 评论 -
如果打开Eclipes时提示找不到Jre,配置Eclipes
将jre的javaw.exe文件路径配置到eclipse.ini里面, (1)用文本文档打开eclipse.ini(2)在openFile下面加上: -vm javaw,exe的文件路径(再jre中找到javaw.exe文件)原创 2018-01-22 21:16:05 · 840 阅读 · 0 评论