sunzhenzhencomeon的博客

转载 从Nacos配置中心读取配置信息

从Nacos配置中心读取配置信息 - NemoWang - 博客园

翻译 6种微服务RPC框架

6种微服务RPC框架，你知道几个？ - 程序员大本营

转载 MQ问题总结

MQ问题总结 - 简书

转载 ThreadLocal的内存泄露

ThreadLocal的内存泄露？什么原因？如何避免？ - 知乎

转载 volatile详解

Java并发编程：volatile关键字解析 - Matrix海子 - 博客园

原创 眼看“疫情”快要结束了，马上要复工了，有几句感慨的话要说

下周一要去上班了，去年9月份休的产假，本以为年后初七要上班了，谁知道赶上了“疫情”，在家休息了大半个月。好久没上班了，心里有点不情愿啊，还好到时候休哺乳假可以早点回家。加油，出门戴口罩，自己带饭，自驾，走楼梯，不接触公共物品，勤洗手，不去人多的地方。还好熬过来了，看到了疫情在多地已经得到了控制，还有武汉一天确认一千多号人，死亡一百多人，每个数字后面都是一条条鲜活的生命，在生命的关键时刻不是...

转载 什么是静态工厂模式

http://blog.163.com/zhuowh2006@126/blog/static/10182372420133220511247/

转载 R学习

什么是因子？http://blog.sina.com.cn/s/blog_59f8748e01011in6.htmlR中的函数？http://bbs.pinggu.org/thread-4126063-1-1.html

转载 R补充

R语言中 的rnorm()函数rnorm(n, mean = 0, sd = 1)n 为产生随机值个数（长度），mean 是平均数， sd 是标准差 。使用该函数的时候后，一般要赋予它 3个值.rnorm（） 函数会随机正态分布，然后随机抽样 或者取值 n 次，>rnorm（5，0,1） 以N（0,1）的正态分布，分别列出

转载 文件默认权限

默认权限：初始权限windows中文件是从上级目录继承过来的。linux中创建文件和目录权限没关系。是通过umask值决定的。文件默认不能建立为执行权限，防止被攻击。文件默认最大权限666 换算成字母 在减去umask,就是创建的默认权限。也可以理解做与&运算。修改环境变量配置文件，可以永久生效。umask是临时生效

转载 权限修改命令

1.修改文件所有者chown 用户名 文件名某一个用户对文件有7权限，最好的办法是把文件所有者改为该用户。添加用户组：linux中添加用户会默认建立用户组

转载 Linux文件基本权限

权限对文件的权限：对文件有读权限，表示可以查看里面的内容。对文件有写权限，表示对文件里内容可以修改但是不能删除文件本身，原因是我对文件有写权限，我修改的是它下一级的数据，而文件是上一级目录的数据，我对目录有写权限才能删除文件的文件名。换句话说，数据是文件里的内容，文件名是目录里的内容，分区的时候划分成一个一个的存储空间，这个存储空间叫数据块，文件有自己的数据库，目录也有自己的数

转载 Shell基础-管道符

逻辑;顺序执行，不管前面有没有报错，后续的命令都执行逻辑&&前一个命令正确执行，则后一个执行，前一个执行错误，后一个不执行逻辑||  前一个正确执行则后一个不执行，前一个执行不正确，后一个执行。、例如 ls && echo yes || echo no可以检测命令是否正确执行管道符，可以让命令1的输出结构，作为命令2的输入,命令2一定要能操作命令1的输出否则会报错。例如

转载 shell基础-输出重定向

文件描述符：0 1 2代表键盘 显示器 显示器输出重定向：把输出到屏幕的内容输出到指定文件中。注意：标准输出重定向大于号和文件之前可以有空格。错误重定向大于号两侧不能有空格。正确和错误同时输出重定向至文件：命令 >> 文件 2>&1或者：命令 &>> 文件ls &>/dev/null   把输出丢弃。把输入正确的和错误的分开保存：命令 >> 文件一 2>>文件二wc回车

转载 Shell历史命令

1.历史命令history：输出的是我上次.bash_history保存下来的和我这次输入的命令。历史命令实际保存在用户家目录下的文件中：~/.bash_history打开该文件：cat .bash_history，这里面保存的是我上次登陆正确注销后保存的命令。这次登陆正确退出的时候才会把命令同步到.bash_history中。所以用history输出的命令比.bash_his

原创 Hadoop入门和大数据应用

网址：http://edu.youkuaiyun.com/course/detail/1386欢迎大家分享

转载 Bash的基本功能-命名别名与快捷键

什么是别名？用别名有什么好处？用别名主要是为了适应用户的使用习惯。alias可以查看系统中的别名如何设定别名 alias vi='vim'  这样在敲vi的时候其实执行的是vim.不过这是临时生效，重启计算机后就无效了。为了永久生效，就要写入环境变量配置文件区别用命令行：alias vi='vim'临时生效用配置文件：vi ~/.bashrc 里添加vi='vim' 保存退

转载 Shell脚本执行方式

1.echo输出命令echo [选项] [输出内容]选项：-e:支持反斜线控制的字符转换什么是ASCII码表？字符数字按照ascII码表翻译成机器语言，才能被机器认识。echo -e "\x68\t\x65\t\x6c\n\x6c\t\x6f\t"输出的是:h e ll o 输出红色：echo -e "\e[1;31m 这里显示红色的字 \e

转载 Shell基础

1.Shell是什么？Shell是一个命令行解释器，它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序，Shell还是一个功能相当强大的编程语言，易编写，易调试，灵活性较强Shell是解释执行的脚本语言，在Shell中可以直接调用Linux系统命令Linux中绝大多数用的是Bash Unix中绝大多数用的是cshecho $SHELL   看当前计算机是什么

转载 Python-pandas包

二维数组numpy，只能有一种元素类型，但实际中有多种数据类型，这里就用到pandas包。用的很广泛在pandas中我们把数据存储成叫做dataframe的数据结构，通常我们不需要手动构建一个dataframe，而是把包含这些数据的外部文件导入到python，例如用csv文件导入，（csv逗号分隔值）列的获取：把列标放到中括号中，添加列：用[]添加一列，把list赋值给列还可以

转载 Python的关系运算符逻辑运算符和流程控制

关系操作符： > >= ==!=逻辑运算符：and  or notif  condition:expresstionelse :expressionif condition:expressionelif conditon:expressionelse :expression

转载 应用Matplotlib来作图

plot()是画线图，scatter()是画散点图  hist()画柱状图：把数值做成一个list,然后调用hist,并制定bins的个数。show()方法是展示出来做一个年份与人口的例子：In [1]: import matplotlib.pyplot as pltIn [2]: year = [1950,1970,1990,2010]In [3]

转载 Python中numpy的基本统计学

1.获取随机数的方法 round()  列连接：column_stack()2.计算平均值方法mean()3.计算中间值方法median()4.计算相关系数corrcoef()5.计算样本标准差std()numpy中的数据类型都一致所以运算速度块。例如对5000个人的身高体重进行分析：

转载 二维numpy数组

1.定义一个二维numpy数组，shap()方法输出几行几列。2.数组中只有一种类型。3.二维数组构造子集，np_2d[0][2],可以写成np_2d[0,2],还可以用冒号：表示范围，比如np[:,0,3] 表示每一行的0、1、2 列。np_2d[1,:]表示第二行的全部列

转载 Python中的包numpy

1.list转换为numpy的array,可以把array当成单个值来计算。numpy.array(list)numpy数组，元素只有一种类型，比如list含有不同类型，转换为numpy array里只有一种类型把两个list相加得到一个长list.把两个numpy_array相加，是吧array里对应值相加。通过比较运算符进行元素的选择，在numpy中是很常见的。

转载 Python包

在python中可以把包想象成脚本的目录，目录中每一个脚本=一个模块，这些模块中定义了解决某一问题的函数方法类型现在有几千个包发布在网上可以供我们使用了例如有针对数据科学的包：Numpy:可以方便高效的处理数组。Matplotlib:可以做数据可视化Scikit-learn:用来做机器学习的要想使用这些包，首先要包的安装，然后代码中引入包。包的安装：自己实践或者使用使用

转载 Python中的函数和包

Python中函数：我们如何得知？标准问题，函数很可能存在，网络是我们的朋友。max()函数，round()函数list中最大的元素：max()字符串的长度：len()得到list中元素的索引？list的反转？Python中一个str或者一个float.一个list都被叫做一个对象。、方法：从属于对象的函数，

转载 Python中list操作

List的操作：1.改变list的元素:选出索引，改变索引位置处的值就可以，或者用冒号：来改变一个范围的值。2.添加list的元素:两个list相加，就是连接起来3.删除list的元素:del()函数list背后的原理：1.创建一个list后，把这个list存到内存里了，把list的地址，也就是list在内存中的位置，把这个位置也存到内存里了，把它赋值给了变量。这个变量存储

转载 如何获取Python中list的子集

Python的索引从0开始，还有反向索引。索引指定为-1就是最后一项。list的切割：指定一个范围[起点：终点]  起点包含，终点不包含还可以不指定冒号前后的数值，如果不指定前的数值默认从0开始，如果不指定冒号后的数值默认到list结束。

转载 Python中的List:一种数据结构

Python中的数据类型：float-实数 int-整数str-字符串，文本 bool-True,False每个变量表示一个单一的值注意：一个List中的元素可以取不同类型的数据。list类型

转载 Python中的变量和类型

变量：具体的，大小写敏感的名称，通过使用变量名来读取变量具体的数值给变量赋值，输出变量就输出该值。可重用性，把代码写成脚本，改变数值可以获得相应结果。Python中的类型type()，float、int、str、bool注意：两个整数相加得到的是整数，两个字符串相加是把两个字符串连接起来。float

转载 Hive的体系结构

在Hive的最低层是Linux操作系统，Linux之上是Hadoop集群，NameNode名称节点管理整个Hadoop集群的工作，DataNode数据节点存取数据，而Hive中的数据最终存储到Hadoop的DataNode上，在Hadoop中还有JobTracker负责任务的调度，在Hive中执行一条HQL语句，实际会被解释成一个MapReduce的一个作业，并提交到Hadoop集群上，得到结果返

转载 Hive体系结构之HQL执行过程

一条HQL语句如何在hive中进行查询？解析器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后的MapReduce调用执行。Oracle的执行计划：例如：全表扫描代价大些，可以先创建索引。--先创建索引create index myindex on emp(deptno);--

转载 Hive体系结构

Hive的元数据-Hive将元数据存储在数据库中（metastore），支持mysql、berdy等数据库。-Hive中的元数据包括表的名字，表的列和分区及其分区及其属性，表的属性，表的数据所在目录等。比如我们想知道表的名字，或者列的名字、列的类型，这种数据跟我们的表中没有任何关系。反应的是表的信息，这种信息就叫做元信息。

转载 什么是Hive

Hive是建立在Hadoop HDFS上的数据仓库基础架构Hive可以用来进行数据提取转化加载（ETL）Hive定义了简单的类似SQL查询语言，称为HQL它允许熟悉SQL的用户查询数据Hive允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作Hive是SQL解析引擎，他将SQL语句转移成M/R

转载 数据仓库简介

数据仓库简介：数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，它用于支持企业或组织的决策分析处理数据仓库的结构和建立过程：要有数据源，有可能来自业务数据系统文档资料其他数据，对数据进行抽取转换装载过程（ETL），数据仓库引擎，前端展示。OLTP:联机事务处理典型的OLTP应用，银行转账。面向的是事务，发生频率很高。OLAP联机分析处理。例如

转载 Linux压缩命令2

.zip可以正常的压缩解压缩目录。.gz和.bz2对目录压缩都有问题，.gz是压缩目录下的子文件，.bz2不压缩目录。.tar.gz和.tar.bz2是现将目录变成.tar的单一文件包，如果你愿意把它压缩成.gz格式，.bz2格式压缩指定压缩的路径：tar       -jxvf      aa.tar.bz2           -C   /tmp/ 压缩

转载 Linux压缩命令

常用压缩格式：.zip         .gz            .bz2常用压缩格式：.tar.gz             .tar.bz2.zip和Windows的.zip是通用的。.zip的格式压缩：压缩文件：zip  压缩文件名 源文件压缩目录：zip -r 压缩文件名 源目录虽然Linux不区分扩展名，但我们最好写清楚扩展名，目的为了自己好识别。解压缩.

转载 字符串搜索命令grep

转载 文件搜索命令find

find / -name install.log 会很慢find /root -nouser搜索没有所有者的文件 搜出来的就是可以清楚的垃圾文件。内核产生的文件可能没有所有者不能清除。注意单位，千字节单位是小写的k,兆字节是大写的M。如果不写单位，默认是数据块的意思，一个块是一个扇区512字节每一个文件都有一个i节点，INODE,系统查找文件不是