
大数据
文章平均质量分 91
叶戈Gavin
这个作者很懒,什么都没留下…
展开
-
正则表达式在Java中的简单使用
正则表达式正则的基本语法[ab] a或者b[a-z] 所有的小写字母[a-zA-Z0-9_] 数字字母下划线[^a] 非字符a[^ab] 非字符a和非字符b 注意: ^只有在[]内部才表示非, 如果不是在内部表示字符开头\d 表示数字 等价于 [0-9] (digital)\D 表示非数字 等级于[^0-9]\w 表示单词字符串 数字字母下划线 等价于 [a-zA-Z0-9_] (word)\W 表示非单词字符 等价于 [^a-zA-Z0-9_]\s 表示空白字符 s原创 2020-07-19 18:06:56 · 267 阅读 · 0 评论 -
ES、Kibana的群启、群停脚本
#!/bin/bashes_home=/opt/module/elasticsearch-6.3.1kibana_home=/opt/module/kibana-6.3.1case $1 in start) for host in linux1 linux2 linux3; do echo "========== $host 启动es =========" ssh $host "source /etc/profile; nohup $e.原创 2020-07-19 13:14:14 · 577 阅读 · 0 评论 -
Flume hdfs sink 小文件问题的解决
HDFS存入大量元数据的影响HDFS存入大量小文件,有什么影响?元数据层面:每个小文件都有一份元数据,其中包括文件路径,文件名,所有者,所属组,权限,创建时间等,这些信息都保存在 Namenode 内存中(大的文件块和小的文件块都占用NameNode150字节的内存)。所以小文件过多,会占用 Namenode 服务器大量内存,影响 Namenode 性能和使用寿命。计算层面:默认情况下MR会对每个小文件启用一个MapTask计算,非常影响计算性能。同时也影响磁盘寻址时间。产生的原因官方默认的这三原创 2020-05-23 21:33:41 · 1890 阅读 · 1 评论