- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 2021-07-30
HBase 简单安装 版本：1.4.9 下载地址：wget https://archive.apache.org/dist/hbase/1.4.9/hbase-1.4.9-bin.tar.gz 解压：tar -xvf hbase-1.4.9-bin.tar.gz -C hbase 配置修改：hbase-site.xml <configuration> <property> <name>hbase.rootdir</name> <value>h
2021-08-02 17:22:45
99
原创 Nginx 支持的负载均衡调度算法方式
Nginx 支持的负载均衡调度算法方式如下： ①weight 轮询（默认）：接收到的请求按照顺序逐一分配到不同的后端服务器，即使在使用过程中，某一台后端服务器宕机，Nginx 会自动将该服务器剔除出队列，请求受理情况不会受到任何影响。 这种方式下，可以给不同的后端服务器设置一个权重值（weight），用于调整不同的服务器上请求的分配率。 权重数据越大，被分配到请求的几率越大；该权重值，主要是针对实际工作环境中不同的后端服务器硬件配置进行调整的。 ②ip_hash：每个请求按照发起客户端的 ip 的 hash
2021-03-01 13:36:16
499
原创 2020-12-31
git使用 版本 git config --global user.name “username” git config --global user.emall “userEmall” 克隆项目 git clone https://github.com/geerlingguy/ansible-for-devops.git
2020-12-31 16:05:32
101
原创 spark开发环境搭建
RDD的编程接口 Partitions： 分片对象列表 PreferredLocation§： 根据数据本地性，列出分片p的首选位置 Dependencies： 返回依赖列表 Iterator(p,parentIters)： 给定p的父分片的迭代器，计算分片p的元素 Partitioner()： 返回说明RDD是否是hash或者是范围分片的元数据 ...
2020-12-08 15:30:47
195
原创 shell
常用ss命令： ss -l 显示本地打开的所有端口 ss -pl 显示每个进程具体打开的socket ss -t -a 显示所有tcp socket ss -u -a 显示所有的UDP Socekt ss -o state established '( dport = :smtp or sport = :smtp )' 显示所有已建立的SMTP连接 ss -o state established '( dport = :http or sport = :http )' 显示所有已建立的HTTP连接 ss -
2020-12-02 21:08:16
101
原创 大数据项目
干货转载： 电商数仓 用户行为数据采集-数仓设计： https://www.aboutyun.com/forum.php?mod=viewthread&tid=29839 用户行为数据采集-hdfs ON yarn 集群搭建： https://www.aboutyun.com/forum.php?mod=viewthread&tid=29849 用户行为数据采集-flume： https://www.aboutyun.com/forum.php?mod=viewthread&a
2020-11-26 14:03:59
219
原创 mapreduce
@[TOC](hadoop) Java访问hdfs HDFS的Java访问接口 org.apache.hadoop.fs.FileSystem 是一个通用的文件系统API，提供了不同文件系统的统一访问方式。 org.apache.hadoop.fs.Path 是Hadoop文件系统中统一的文件或目录描述，类似于java.io.File对本地文件系统的文件或目录描述。 org.apache.hadoop.conf.Configuration 读取、解析配置文件(如core-site.xml/hdfs-de
2020-11-18 16:07:57
92
原创 topology机架感知
topology.sh #!/bin/bash HADOOP_CONF=${HOME}/etc/hadoop while [ $# -gt 0 ] ; do nodeArg=$1 exec < ${HADOOP_CONF}/topology.data result="" while read line ; do ar=( $line ) if [ "${ar[0]}" = "$nodeArg" ]||[ "${ar[1]}" = "$nodeArg" ];then result="${ar[2]
2020-11-13 11:22:04
91
原创 flume
flume单机日志采集 1.资源下载： http://flume.apache.org/download.html 这里用到的版本是1.7没有考虑组件间的兼容性问题 tar -xvf apache-flume-1.7.0-bin.tar.gz -C $HOME_DIR/apps/ cd $HOME_DIR/apps/apache-flume-1.7.0-bin/conf 配置jdk环境： vim flume-env.sh export JAVA_HOME= 检测安装结果：（检测的是localhost:
2020-11-06 11:10:55
104
原创 hadoop
Hadoop ha搭建（多次搭建整理的文档）hadoop2.7.3 ha模式搭建 ################一步错步步错请小心行事################## 1.修改Linux主机名 vim /etc/sysconfig/network 2.修改IP—配置静态IP，连接外网 vim /etc/sysconfig/network-scripts/ifcfg-eth0 具体配置： DEVICE=eth0 /*网卡名*/ HWADDR=00:0C:29:41:58:60
2020-10-16 14:42:43
434
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人