- 博客(227)
- 收藏
- 关注
RSS订阅原创 Redis
https://blog.youkuaiyun.com/weixin_40205234/article/details/124614720redis-benchmark：性能检测redis-check-aof：AOF持久化文件检测及修复工具redis-check-dump持久化文件检测及修复工具redis-sentinel：启动哨兵redis-trib：cluster集群构建工具4.Redis支持的数据类型String：可存字符串，整型与浮点型，可自增自减，支持二进制位操作，适用共享session，
2022-07-06 14:56:58
384
原创 Nginx
为什么Nginx性能高，正是因为Nginx采用异步非阻塞的事件处理机制，运用epoll模型，提供队列，排队解决问题6. Keepalived+Nginx实现高可用，避免单点故障问题Nginx前再加一层Keepalived来维护心跳7.利用Nginx完成对访问资源的动静分离Nginx对静态资源的处理能力很强，但对动态资源的处理能力不足，所以需要配置动静分离Nginx可以缓存静态资源，无需将请求转发给Tomcat静态资源放在nginx/html目录下动态资源请求转发给后端8.总
2022-07-05 19:39:11
575
原创 Azkaban实战
2.将job资源文件打包成zip文件安装zip,unzip命令压缩Azkaban上传的工作流文件只支持xxx.zip文件，zip应包含xxx.job运行作业所需的文件和任何文件（文件名后缀必须是.job，否则无法识别）,作业名称在项目中必须是唯一的3.通过azkaban的web管理平台创建project并上传job的zip包创建project上传zip包启动执行该jobJob执行成功点击查看job日志多job工作流案例1.创建job描述文件第一个j
2022-07-03 21:18:55
363
原创 Azkaban安装部署
http://azkaban.github.io/downloads.html生成密钥库1.生成keystore的密码及相应信息的密钥库cd /usr/local/azkabankeytool -keystore keystore -alias jetty -genkey -keyalg RSA密钥库的密码至少必须6个字符，可以是纯数字或者字母或者数字和字母的组合等等，密钥库的密码最好和jetty的密钥相同，方便记忆2.将keystore 拷贝到 azkaban web服务器根目录中
2022-07-03 21:04:56
324
原创 Sqoop命令
sqoop命令结果2.students组数据数据库数据位置向数据库中插入数据等在数据插入完成。。。命令官网sqoop-list-1.列库命令2.列表sqoop import-1.指定路径：–target-dir–target-dir结果2.表名当成数据仓库名：–warehouse-dir–warehouse-dir结果3.指定要查询的列与查询条件6.增量导入用于仅检索比某些先前导入的行集更新的行
2022-07-03 20:37:20
1719
原创 Sqoop安装
source /etc/profile4.配置sqoop/conf/sqoop-env.shcd /usr/local/sqoop147/confcp sqoop-env-template.sh sqoop-env.sh5.导入mysql8驱动文件到Sqoop的lib下到之前保存的驱动仓库种找6.sqoop.jar放入Hadoop的lib下
2022-07-03 20:02:54
165
原创 Flume配置5——配置flume采集tomcat，nginx运行日志，入库到 hdfs中
5.在node1的/jobs/t10下创建tomcatlog-flume-avro.conf文件vim tomcatlog-flume-avro.conf6.在node1的/jobs/t10下创建avro2-flume-logger.conf文件vim avro2-flume-logger.conf7.启动顺序flume321bin/flume-ng agent --conf conf --conf-filejobs/t10/avro2-flume-logger.conf --na
2022-07-03 18:44:36
955
原创 Linux安装Tomcat
安装Tomcat1.下载tar.gz的包，并上传到/usr/local下解压，重命名http://tomcat.apache.org/download-80.cgi 上传解压重命名2.配置环境变量vim /etc/profilesource /etc/profile3.测试访问startup.shweb访问：http://192.168.10.100:8080/开机自启动1.新建启动文件vim /usr/lib/systemd/system/
2022-07-03 17:54:31
179
原创 Flume配置4——自定义MYSQLSource
3.添加配置信息，不是spring项目，所以没有使用yml配置jdbc.propertieslog4j. properties4.SQLSourceHelper说明代码分析代码实现5.SQLSource6.两个jar放入flume的lib目录下项目jarmysql7./jobs/t9下编写配置文件vim mysql-flume-logger.conf8.建库，建表建库建表插4条数据10.类似于如图结果输出则成功.
2022-07-03 17:41:28
236
原创 Linux安装MySQL8
2.卸载3.检查是否卸载干净安装MySQL1.两种方法安装官网手动下载安装2.解压3.重命名4.配置环境变量vim /etc/profilesource /etc/profile5.用户和用户组创建一个用户组：mysql创建一个系统用户：mysql，指定用户组为mysql6.数据目录创建目录更改属主和数组更改模式初始化MySQL1.配置参数cd /usr/local/mysql8vim my.cnf2.初
2022-06-28 21:26:08
299
原创 Linux安装MySQL5
2.卸载mysql或者maridbMySQL压缩包1.下载https://downloads.mysql.com/archives/community/2.上传
2022-06-28 21:14:43
1288
原创 Flume理论
2.定义Flume基于流式架构，灵活简单适用于实时推送事件，尤其是在数据流是持续的且量级很大的情况Flume组成架构1.简单架构图SourceChannelSinkEventAgent内部原理1.图解
2022-06-28 19:24:31
148
原创 Yarn(资源调度)
3.修改yarn-site.xml修改配置文件：vim yarn-site.xml4.检测yarn是否配置成功启动start-yarn.sh，发现node1的进程jps上新增ResourseManager，且node234上则新增NodeManager查看Web：http://node1:8088/5.配置成功此处只配置了一个RM，通过HDFS的学习我们直到一个NN会出现单点故障，所以一个RM也会存在，接下来为RM配置HARM的HA配置1.原理...
2022-06-18 21:15:45
325
原创 HDFS总结
HDFS将大规模的数据以分布式的方式均匀存储在集群中的各个服务器上，然后分布式并行计算框架MR利用各个数据节点DN的本地计算资源在本地服务器上对大规模数据集的一个子集数据进行计算HDFS具有高容错、高可靠性、高可扩展性、高吞吐率等特征, 适合一次写入多次读取的场景2.HDFS的优势流式数据访问模式处理非结构化数据，其他数据Hadoop都支持处理超大文件，PB级别运行于廉价的商用集群发生故障时能继续运行而不被用户察觉3.HDFS的局限不适合处理低延迟数据访问
2022-06-16 11:58:33
609
原创 HDFS之高可用HA
NN压力过大，且内存受限，影响系统扩展性此时需要改善集群环境–高可用2.HA机制基本思想是集群中接入两个NN，一个宕机，另一个接管服务但是这样做又会带来新问题，如下HA高可用1.防止脑裂脑裂指HDFS是主从架构，主节点只有一个，从节点DN有多个，此时集群中有两个NN，那么这两个NN会争抢集群共享资源，导致系统紊乱，数据损坏解决脑裂4.安装ZK官网下载ZK压缩包zookeeper.apache.org压缩包上传到/usr/local解压：tar -xvf zookee
2022-06-14 22:23:08
396
原创 HDFS命令
hdfs内部进行文件移动：hdfs dfs -mv /hdfs文件1 /hdfs文件24.上传文件本地文件放到hdfs某个目录：hdfs dfs -put /本地文件/ /hdfs目录/5.下载文件将hdfs文件下载到linux本地6.文件内容如果数据量比较大，不能使用查看hello.txt文件内容：hdfs dfs -cat /test/hello.txt查看文件末尾，一直等待查看：hdfs dfs -tail -f /path查看文件的大小：hdfs dfs -du
2022-06-11 20:18:46
1914
1
原创 HDFS(数据存储)
NameNode启动后将元信息加载到内存，磁盘文件名为fsimage，快的位置信息不会保存到fsimage，而由DataNode启动时主动上报给NameNode，edit记录操作日志一个集群中有且只有一台NameNode处于active状态3.SecondNameNodeSecondNameNode是NameNode的备份，但主要任务是合并NameNode的fsimage和edit logs，减少NameNode启动时间SNN的合并时机可以通过配置文件设置的时间间隔(fs.checkpoint.
2022-06-11 17:46:11
11199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人