<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zhang_232的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zhang_232</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zhang_232]]></copyright><item><title><![CDATA[HBase学习笔记（四）-案例]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/129511744</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/129511744</guid><author>zhang_232</author><pubDate>Tue, 21 Mar 2023 00:26:14 +0800</pubDate><description><![CDATA[大量数据保存，尤其是面向读取会少，写比较多的场景。要存储这样海量的数据，Hbase就非常合适，Hbase适合存储写多读少的数据。通过本案例学习1、Hbase的表设计，Hbase预分区，Rowkey设计；2、Hbase调优；4、分页查询；5数据接口开发。]]></description><category></category></item><item><title><![CDATA[HBase学习笔记（四）-Hbase架构]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/129482877</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/129482877</guid><author>zhang_232</author><pubDate>Mon, 13 Mar 2023 23:51:21 +0800</pubDate><description><![CDATA[全称Write Ahead Log，最大作用就是故障恢复，高并发持久化日志保存与回访，每个业务数据操作都会保存在WAL中，一旦服务器崩溃，就可实现回复之前崩溃的数据（MemStore中的数据）与Store增加一层缓存，数据优先写入MemStore，提升速度，与缓存类似，在内存操作每个列簇都有一个MemStore，当要满的时候，刷入磁盘HDFS的Hfile。在Hbase中，表被划分很多Region，一个Region存储表的一部分数据，由RegionServer提供服务。中的shell客户端（Ruby。]]></description><category></category></item><item><title><![CDATA[HBase学习笔记（三）]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/129413522</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/129413522</guid><author>zhang_232</author><pubDate>Sun, 12 Mar 2023 22:45:06 +0800</pubDate><description><![CDATA[本篇笔记主要记录了学习Hbase利用java API进行表和数据的操作，另外搭建了Hbase高可用集群，只有一个Master，一旦master出现故障，hbase将不再可用。]]></description><category></category></item><item><title><![CDATA[HBase学习笔记（二）]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/129329107</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/129329107</guid><author>zhang_232</author><pubDate>Wed, 08 Mar 2023 00:23:40 +0800</pubDate><description><![CDATA[主要有利用HBase的shell命令进行Hbase数据库的操作，其实是调用Ruby的方法。Ruby客户端调用Java编写的Hbase的API]]></description><category></category></item><item><title><![CDATA[HBase学习笔记（一）]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/129251800</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/129251800</guid><author>zhang_232</author><pubDate>Fri, 03 Mar 2023 00:39:24 +0800</pubDate><description><![CDATA[HBase是BigTable的开源Java版本。是建立在HDFS之上，提供高可靠性、高性能、列存储、可伸缩，实时读写NoSQL的数据库系统。]]></description><category></category></item><item><title><![CDATA[大数据学习笔记-Yarn（二）]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/128596522</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/128596522</guid><author>zhang_232</author><pubDate>Sun, 19 Feb 2023 23:45:56 +0800</pubDate><description><![CDATA[本文主要学习了Yarn WebUI服务、YARN操作维护命令、YARN资源管理与隔离、YARN资源调度器Scheduler、YARN核心配置参数等内容]]></description><category></category></item><item><title><![CDATA[大数据学习笔记-Yarn（一）]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/128525010</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/128525010</guid><author>zhang_232</author><pubDate>Sat, 07 Jan 2023 22:12:49 +0800</pubDate><description><![CDATA[数据、程序、运算资源三者组合在一起，才能完成数据的处理，单机不存在问题，但是分布式环境如何协调是一个问题。Hadoop早期用户使用Hadoop与众多主机上运行的桌面程序类似：在少了几个节点上建立一个集群、将数据载入HDFS、运行mapreduceAd hoc集群以单用户的方式建立，随着私人集群的使用实现了HDFS集群的共享，不同于HDFS，共享mapreduce非常困难。HOD集群解决；额集群条件下多租户的问题yahoo发展部署了Hadoop on Demand平台。]]></description><category></category></item><item><title><![CDATA[大数据学习笔记-MapReduce（二） 深度]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/128095756</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/128095756</guid><author>zhang_232</author><pubDate>Mon, 02 Jan 2023 20:13:59 +0800</pubDate><description><![CDATA[深度了解MapReduce运行流程，通过案例全面了解MR运行过程、涉及的组件、设计的思想。对MapReduce Partition、 Mapreduce Combiner、MapReduce编程技巧掌握，对自定义对象、序列化、排序、分区、分组的实现熟练掌握，掌握MapReduce并行度机制、工作流程和shuffle的机制。]]></description><category></category></item><item><title><![CDATA[SpringBoot开启测试用例]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/128167337</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/128167337</guid><author>zhang_232</author><pubDate>Sat, 03 Dec 2022 23:06:04 +0800</pubDate><description><![CDATA[测试是软件质量保证的最佳办法，也是程序交付的最终环节，测试是一门学科，关于测试的方法有很多，在理论层面有黑河测试、白盒测试，在操作指导方面有边界值测试等等相关方法。相关的文章和书籍汗牛充栋，不胜枚举。由于本人不是专门的测试工程师，在此不做过多赘述。当前SpringBoot自动装配式框架使用非常广泛，但是初级程序员对于使用过程中的测试方法没有充分运用SpringBoot提供的便利，往往对于DAO和Service层的测试等controller编写完成后，通过swagger、postman等工具测试]]></description><category></category></item><item><title><![CDATA[大数据学习笔记-MapReduce（一） 入门基础理论]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/128083189</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/128083189</guid><author>zhang_232</author><pubDate>Tue, 29 Nov 2022 12:13:20 +0800</pubDate><description><![CDATA[MapReduce是Hadoop中生态圈重要组件，目前该组件随退到二线，但是其思想依然是很多框架的来源]]></description><category></category></item><item><title><![CDATA[大数据学习笔记-HDFS（五）——数据安全与隐私保护]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/128062539</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/128062539</guid><author>zhang_232</author><pubDate>Mon, 28 Nov 2022 01:35:39 +0800</pubDate><description><![CDATA[数据安全与隐私是数据管理的重要方面。]]></description><category></category></item><item><title><![CDATA[大数据学习笔记-HDFS（四）——HDFS架构]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/128050225</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/128050225</guid><author>zhang_232</author><pubDate>Sun, 27 Nov 2022 00:59:52 +0800</pubDate><description><![CDATA[Hadoop Distribute File System，Hadoop分布式文件系统，HDFS是Hadoop核心组件之一，作为生态圈最底层的分布式服务而存在。HDFS解决的问题就是大数据如何存储。架构图：主从架构（master/slave）。通常包含一个主节点和多个从节点。主节点存储和管理namespace，即文件块、位置、权限、大小、其实地址等等，从节点存储文件数据块。]]></description><category></category></item><item><title><![CDATA[大数据学习笔记-HDFS（三）——集群管理运维]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/128008987</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/128008987</guid><author>zhang_232</author><pubDate>Sat, 26 Nov 2022 00:01:46 +0800</pubDate><description><![CDATA[目录
1、HDFS数据迁移解决方案1.1 迁移方案 ——数据迁移的使用场景和考量因素1.2分布式拷贝工具： DistCp的使用2、HDFS NameNode安全模式3、HDFS高阶优化方案3.1短路本地读取short circuit local reads3.2负载均衡、磁盘均衡器、纠删码存储4、HDFS动态节点管理4.1 俗称动态扩容、节点服役
4.2 节点下线、5、HDFS HA（高可用）机制5.1 HA引入
5.2 HA系统的核心问题]]></description><category></category></item><item><title><![CDATA[Hadoop集群搭建安装教程（续集）高可用（HA）]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/128042713</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/128042713</guid><author>zhang_232</author><pubDate>Fri, 25 Nov 2022 23:09:47 +0800</pubDate><description><![CDATA[针对Hadoop集群的高可用环境，研究搭建方式，根据相关资料和教程以及自己实际操作，整理步骤如下。]]></description><category></category></item><item><title><![CDATA[大数据学习笔记-HDFS（二）——数据存储与数据管理]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/127988433</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/127988433</guid><author>zhang_232</author><pubDate>Wed, 23 Nov 2022 20:46:27 +0800</pubDate><description><![CDATA[WebHDFS客户端 提供了访问Restful接口，内置组件，默认开启，使集群外的客户端不用安装Hadoop和java，即可访问，不受语言限制。]]></description><category></category></item><item><title><![CDATA[网络爬虫学习笔记]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/127974666</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/127974666</guid><author>zhang_232</author><pubDate>Mon, 21 Nov 2022 23:21:24 +0800</pubDate><description><![CDATA[网络爬虫学习内容记录]]></description><category></category></item><item><title><![CDATA[大数据学习笔记-HDFS（一）]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/127962512</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/127962512</guid><author>zhang_232</author><pubDate>Mon, 21 Nov 2022 22:48:29 +0800</pubDate><description><![CDATA[Hadoop Distributed File System，意为Hadoop分布文件存储系统，是Hadoop和核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在，之解决存储问题，不解决计算和分析。解决大数据如何存储的问题，横跨在多台机器上(可以是普通的廉价的已有的计算机)高容错，适用于大数据集存储提供统一的访问接口。]]></description><category></category></item><item><title><![CDATA[Hadoop集群搭建安装教程（详细完整）]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/127956041</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/127956041</guid><author>zhang_232</author><pubDate>Mon, 21 Nov 2022 02:01:59 +0800</pubDate><description><![CDATA[Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。]]></description><category></category></item><item><title><![CDATA[Linux 常用命令]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/127830463</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/127830463</guid><author>zhang_232</author><pubDate>Sun, 13 Nov 2022 18:16:25 +0800</pubDate><description><![CDATA[cd  /opt/s #一次table可以自动补全目录内容，前提是/opt目录下只有一个s开头的目录。其他用户:     itcast     既不是文件创建者，也和文件创建者不在同一组。2、 mv 目录1 目录2  #将目录1移动到目录2下面(前提是目录2必须存在)cd  /opt/ #两次table可以列出/opt目录下所有的文件和子目录。1、mv 文件1  文件2  #给文件重命名(文件2不能存在)1、mv 文件   目录  #将文件移动到目录中区。这个命令既可以删除文件，也可以删除目录。]]></description><category></category></item><item><title><![CDATA[docker学习内容（3）-镜像与容器]]></title><link>https://blog.youkuaiyun.com/zhang_232/article/details/127760653</link><guid>https://blog.youkuaiyun.com/zhang_232/article/details/127760653</guid><author>zhang_232</author><pubDate>Tue, 08 Nov 2022 23:56:38 +0800</pubDate><description><![CDATA[dockers容器与镜像，容器创建的方式、端口映射、卷挂载]]></description><category></category></item></channel></rss>