<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[a22abc00的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/a22abc00</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a22abc00]]></copyright><item><title><![CDATA[在FinalShell中使用Flume实现数据监听的实践教程]]></title><link>https://blog.youkuaiyun.com/a22abc00/article/details/133841651</link><guid>https://blog.youkuaiyun.com/a22abc00/article/details/133841651</guid><author>a22abc00</author><pubDate>Sun, 15 Oct 2023 14:48:23 +0800</pubDate><description><![CDATA[代码为flume-ng agent -n a1 --conf-file nc-flume.conf -Dflume.root.logger=INFO,console。(1).Agent：Flume Agent是数据采集的主要组件，负责监听指定的数据源，将数据传输到Channel中，并最终将数据写入到目标位置。(4).Sink：Sink是Flume Agent中用于将数据从Channel中发送到目标位置的组件，可以是文件、网络端口、数据库等。(2).数据聚合：将采集的数据聚合到指定的Channel中。]]></description><category></category></item><item><title><![CDATA[Hadoop的基础代码]]></title><link>https://blog.youkuaiyun.com/a22abc00/article/details/133440154</link><guid>https://blog.youkuaiyun.com/a22abc00/article/details/133440154</guid><author>a22abc00</author><pubDate>Sat, 30 Sep 2023 20:26:09 +0800</pubDate><description><![CDATA[(4).hdfs dfsadmin -refreshNodes：刷新节点列表，更新HDFS集群的节点信息。(3).hadoop fs -put <本地文件> <目标路径>：将本地文件复制到HDFS中的目标路径。(3).hdfs dfs -put <本地文件> <目标路径>：将本地文件复制到HDFS中的目标路径。(4).hadoop fs -get <源路径> <本地目录>：将HDFS中的文件复制到本地目录。(4).hdfs dfs -get <源路径> <本地目录>：将HDFS中的文件复制到本地目录。]]></description><category></category></item><item><title><![CDATA[大数据技术的相关基础知识]]></title><link>https://blog.youkuaiyun.com/a22abc00/article/details/133439173</link><guid>https://blog.youkuaiyun.com/a22abc00/article/details/133439173</guid><author>a22abc00</author><pubDate>Sat, 30 Sep 2023 19:28:38 +0800</pubDate><description><![CDATA[3.虚拟网络：VMware Workstation Pro提供了虚拟网络功能，可以创建不同类型的虚拟网络，如桥接网络、NAT网络和仅主机网络等，实现虚拟机与主机机器或其他虚拟机之间的通信。7.虚拟机调试与测试：VMware Workstation Pro提供了虚拟机调试和测试的功能，可以模拟不同的环境和场景，方便开发和测试人员进行软件开发和测试工作。6.数据存储与管理：介绍使用Hadoop生态系统进行数据存储和管理的技术和方法，包括使用HBase进行实时数据存储和查询、使用Sqoop进行数据导入和导出等。]]></description><category></category></item><item><title><![CDATA[Hadoop入门指南：大数据处理的利器]]></title><link>https://blog.youkuaiyun.com/a22abc00/article/details/133237288</link><guid>https://blog.youkuaiyun.com/a22abc00/article/details/133237288</guid><author>a22abc00</author><pubDate>Sun, 24 Sep 2023 13:54:17 +0800</pubDate><description><![CDATA[例如，Flume用于实时数据采集，Sqoop用于关系型数据库和Hadoop之间的数据传输，Pig用于数据处理和分析，等等。除了HDFS和MapReduce，Hadoop还包括其他重要组件，如YARN（资源调度和管理）、HBase（分布式数据库）、Hive（数据仓库）、Spark（内存计算框架）等。了解这些组件的功能和用法，能够更好地利用Hadoop进行大数据处理。Hadoop采用分布式架构，包括两个核心组件：Hadoop分布式文件系统（HDFS）和Hadoop分布式计算框架（MapReduce）。]]></description><category></category></item><item><title><![CDATA[Linux的免密]]></title><link>https://blog.youkuaiyun.com/a22abc00/article/details/132948254</link><guid>https://blog.youkuaiyun.com/a22abc00/article/details/132948254</guid><author>a22abc00</author><pubDate>Sun, 17 Sep 2023 18:14:25 +0800</pubDate><description><![CDATA[1.修改hosts文件并拷贝到其他虚拟机。1.通过ssh-keygen生成密钥。2.在其他虚拟机进行验证。2.拷贝密钥到其他虚拟机。]]></description><category></category></item></channel></rss>