大数据
关注
分享
扫一扫
慧言小回
输出是为了让你更好的输入，输出可以倒逼着你输入，因为在输出的过程中，会有观点的碰撞，也必然会触及到你的知识盲区亦或是你的认知原本就是错误的，这些会反哺你，让你做更好的输入，更新和完善自己的认知。
展开
-
大数据集群搭建---《sqoop篇》 --菜鸟小回
大数据集群搭建—《sqoop篇》 --菜鸟小回创建上传安装如上篇导入mysql驱动将数据库导到hdfs上面cd /opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin//导入 ./sqoop import --connect jdbc:mysql://192.168.80.128:3306/sqloop --username root --p...原创 2019-11-02 17:40:42 · 288 阅读 · 0 评论 -
大数据集群搭建---《hive篇》 --菜鸟小回
大数据集群搭建—《hive篇》 --菜鸟小回创建上传解压安装好mysql,需要在mysql里面创建一个数据集hivevi /etc/profilevi /etc/profile//添加export HIVE_HOME=/opt/hive/apache-hive-2.3.3-binexport PATH=$PATH:$HIVE_HOME/bin//刷新环境变量source ...原创 2019-11-02 17:28:53 · 360 阅读 · 0 评论 -
大数据集群搭建---《strom(集群)篇》 --菜鸟小回
大数据集群搭建—《strom(集群)篇》 --菜鸟小回创建上传解压同上篇配置stormcd /opt/storm/apache-storm-1.2.2/conf///在文件最后新加storm.local.dir: "/opt/storm"storm.zookeeper.servers: - "zhiyou001" - "zhiyou002" - "zhiyou00...原创 2019-11-02 17:23:27 · 186 阅读 · 0 评论 -
大数据集群搭建---《kafka(集群)篇》 --菜鸟小回
大数据集群搭建—《kafka(集群)篇》 --菜鸟小回创建：mkdir -p /opt/kafka进入：cd /opt/kafka上传解压：tar -zxvf kafka_2.12-1.1.0.tgz修改配置文件 server.propertiescd /opt/kafka/kafka_2.12-1.1.0/config/vi server.properties //修改br...原创 2019-11-02 17:22:19 · 237 阅读 · 0 评论 -
大数据集群搭建---《flume篇》 --菜鸟小回
大数据集群搭建—《flume篇》 --菜鸟小回创建：mkdir -p /opt/flume进入：cd /opt/flume上传解压：tar -zxvf apache-flume-1.8.0-bin.tar.gz修改配置文件 flume-env.shcd /opt/flume/apache-flume-1.8.0-bin/conf/mv flume-env.sh.template ...原创 2019-11-02 17:21:21 · 353 阅读 · 0 评论 -
（大数据静态处理demo）flume+hadoop+hive+sqoop+mysql
静态方法过滤数据文章目录静态方法过滤数据一、日志文件source.log二、配置flume(三台)三、启动zookeeper、hadoop、flume四、flume写入文件，自动上传到hdfs五、hive处理数据六、使用sqoop导出数据到mysql思路：分析日志文件，flume将日志文件上传到hadoop。hive获取日志信息到表一。表一清洗一遍数据到表二，表二处理结果到表三。计算出当日...原创 2019-11-02 11:42:01 · 1358 阅读 · 0 评论 -
（大数据实时动态数据处理）flume+kafka+strom;zookeeper+hadoop+hbase
flume+kafka+strom;zookeeper+hadoop+hbase（整合启动）文章目录flume+kafka+strom;zookeeper+hadoop+hbase（整合启动）@[toc]一、启动zookeeper+hadoop+Hbase二、启动flume+kafka+strom三、代码测试四、测试Topology一、启动zookeeper+hadoop+Hbasezo...原创 2019-11-01 10:14:32 · 684 阅读 · 0 评论 -
云服务器伪分布式hadoop配置+javaAPI上传下载删除操纵（踩坑总结） --菜鸟小回
云服务器伪分布式hadoop配置+javaAPI上传下载删除操纵（踩坑总结）注：本博文主要针对单台云服务器hadoop安装配置。博主使用阿里云的ECS服务器,Centos7系统，公网ip：120.27.244.176 私网ip：172.16.236.135 安全组开放所有端口，即1/65535一、准备创建：mkdir -p /opt/hadoop进入：cd -p /opt/hadoo...原创 2019-10-30 20:49:36 · 263 阅读 · 0 评论 -
大数据集群搭建---《高可用Habse篇》 --菜鸟小回
大数据集群搭建—《高可用Habse篇》 --菜鸟小回四、Hbase集群搭建确保前两项配置无误（还是先配zhiyou001主机再复制）创建：mkdir -p /opt/hbase进入：cd /opt/hbase上传：解压：tar -zxvf hbase-2.0.0-bin.tar.gz修改hbase-env.shcd /opt/hbase/hbase-2.0.0/conf/...原创 2019-10-28 14:13:30 · 403 阅读 · 0 评论 -
大数据集群搭建---《高可用hadoop篇》 --菜鸟小回
大数据集群搭建—《高可用hadoop篇》 --菜鸟小回三、hadoop集群搭建（先配zhiyou001复制给其他，配置前确保zookeeper配置完成）创建：mkdir /opt/hadoop进入：cd /opt/hadoop上传：解压：tar -zxvf tar -zxvf hadoop-2.7.3配置hadoop环境变量vi /etc/profile//添加#配置ha...原创 2019-10-25 22:03:54 · 781 阅读 · 0 评论 -
大数据集群搭建---《zookeeper篇》 --菜鸟小回
大数据集群搭建—《zookeeper篇》 --菜鸟小回二、zookeeper 集群搭建创建：mkdir -p /opt/zookeeper进入：cd /opt/zookeeper上传：解压tar -zxvf zookeeper-3.4.12.tar.gz5.配置zoo.cfgcd /opt/zookeeper/zookeeper-3.4.12/conf/mv zoo_sa...原创 2019-10-25 22:02:31 · 360 阅读 · 0 评论 -
大数据集群搭建（zookeeper、高可用hadoop、高可用hbase） --菜鸟小回
大数据集群搭建（zookeeper、高可用hadoop、高可用hbase）文章目录大数据集群搭建（zookeeper、高可用hadoop、高可用hbase）@[toc]一、准备工作1. 架构2. 三台相互免密登录3. 关闭防火墙4. zhiyou001主机中的hosts文件中配置域名（所有安装均在zhiyou001中，最后复制个另外两台。）5. 安装jdk![enter description ...原创 2019-10-25 22:01:06 · 465 阅读 · 1 评论