缓缓归_-优快云博客

原创 Hadoop集群启动问题记录

问题：启动hadoop集群，namenode，datanode都不启动，重启虚拟机后问题依然存在查看日志：2020-12-30 09:53:09,627 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.FileNotFoundException: a/in_use.lock (权限不够)2020-12-30 09:53:09,628 FATAL org.apache.hadoop.hdfs.server.datanode.Da

2020-12-30 10:13:43 211

原创 Centos 安装MySQL-server记录

因为Hive需要在将元数据存储在MYSQL中，否则只能支持一个连接，关闭连接后数据丢失。在执行rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64需要管理员权限，在前面加上sudo执行此命令后无法启动mysql service报错：ERROR! The server quit without updating PID file (/usr/local/mysql/data/localhost.pid)解决：后查看原视频是进入root，su中问题得

2020-12-29 21:18:32 138

原创 geomesa2.1.3 安装记录

Installing Geomesa Hbase下载地址：https://github.com/locationtech/geomesa/releasesGeoMesa HBase Quick Startrelease page:https://github.com/geomesa/geomesa-tutorials/releases

2020-09-08 09:03:31 267

原创 Ambari2.7.1+HDP3.0.1安装记录

Ambari2.7.1+HDP3.0.1离线下载地址：Ambari2.7.1、HDP3.0.1参考链接：https://www.cnblogs.com/zhang-ke/p/8944240.html问题汇总：1、YARN REGISTRY DNS服务启动失败Problem binding to [master.hadoop.com:53] java.net.BindException: Address already in use;解决方法：https://blog.c

2020-09-04 14:49:08 394

转载集群配置与启动

集群配置规划hadoop100hadoop101hadoop102HDFSNameNode DataNodeDataNodeSecondaryNameNodeYARNNodeManagerResourceManager NodeManagerNodeManager配置集群（1）核心配置文件配置core-site.xml[atguigu@hadoop102 hadoop]$ vi core-site.xml<!-- 指定HDFS中NameNode

2020-08-15 17:53:45 1056

转载集群分发工具命令

scp命令1、把数据从hadoop101拷贝到hadoop102上，scp -r module root@hadoop102:/opt/module2、在hadoop上把101的数据拉去过来sudo scp -r hadoop@hadoop101:/opt/module ./(当前路径)3、在103上从101拷到104scp -r hadoop@hadoop101:/opt/module root@hadoop104:/opt/module文件权限的更改sudo cown h

2020-08-15 10:27:37 999

原创集群环境下安装java环境和hadoop

1、在/opt目录中新建两个目录/software和/module,分别用来存放tar文件和安装软件。2、修改两个文件夹的权限：sudo chown hadoop:hadoop module/ software/（hadoop为用户名和组，系统用户设置和ssh连接参考）3、使用xftp把需要安装的tar包放入software目录下4、将tar包解压到module文件中解压完成5、配置系统环境变量sudo vim /etc/profile在结尾处加上：##JAV

2020-08-14 14:33:29 162

原创 vm8 Linux虚拟机配置hadoop集群-网络地址配置（傻瓜版）

虚拟机和主机ping不通解决办法，虚拟机ping不通外网的解决方法主要步骤（需要安装好VMware和CentOs6）1、修改VMnet8的IP地址右键VMnet8，选择属性，选择IPV4版本协议，点击右下角属性。使用下面的IP地址。设置一个倒数第二位（任意值），默认网关设置为2，（后面vm里也相关），Ip地址不与网关地址重复。2、设置VM中的虚拟网络编辑器...

2020-08-13 23:50:30 1012

原创 Geomesa学习资料整理

GeoMesa-HBase部署实践来自 <https://www.giserdqy.com/?p=15495>GeoMesa-HBase部署实践来自 <https://blog.youkuaiyun.com/xiaof22a/article/details/80215787>GeoMesa源码学习 (2)：创建Schema并导入数据来自 <https://blog.csd...

2020-04-20 17:16:57 596 2

原创 Geomesa-Hbase学习记录简单入库demo（1）

程序主要构建在官方的tutorials中，简化了源程序中的一些内容。主要分成TaxiTest、TaxiForHbase和TaxiData（实现给定的TutorialData接口） taxiTest.java 程序的主要流程部分。...

2020-04-20 17:12:18 624

原创 Hbase中的Mapreduce操作求和（Hbase的数据读取与写入）

1、首先在Hbase中的mymoney数据库存入一组income数据，只用到了info:income，数据如下所示：hbase(main):019:0> scan 'mymoney'ROW COLUMN+CELL 01 ...

2019-11-26 20:06:13 808

原创 HDFS基本操作

hdfs dfs -ls . 表示列出HDFS某个目录下的所有内容，“.”表示HDFS中的当前用户目录，如果没有“.”为列出所有目录。 -h 使用方便人阅读的信息显示文件大小 -R 使用递归显示所有子目录的信息 hdfs dfs -mkdir input or /input 后者为在HDFS根目录下，前者为创建在当前的目录下？ ...

2019-10-07 11:55:56 742

转载 Hadoop伪分布配置

设置Hadoop环境变量：1、使用gedit ~/.bash命令打开文本编辑器2、在头部加入：# Hadoop Environment Variables export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HAD...

2019-10-02 23:17:33 353

原创 WMI 提供程序错误故障排除

数据库上个学期还用的好好的，这个学期再打开怎么就用不了了呢。无法连接到WMI提供程序。您没有权限或者该服务器无法访问。请注意，您只能使用SQL Server配置管理器来管理SQL Server 2005和更高版本的服务器。无效类[0x80041010]于是我就开始了为期一个下午的修复之路。我用的是sql sever 2017 以前用的时候登陆也有小问题右键我的电脑 ——>...

2018-05-19 21:51:40 6034

qq_42245531的博客