- 博客(26)
- 收藏
- 关注
RSS订阅原创 MacBook pro安装hadoop遇到的问题
MacBook pro安装遇到的问题 1·免密登录操作 问题：安装Hadoop之前进行免密操作，但是ssh localhost时依旧要输密码 原来的操作为 ssh-keygen -t dsa -p ‘’ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 问题解决：操作将原来的～/.ssh里面的除了known_hosts文件都删除，重新执行以下命令 ssh-keygen -t rsa cat ~/.ssh/id_rsa
2021-03-28 01:40:42
435
原创 Mybatis学习（三）
配置文件学习 配置文件优化： mysql驱动配置优化前： <?xml version="1.0" encoding="UTF8"?> <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"> <!--configuration核心配置文件--> <confi
2020-10-27 23:09:10
197
原创 Mybatis学习采坑增删改查操作（二）
1、实体类不变 2、mybatis-config.xml文件不变 3、接口里面上篇文章只写了增加用户； 新增：删除、修改、单个查询、全部查询方法 package com.mybatis.dao; import com.mybatis.entity.User; import java.util.List; public interface UserD { //增加 public int addUser(User user); //删除 public ...
2020-10-24 00:44:27
207
原创 Mybatis学习入坑（一）
Mybatis创建工程 idea创建普通maven工程就可以; 用到的依赖：这里推荐官网看 https://mybatis.org/mybatis-3/zh 可以在里面自行选择需要的依赖，写在pom文件中 创建目录格式 注意src目录下的main下面java里面的package包一定要一层一层创建！！！！ resources里面的目录结构要和dao层接口的一样，同样要一层一层创建！！！！ 1、编写mybatis-config.xml文件 <?xml version="1.0" encoding="
2020-10-22 23:39:49
171
原创 hive安装过程中的各种深坑深坑
一、Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: KaTeX parse error: Expected '}', got 'EOF' at end of input: …a.io.tmpdir%7D/%7Bsystem:user.name%7D 原因是： <property> <na
2020-08-12 02:31:46
2942
原创 hive导入txt与mysql导入txt的区别以及途中遇到的找不到路径的问题
hive导入文件到hive表操作： 1、hdfs导入：load data inpath ‘/home/hive/student.txt’ into table student; 2、本地导入：load data local inpath ‘/hive/data/student.txt’ into table student; mysql导入文件的到mysql表操作： 1、服务端导入：load data infile “D:\student.txt” into table student delimited
2020-07-07 17:46:13
559
原创 hive初始化失败报错：Error: Duplicate key name ‘PCS_STATS_IDX‘ (state=42000,code=1061)
意思是key name ‘PCS_STATS_IDX’ (state=42000,code=1061)重复了，问题出在不是第一次初始化，因为我们在hive-site.xml中配置了 javax.jdo.option.ConnectionURL jdbc:mysql://192.168.200.137:3306/metastore?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore 这里初始化的时候就会创建数据库me
2020-07-06 18:19:04
9066
5
原创 Error: Cannot retrieve repository metadata (repomd.xml) for repository: mongdbPlease verify its path
yum安装mysql时报错，大致意思是http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/repodata/repomd.xml: [Errno 14]建立ssl连接有问题， 错误:不能检索存储库:mongodb的存储库元数据(repom .xml)。请验证其路径并重试 然后我看了一下mongodb.repo仓库如下图，enable=1说明这个repo可用，进行yum的时候，就会找这个仓库的链接，后来才明白过来不，这个是我安装mongodb的.
2020-07-06 13:20:53
940
原创 虚拟机centos7不能连接外网解决方案
问题：我的虚拟机突然不能联网了 情况1：可以ping通其他虚拟机 情况2：主机可以ping通虚拟机 解决历程：检查网络配置文件 vi /etc/sysconfig/network-scripts/ifcfg-ens32 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=
2020-06-18 15:22:33
1617
原创 idea上HDFS API练习之列出指定目录下的文件以及块的信息
代码： package com.dtinone.hadooptest1.hsfsapi; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.f...
2020-04-03 21:20:15
645
1
原创 idea上HDFS API练习纸配置文件conf
配置练习代码： package com.dtinone.hadooptest1.hsfsapi; import java.io.IOException; import java.util.Iterator; import java.util.Map.Entry; import org.apache.hadoop.conf.Configuration; import org.apache.had...
2020-04-03 21:07:01
298
原创 idea上HDFS上传下载API练习
1、创建工程、配置 参照文章使用idea使用远程虚拟机中的hadoop集群进行wordcount练习 练习代码： package com.dtinone.hadooptest1.hsfsgetput; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apa...
2020-04-03 20:12:55
626
1
原创 使用idea使用远程虚拟机中的hadoop集群进行wordcount练习
1、搭建window上的hadoop环境 2、idea上新建一个工程 3、在src目录下的main目录添加resources目录 直接点击resources 4、在resources目录下新建一个log4j.properties文件，并将以下配置信息写入到文件中 log4j.rootLogger=INFO, stdout, D # Console Appender log4j.appende...
2020-04-03 19:39:21
1760
1
原创 idea上新建maven工程
1、为方便平时练习，我们这里新建一个空maven工程 划线的地方先不勾选 填写工程名 点击finish,进入到以下界面，然后删除src目录 点击File-New-Module新建一个Module 新建一个maven项目 这里勾选Create-from-archetype 填入工程名 点next，然后在下图中可以选择自己的maven本地仓库，没有就选择默认的就行 点击finish完成新...
2020-04-03 19:04:32
371
原创 hadoop在windows10上的安装（我的是2.7.3版本）
第一步 下载hadoop-2.7.3，在官网Apache hadoop下载即可 解压到要安装的目录 第二步 在window中需要两个文件hadoop.dll以及winutils.exe,需要将这两个文件放到hadoop-2.7.3的bin目录下： 可以在网上搜索对应版本的这两个文件进行下载,hadoop.dll文件还要放到C:\Windows\SysWOW64里面一份 第三步 配置ja...
2020-04-03 15:46:27
934
原创 HDFS常用操作命令练习
练习在全分布式模式下启动了HDFS集群以及YARN集群 我的HDFS主节点配置在master，YARN管理主节点配置在slave1上 一、启动HDFS 在master主机下： cd /opt/apps/hadoop-2.7.3/sbin start-dfs.sh 如果是第一次启动需要先格式化 hdfs namenode -format 二、启动YARN集群 在slave1主机下 cd /opt...
2020-04-01 18:53:19
1968
原创 linux用户以及用户组相关操作
1、添加用户 useradd 用户名 2、删除用户 userdel 用户名 3、设置用户密码 passwd 用户名 4、添加用户组 groupadd 用户组名 5、删除用户组 groupdel 用户组名
2020-04-01 17:56:55
143
原创 Hadoop(三)HDFS认识和理解
一、HDFS(Hadoop Distributed File System的英文首字母缩写) 意思是Hadoop分布式文件系统，主要用来解决海量数据的存储问题 概念： HDFS是一个分布式的（何为分布式？在空间的任意点上随意分布）由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。其次是一个文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。 二、HDFS的设计思想 1、分散均匀...
2020-04-01 15:21:31
1490
转载 Hadoop(二)hadoop伪分布式、全分布式、高可用、联邦模式的区别
1、单机模式 表示所有的分布式系统都是单机的。 2、伪分布式模式（搭建在了只有一个节点的集群中） 表示集群中的所有角色都分配给了一个节点。 表示整个集群被安装在了只有一个节点的集群中的。 主要用于做快速使用，去模拟分布式的效果。 3、分布式模式 表示集群中的节点会被分配成很多种角色，分散在整个集群中。 主要用于学习测试等等一些场景中。 4、高可用模式 表示整个集群中的主...
2020-03-31 20:30:57
3091
原创 Hadoop（一）关于hadoop认识和理解
一、hadoop是什么？ 狭义上：hadoop是一个apache的一个顶级项目，一套开源软件平台 广义上：hadoop是以hadoop为核心的整个大数据处理体系 二、hadoop核心组件 1、Hadoop Common :支持其他Hadoop模块的常用工具 2、HDFS:hadoop分布式文件系统，提供对应用程序的高吞吐量访问 3、Hadoop Yarn:作业调度和集群资源管理框架 4、Hadoo...
2020-03-31 20:11:37
911
原创 Hadoop全分布式模式搭建详细流程
一、准备4台虚拟机 四台主机名分别设置为：master slave1 slave2 slave3（自定义） 1、关闭防火墙、设置静态IP 2、设置host文件，配置主机名 vi /etc/hostname #将localhost.localdomain改成master.localdomain #master是你要定义的主机名 vi /etc/hosts #配置hosts文件 127.0.0.1...
2020-03-31 18:02:42
653
原创 hadoop伪分布式模式搭建及HDFS常用命令练习
一、完成本地模式搭建 二、配置core-site.xml <!--指定HDFS namenode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://dtinone:9000</value> </property> <!--指定hadoop运行...
2020-03-30 14:06:19
755
原创 hadoop启动时datanode无法启动或者启动失败
一、问题描述 当我多次格式化文件系统时，如 [root@master]# cd /usr/local/hadoop/etc/bin/hdfs namenode -format 会出现datanode无法启动 二、问题产生原因 当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.namenode.name.dir在本地系统的路径）中保存一个c...
2020-02-26 18:32:53
512
原创 hadoop安装及简单本地模式配置
1.使用文件传输工具将jdk安装包压缩文件以及hadoop安装包压缩文件放到虚拟机指定目录/op t/install中 cd /opt/install 2.安装jdk， tar -zxvf jdk1.8.0_241.tar.gz -C /opt/apps/java 3,配置jdk环境变量： vi /etc/profile export JAVA_HOME=/opt/apps/java/jdk1...
2020-02-26 16:17:32
249
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人