- 博客(31)
- 问答 (3)
- 收藏
- 关注
RSS订阅转载 错误：failure: repodata/repomd.xml from mirrors.aliyun.com_: [Errno 256] No more mirrors to try.解决办法
出现问题解决步骤：1.删除老仓库cd /etc/yum.repos.drm -rf *.*2.卸载yum包rpm -qa yum yum-3.4.3-150.el7.centos.noarch卸载安装组件rpm -qa | grep yum | xargs rpm -e --nodeps rpm -qa yum #（没有内容就是卸载了）3.下载最新的rpm包在http://mirrors.163.com/centos/7/os/x86_64/Pa..
2022-04-18 22:10:50
4295
2
原创 HBase性能优化
一：数据库表数据优化(I）预创建HRegion 。用户可以在创建表的时候就顶无创建对 ion，这样就可以避免后期 HRegion自动拆分造成IO负载1．手动设定预分区 Hbase> create'staff1','info','partition1',SPLITS =>['1000','2000','3000','4000']2．生成 16 进制序列预分区 create 'staff2','info','partition2',{NUMREGIONS =>
2022-04-07 22:21:45
3569
原创 HBase与 Hive 的集成
一：HBase 与 Hive 的对比 1．Hive (1) 数据仓库 Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系，以 方便使用 HQL 去管理查询。 (2) 用于数据分析、清洗 Hive 适用于离线的数据分析和清洗，延迟较高。 (3) 基于 HDFS、MapReduce Hive 存储的数据依旧在 DataNode 上，编写的 HQL 语句终将是转换为 MapReduce 代码执 行。 2．HBase (1) 数据
2022-04-07 22:02:47
2102
原创 HBase 的安装部署
1 Zookeeper 正常部署 启动zookeeper命令：bin/zkServer.sh start（三台机器均启动）2 Hadoop 正常部署 启动hadoop命令：sbin/start-dfs.shsbin/start-yarn.sh3 HBase 的解压 1.解压 Hbase 到指定目录：tar -zxvf hbase-1.3.1-bin.tar.gz ...
2022-03-22 19:56:58
3123
原创 set接口之TreeSet
一：TreeSet:可以按照添加对象的指定属性进行排序1.向TreeSet中添加的数据，要求是相同类的对象2.两种排序方式：自然排序和定制排序3.自然排序中，比较两个对象是否相同的标涯为:compareTo()返回0.不冉是equals()4.定制排序中，比较两个对象是否相同的标准为: compare()返回e.不再是equals()注意！不能添加不同类的对象@Test public void test2(){ Comparator com = new Comp
2021-12-25 17:59:50
345
原创 collection接口之set接口
一：collection接口；单列集合，用来储存一个一个的对象 set接口：无序，不可重复--高中讲的集合 HashSet:作为set接口的主要实现类，线程不安全，可以储存null值 LinkedHashSet:作为HashSet的子类，遍历其内部数据时，可以按照添加的顺序遍历 优点：对于频繁的遍历操作，LinkedHashSet高于HashSet TreeSet:可以按照添加对象的指定属性进行排序 1.s.
2021-12-25 17:56:07
712
原创 list接口常用方法
1.void add(int index, Object ele):在index位置插入ele元素2. boolean addAll(int index, Collection else):从index位置开始将else中的所有元素添加进来3.object get(int index):获取指定index位置的元素@Test public void test1(){ ArrayList list = new ArrayList(); //Linke.
2021-12-25 17:53:42
670
原创 collection接口之List接口
collection接口；单列集合，用来储存一个一个的对象 list接口：有序，可重复--”动态“数组 ArrayList:作为List接口的主要实现类，线程不安全，效率高 LinkedList:对于频繁的插入，删除操作，使用此类效率比ArrayList()高： 底层使用双向链表存储 Vector:作为List接口的古老实现类，线程安全，效率低 面试题：ArrayList,LinkedList, Vector.
2021-12-25 17:50:42
316
原创 java集合元素的遍历
一：集合元素的遍历，使用迭代器Iterator接口 1.内部方法hasNext()和Next()使用2.集合对象每次调用iterator()方法都会得到一个全新的迭代器对象， 默认游标都在集合的第一个元素之前 3.内部定义了remove(),可以在遍历的时候，删除集合中的元素。此方法不同于集合直接调用remove()epublic class IteratorTest { @Test public void test1(){ Collection col..
2021-12-25 17:45:05
554
原创 Collection接口的方法的使用
1.add():将元素添加到集合coll中2.size：获取添加元素的个数3.addAll():将coll1中集合的元素添加到当前的集合中4.clear;清空集合元素5.isEmpty():判断当前集合是否为空（是否有元素）@Test public void test1(){ Collection coll = new ArrayList(); //1.add():将元素添加到集合coll中 coll.add("AA").
2021-12-25 17:40:41
259
原创 java集合
一：集合框架的概述 1.集合和数组都是对数据进行存储操作的工具，简称java容器。说明:此时的存储主要指内存方面的存储，不涉及到持久化的存储 2.1数组在存储多个数据方面的特点 >一但初始化以后，其长度就确定了 >数组一旦定义好，其元素的类型就确定了。我们只能操作指定类型的数据了 比如:String[] arr;int[] arr1;Object[] arr2; 2.2数组在存储多个数据方面的缺点 >一但初始化以后，其长度不可修改 >数组中提供的方法非常有限，.
2021-12-25 17:34:54
335
原创 注解的使用
1．注解的理解jdk 5.0新增的功能Annotation其实就是代码里的特殊标记，这些标记可以在编译，类加载，运行时被读取，并执行相应的处理。通过使用Annotation,程序员可以在不改变原逻辑的情况下，在源文件中嵌入一些补充信息。在JavaSE中，注解的使用目的比较简单，例如标记过时的功能，忽略警告等。在JavaEE/Android*中注解占据了更重要的角色，例如用来配置应用程序的任何切面，代替JavaEE旧版中所遗留的繁冗*代码和XML配置等。框架 = 注解 + 反射机制 + 设计模式2.
2021-12-23 18:07:57
199
原创 比较throw和 throws的异同
一：同:二者没有什么联系，是两个不同的关键字，时递进关系二：throw:生成一个异常对象，并抛出。使用在方法内部<->自动抛出异常对象sthrows:处理异常的方式。使用在方法声明处的末尾<->try-catch-finally-理解：“上游排污，下游治污”...
2021-12-23 17:22:53
290
原创 枚举类的使用
一：枚举类一、枚举类的使用1.枚举类的理解:类的对象只有有限个，确定的。我们称此类为枚举类2.当需要定义一组常量时，强烈建议使用枚举类3.如果枚举类中只有一个对象，则可以作为单例模式的实现方式。二：如何定义枚举类方式一: jdk5.0之前，自定义枚举类 1.声明Season对象的属性:private final修饰 2.私有化类的构造器,给对象属性赋值 3.提供当前枚举类的多个对象：pub...
2021-12-23 16:57:34
3329
原创 Comparable接口与Comparator的使用
一、说明：JAVA中的对象，正常情况下，只能进行比较：==或！=。不能使用>或<的但是在开发场景中，我们需要对多个对象进行排序，言外之意，就需要比较对象的大小。如何实现?使用两个接口中的任何一个: Comparable或Comparator二、Comparable接口与Comparator的使用的对比: Comparable接口的方式一旦一定，保证Comparable接口实现类的对象在任何位置都可以比较大小 Comparator接口属于临...
2021-12-06 13:07:40
681
原创 java.util.Date和java.sql.Date的使用
1.两个构造器的使用: 构造器一:Date():创建一个对应当前时间的Date对象 构造器二:创建指定毫秒数的Data()对象2.两个构造方法的使用 >toString():显示当前的年月日时分秒 >getTime():获取当前Date对象对应的毫秒数。（时间戳）3. java.sqL.Date对应着数据库中的日期类型的变量 >如何实例化 >如何将java.ut...
2021-12-06 13:03:10
1020
原创 JDK8.0 之前日期和时间的API测试
java.util.Date类|java.sql.Date 1.两个构造器的使用: 构造器一:Date():创建一个对应当前时间的Date对象 构造器二:创建指定毫秒数的Data()对象 2.两个构造方法的使用 >toString():显示当前的年月日时分秒 >getTime():获取当前Date对象对应的毫秒数。（时间戳） 3. java.sq.
2021-11-22 17:52:03
108
原创 关于StringBuffer和StringBuilder的使用
一：对比string、StringBuffer、StringBuilder三者的效率:从高到低排列: StringBuilder > StringBuffer > String二：StringBuffer的常用方法: StringBuffer append(xxx):提供了很多的append()方法，用于进行字符串拼接 StringBuffer delete(int start, int end):删除指定位置的内容
2021-11-22 17:49:54
1370
原创 String的常用方法
一：String的常用方法1.int length():返回字符串的长度:return value.Length2.char charAt(int index):返回某索引处的字符return value[index]3.boolean isEmpty():判断是否是空字符串: return value.length == 04.string toLowerCase():使用默认语言环境，将string中的所有字符转换为小写5.String toUppercase():使用默认语言环境，将str.
2021-11-22 17:46:04
148
原创 String类的使用
String实例化的方式 方式一:通过字面量定义的方式 方式二:通过new + 构造器的方式面试题:String s = new String("abc");:方式创建对象，在内存中创建了几个对象？ 两个:一个是堆空间只能的new结构，另一个是char[]对应的常量池中的数据:"abc"。String:字符串，使用一对“”引起来表示 1.String声明为final的，不可被继承 2.String实现了Serializable接口:表示字符串时支持序列化的 .
2021-11-22 17:41:12
143
原创 错误Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO
问题描述hadoop在本地执行MapReduce出现了如下相关异常：Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO解决办法1.创建一个包名为org.apache.hadoop.io.nativeio的包2.在这个包下创建一个名为NativeIO.java的类3.加入以下代码/** * Licensed to the Ap.
2021-11-18 13:59:59
5269
4
原创 错误Exception in thread “main“ org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path
原因在使用 Eclipse 运行 MapReduce 程序时，会读取 Hadoop-Eclipse-Plugin 的 Advanced parameters 作为 Hadoop 运行参数，如果我们未进行修改，则默认的参数其实就是单机参数，因此程序运行时是读取本地目录而不是 HDFS 目录，就会提示 Input 路径不存在。解决办法在项目的src下加入core-site.xml和hdfs-site.xml两个文件，以及 log4j.properties 复制到 WordCount 项目下的 src
2021-11-18 13:50:33
6365
原创 错误Could not locate executable null\bin\winutils.exe in the Hadoop binaries的解决方案
问题描述：elipse上运行mapreduce时错误，出现Could not locate executable null\bin\winutils.exe in the Hadoop binaries。解决办法1.在hadoop的bin目录下加入一个winutils.exe文件winutils.exe下载地址：
2021-11-18 13:29:31
7181
原创 文件的合并与去重
一：设计思路数据去重的 最终目标是让 原始数据中 出现次数超过一次的数据在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器，无论这个数据出现多少次，只要在最终结果中输出一次就可以了。具体就是reduce的 输入应该以 数据作为 key，而对value-list则 没有要求。当reduce接收到一个<key，value-list>时就 直接将key复制到输出的key中，并将value设置成 空值。 在MapReduce流程中，map的输出<ke
2021-11-13 15:41:04
3127
原创 多线程（四）
创建线程的方式三：实现Callable接口-->jdk5.0新增* 如何理解实现callable接口的方式创建多线程比实现runnable接口创建多线程方式强大？* 1.call()可以有返回值* 2.call()可以抛出异常，被外面的操作捕获，获取异常信息* 3.clll()支持泛型实现Callable接口创建多线程1.创建一个实现callable的实现类2.实现call方法，将此线程需要执行的操作声明在call()中3.创建calla.
2021-11-12 16:11:21
70
原创 多线程（三）
解决线程安全问题的方式三：Lock锁 --->jdk5.0新增1.实例化ReentrantLock2.调用锁定方法lock3.使用解锁方法线程通信 使用两个线程打印1-100.线程1和线程2分别打印 涉及到的三个方法 wait():一旦执行此方法，当前线程就进入阻塞状态，并释放同步监视器 notify():一旦执行此方法，就会唤醒被wait的一个线程，如果有多个线程被wait，就唤醒优先级高的线程 notifyAll():一旦执行此方法，就会唤醒所有.
2021-11-12 16:06:34
356
原创 多线程（二）
一：解决线程安全问题例子：创建三个窗口买票1.问题：买票过程中，出现了重票，错票 -->出现了线程的安全问题2.原因：当某个线程操作车票的过程中，尚未操作完成时，其他线程参体验进来，也操作车票3.如何解决：当一个线程a在操作ticket时，其他线程不能参与进来。直到线程a操作完ticket时，其他线程才可以开始操作ticket。 这种情况即使线程a出现了阻塞，也改变不了4. java中，我们通过同步机制，来解决安全问题 方法一：同步代码块
2021-11-11 15:09:11
45
原创 多线程（一）
测试Thread中常用的方法1.start():启动当前线程，调用当前线程的run();2.run():通常需要重写Thread类中的此方法，将创建的线程执行的操作声明在此方法中；3.currentThread():静态方法，返回执行当前代码的线程；4.getname():获取当前线程的名字；5.setname():设置当前线程的名字;6.yieid():释放当前cpu的执行权7.j...
2021-11-10 10:41:58
407
原创 常见的异常
我遇到的异常一、数组越界异常Java.lang.ArrayIndexOutofBoundsException产生的原因：访问了不存在的索引解决的办法：索引0到数组长度-1的范围内取值NullPointException空指针异常二、空指针异常Java.lang.NullPointerException产生的原因：对象没有创建就访问了元素或者方法或者属性解决的办法:先找出出现的所有引用类型，判断哪个对象是没有new的元素或者方法或者属性，三，类型转换异常Java.lang.Clas..
2021-11-02 13:26:34
81
原创 配置ssh免密码登录
SSH ( Secure Shell)是建立在TCP/TP协议的应用层和传输层基础上的安全协议。SSH保障了远程登录和网络传输服务的安全性，起到了防止信息泄露等作用。通过SSH可以对文件进行加密处理，SSH也可以运行于多平台。一： 配置SSH无密码登录的步骤如下，以下步骤都是在主节点master 上操作的。( 1）使用ssh-keygen产生公钥与私钥对。输入命令“ssh-keygen -t rsa”，接着按三次“Enter”键，生成私有密钥id_rsa和公有密钥id rsa.pub两个文件。ss
2021-09-24 09:10:07
15680
空空如也
使用spark streaming进行实时数据统计并保存到redis。
2022-01-30
进行hadoop集群启动时，出现如下图所示内容是否成功
2021-09-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人