自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(56)
  • 收藏
  • 关注

原创 hive学习(六)

Lateral View可以将UDTF应用到源表的每行数据,将每行数据转换为一行或多行,并将源表中每行的输出结果与该行连接起来,形成一个虚拟表。---posexplode(将array集合的元素及其下标分成两列显示出来)可分为日期函数,字符串函数,集合函数,数学函数和流程控制函数等。----explode(将map类型集合炸裂成2列)---explode(将一个数组炸裂成多行)UDTF,接收一行数据,输出一行或多行数据。特点:输入一行,输出一行(一进一出)8)炸裂函数(UDTF)---inline函数(

2024-09-01 19:30:25 705

原创 hive学习(五)

介绍:Export将表的数据和元数据信息一并导出到Hdfs路径,Import将Export到处的内容导入Hive,表的数据和元数据信息都会恢复。cluster by 除了具有distribute by 的功能外还兼具sort by的功能。结合sort by使用,且要求Distribute by 要在Sort by语句之前。--内连接(只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来)--左外连接(JOIN操作符左边表中符合WHERE子句的所有记录将会被返回)6)Join语句(与SQL相似)

2024-08-31 13:54:45 1168

原创 hive学习(四)

语法:load data [local] inpath 'filepath ' into table tablename partition(分区字段1='分区值1', 分区字段2='分区值2'...);指定动态分区模式(nonstrict非严格模式和strict严格模式)注:strict严格模式要求至少要有一个分区为静态分区)1.静态分区(需要手动指定分区字段的值)2.动态分区(自动指定分区字段的值)确认是否开启动态分区功能。一、分区表的数据导入。

2024-08-18 20:23:34 521

原创 hive学习(三)

注:需要注意的是,这里就算直接把txt文件的数据存放到hdfs上表对应的存储目录,那么在select * FROM时也能查出后来添加的数据,因为建表定义存放位置时,实际是指向具体的文件,将文件映射成表结构展示出来。概念:将表的数据分目录存储,存储在不同的文件夹下,然后按照不同的目录查询数据,不需要进行全量扫描,提升查询效率。2)location可以指定(存放在数据存放的具体目录),也可以不指定。注:1)分区字段不能是表中已经存在的字段。2)分区字段可以不止一个,可以设置多个。5.内部表和外部表的区别。

2024-08-18 19:43:49 553

原创 hive学习(二)

【代码】hive学习(二)

2024-08-11 20:26:02 318

原创 Hive学习(一)

CLI(提供交互shell方式接入hive)、JDBC/ODBC(java访问hive),WEBUI(浏览器访问hive),可以将结 构化的数据文件映射成一张表,并提供 SQL查询功能,用于解决海量数据结构化日志的数据统计工具。包括表名、表所属的数据库、表的拥有者、列/分区字段、表的类型和表的数据所在目录等。1)由于MapReduce数据处理流程的限制,效率更高的算法无法实现(3)Hive执行延迟比较高(常用于数据分析,对实时性要求不高的场合,4)boolean类型不可以转换为任何其它的类型。

2024-08-11 16:59:07 562

原创 Hadoop学习(四)

2)根据Application状态过滤:yarn application -list -appStates (所有状态:ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED)2)查询Container日志:yarn logs -applicationId <ApplicationId> -containerId <ContainerId>3.3 查看尝试运行的任务(yarn applicationattempt)

2024-08-04 21:12:00 528

原创 Hadoop学习(三)

1)虚拟存储过程:将输入目录下所有文件大小,依次和设置的setMaxInputSplitSize值比较,如果不大于设置的最大值,逻辑上划分一个块。应用场景:适用于小文件过多的场景,它可以将多个小文件从逻辑上规划到一个切片(数据切片)中,多个小文件就可以交给一个MapTask处理。2)数据切片(MapReduce程序计算输入数据的单位):只是在逻辑上对输入进行分片,不在磁盘上将其切成分片进行存储。逻辑,这样增加Map端业务,减少Reduce端数据的压力,尽可能的减少数据倾斜。保证输出的每个文件内部有序。

2024-08-03 21:57:01 1622 1

原创 hadoop学习(二)

(7)如果需要将自定义的bean放在key中传输,则还需要实现Comparable接口,因为MapReduce框中的Shuffle过程要求对key必须能排序。Java的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息,Header,继承体系等),相当于YARN集群的客户端,用于提交我们整个程序到YARN集群,提交的是封装了MapReduce程序相关运行参数的job对象。流式计算的输入数据是动态的,而MapReduce的。

2024-07-28 21:17:21 975

原创 hadoop学习(一)

4)Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等.(一个Container容器默认内存是1-8G)1)NameNode(nn):存储文件的元数据,例如文件名,文件目录结构,文件属性,以及每个文件的块列表和块所在的DataNode等。3)块的大小不能设置太小(会增加寻址时间),也不能设置太大(从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间).。2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。

2024-07-28 20:15:47 1376

原创 多线程(java学习)

由于java是单继承的,在某些情况下一个类可能已经继承了某个父类,这时在用继承Thread类的方法创建线程就不太现实,因此可以通过实现Runnable接口来创建线程。start()方法调用start0之后,该线程不一定会立马执行,只是将线程变成了可运行状态。具体什么时候执行,取决于cpu,由cpu统一调度.3.并发:同一时刻,多个任务交替执行,造成一种“貌似同时”的错觉,简单的说,单核cpu实现的多任务就是并发。4.并行:同一时刻,多个任务同时执行。1.单线程:同一个时刻,只允许执行一个线程。

2024-04-07 22:12:34 271

原创 泛型(java学习)

1)泛型又称参数化类型,解决数据类型的安全性问题。2)在类声明或实例化时只要制定好需要的类型即可。3)Java类型可以保证如果程序在编译时没有发出警告,运行时就不会参数ClassCastException异常,代码也更加简洁、健壮。4)泛型的作用是:可以在类声明时通过一个标识表示类中某个属性的类型,或者是某个方案的返回值的类型,或者是参数类型.class Student<E>{//在类声明时通过一个标识表示类中某个属性的类型E name;

2024-04-07 21:12:35 383

原创 Mysql基础学习

介绍:是一组操作的集合,它是一个不可分割的工作单位,事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求,即这些操作要不同时成功,要不同时失败。内容:约束是作用于表中字段上的规则,用于限制存储在表中的数据.为了保证数据库中数据的正确、有效性和完整性。自连接:当前表与自身的连接查询,自连接必须使用表别名,自连接查询可以是内连接查询,也可以是外连接查询。行子查询(子查询结果为一行):子查询返回的结果是一行(可以是多列)1)一对多(在多的那张表上建立外键,然后指向一对应的表的主键)

2024-03-31 20:33:53 1267

原创 java学习(集合)

2)是hashtable的子类,即key和value的值都不能为null.基本介绍:1)通过key-value存放数据。二、Map接口实现类-Hashtable。2.Map接口的遍历遍历方法。三、properties。1.Map接口常用方法。

2024-03-24 20:36:19 315

原创 mysql基础学习

介绍:DML(数据操作语言),用来对数据库中表的数据记录进行增删改操作。

2024-03-24 20:04:58 428

原创 java学习(集合)

1)Set接口的实现类的对象,不能存放重复的元素,因此只能添加一个null2)Set接口对象存放的数据是无序的(即添加的顺序和取出的熟悉不一样),没有索引3)取出元素的顺序相同(即之后取出顺序的元素都与第一次取出顺序的元素相同)4)常用方法和Collection接口一样5)遍历方式有两种:迭代器、增强for循环,由于没有索引,不能通过普通for循环进行遍历。

2024-03-17 20:20:12 1612

原创 java学习(集合)

3)有些Collection的实现类,有效是有序的(List),有些是无序的(Set)4)Collection接口没有直接地实现子类,是通过子接口Set和List来实现的。1)collection实现子类可以存放多个元素,每个元素可以是Object。2)有效Collection的实现类,可以存放重复的元素,有些不可。3.Collection接口常用方法。

2024-03-10 14:38:59 523

原创 java学习(Arrays类和System类)

--LocalDateTime包含日期+时间,可以获取日期和时间字段.---LocalDate:只包含日期,可以获取日期字段。---LocalTime:只包含时间,可以获取时间字段。列静态方法,用于管理或操作数组(比如排序和搜索)DateTimeFormatter格式日期类。Arrays包含了一系。Instant时间戳。

2024-03-10 11:25:27 648

原创 java学习(常用类)

一、包装类(针对八种基本数据类型相应的引用类型--包装类.1)包装类和基本数据类型的相互转换。装箱:基本类型->包装类型。拆箱:包装类型->基本类型。插入知识点:三元运算符。

2024-03-03 18:14:53 525

原创 java学习

3)子类重写父类的方法时,对抛出异常的的规定:子类重写的方法,所抛出的异常类型要么和父类抛出的异常一致,要么为父类抛出的异常的类型的子类型.4)可以有多个catch语句,捕获不同的异常(进行不同的业务处理),要求父类异常在后,子类异常在前,如果发生异常,只会匹配一个catch。在方法声明中用throws语句可以声明抛出异常的列表,throws后面的异常类型可以是方法中产生的异常类型,也可以是它的父类.2)throws:将发生的异常抛出,交给调用者(方法)来处理,最顶级的处理者就是JVM。

2024-03-03 14:48:30 1548

原创 java学习

1)toString:Enum类已经重写过了,返回的是当前对象名,子类可以重写该方法,用于返回对象的属性信息。1)当使用enum关键字开发一个枚举类时,默认会继承Enum类,而且是一个final类。5)valueOf:将字符串转换为枚举对象,要求字符串必须为已有的常量名,否则报异常。含义:枚举属于一种特殊的类,里面只包含一组有限的特定的对象。6)compareTo:比较两个枚举常量,比较的就是位置号。2)name:返回当前对象名(常量名),子类中不能重写。4)values:返回当前枚举类中所有的常量。

2024-02-25 23:20:35 406

原创 java学习

7)如果一个类继承了抽象类,则它必须实现抽象类的所有抽象方法,除非它自己也声明为abstract类。当子类继承了父类,就自动地拥有父类的功能如果子类需要扩展功能,可以通过实现接口的方式扩展 ,2)接口中所有的方法是public方法,接口中抽象方法,可以不用abstract修饰。内部类最大的特点就是可以直接访问私有属性,并且可以体现类与类之间的包含关系。a)可以访问外部类的所有静态成员,包含私有的,但不能直接访问非静态成员。2.如果一个类实现接口。3)一个普通类实现接口,就必须将该接口的所有方法都实现。

2024-02-18 20:12:11 669

原创 java学习(面向对象高级部分)

1)类变量的含义:类变量也叫静态变量/静态属性,是该类它时,修改的也是同一个变量。的所有对象共享的变量,任何一个该类的对象去访问它时,取到的都是相同的值,同样任何一个该类的对象去修改。7)构造方法(构造器)的最前面其实隐含了super()和调用普通代码块,静态相关的代码块、属性初始化,在类加载时,就执行完毕,因此是优先于构造器和普通代码块执行的。5)普通的代码块,在创建对象实例时,会被隐式地调用,被创建一次,就会调用一次。3)如果final修饰的属性是静态的,则初始化的位置只能是:定义时、在静态代码块。

2024-02-11 01:39:30 525

原创 java学习(多态)

2)equals: 是Object类中的方法,只能判断引用类型 ,默认判断的地址是否相等,子类中往往重写方法,用于判断内容是否相等。扩展:instanceOf比较操作符:用于判断对象的类型(此时讨论的是运行类型)是否为。要求父类的引用必须指向的是当前目标类型的对象。1)多态数组:数组的定义类型为父类类型,里面保存的实际元素类型为子类类型。2)多态参数:方法定义的形参类型为父类类型,实参类型允许为子类类型。2.语法:父类类型 引用名=new 子类类型();2.特点:只能强转父类的引用,不能强转父类的对象。

2024-02-09 11:09:00 416

原创 java学习(面向对象基础)

2)当子类中有和父类中的成员(属性和方法)重名时,为了访问父类的成员,必须通过super。如果没有重名,使用super(在使用super找方法时,与this和直接访问不同,在调用方法时,没有查找本类这一步骤)、this、直接访问是一样的效果!3)super的访问不局限于直接父类,如果爷爷类和本类中有同名的成员,也可以使用super去访问爷爷类的成员;,在父类中定义这些相同的属性和方法,所有的子类不需要重新定义这些属性和方法,只需要。1)访问父类的属性,但不能访问父类的private属性。

2024-02-03 19:32:24 510

原创 java(面向对象基础)

面向对象的三大特征:封装、继承、多态一、封装用 类设计对象处理某一个事物的数据时,应该把要处理的数据,以及处理这些数据的方法,设计到一个对象中去。封装规范:合理隐藏,合理暴露(先将成员变量全部隐藏起来,然后设计合理的方法来暴露给外界访问)公开成员:可以使用public进行修饰。隐藏成员:使用private进行修饰。二、实体JavaBean实体类含义:一种特殊形式的类。所具备的条件:1)这个类中的成员变量都要私有,并且要对外提供get,set的办法。

2024-02-02 20:57:07 769

原创 python学习(一)

1)同type()语句一样,这三个语句,都是带有结果的(返回值),可用print之间输出或用变量储存结果值。注:当需要输出多个内容时,可用print(内容一,内容二,内容三,......)三、type语句(既可以查看字面量的类型,也可以查看变量中储存的数据类型)注:变量的命名规范:见名知意、下划线命名法、英文字母全小写。1)标识符命名中只允许出现英文、中文、数字和下划线。2.用变量存储type()的结果(返回值)注:变量无类型,但是它存储的数据有。二、变量(在程序运行时,记录数据)3)不可以以数字开头。

2024-01-27 18:13:01 400

原创 Java学习(面向对象基础)

b)一旦定义了有参数构造器,java就不会帮我们的类自动生成无参构造器,此时就就建议自己手写一个无参构造器出来;定义:用类设计对象处理某一个事物的数据时,应该把要处理的数据,以及处理这些数据的方法,设计到一个对象中去。,哪个对象调用方法,this就指向哪个对象。面向对象编程:开发一个一个的对象,把数据交给对象,再调用对象的方法来完成对数据的处理。a)对象创建时,我们可以指定对象去调用哪个构造器执行。类(class)是对象的设计图,对象的模板。4)构造器(创造对象时,对象会去调用构造器)

2024-01-27 18:11:44 315

原创 java学习(方法)

一个类中,出现多个方法的名称相同,但是它们的形参列表是不同的,那么这些方法就称为方法重载。定义:方法时一种语法结构,它可以把一段代码封装成一个功能,以便重复使用,方法定义后,必须调用才可以跑起来。1)如果方法不需要返回数据,返回值类型必须声明成void,此时方法内部不可以使用return返回数据。2)方法如果不需要接收数据,则不需要定义形参,且调用方法也不可以传数据给方法了。4)调用有返回值的方法,有3种方式:可以定义变量接收结果、直接输出调用、直接调用。5)调用无返回值的方法,只有1种方式;

2024-01-26 17:28:09 315

原创 动态初始化数组

定义数组时先不存入具体的元素值,只确定数组储存的数据类型和数组的长度。注:静态初始化和动态初始化数组的写法是独立的,不可以混用。

2024-01-21 12:33:09 475

原创 java程序流程控制

1.表达式类型只能是byte、short 、int、char,JDK5开始支持枚举,JDK7开始支持String,不支持double、float、long。当存在多个case分支的代码相同时,可以把相同的代码放到一个case块中,其他的case块都通过穿透性穿透到该case执行代码即可,这样可以简化代码。实用例子:当需要生成a-b之间的随机数时,int n=num.nextInt(b-a+1)+a;注意:nextInt(n)功能只能生成:0至n-1之间的随机数,不包含n。2.写一行代码拿到随即对象。

2024-01-21 11:49:39 431

原创 java基础语法

口诀:能算则算,不能算则拼在一起(如果能进行算术运算,则进行运算,不能则进行拼接)以下例子通过a+=b的运算,a依然是int类型,并没有自动转换为double类型。注:表达式中,byte、short、char是直接转换成int 类型参与运算的。在表达式中,小范围类型的变量,会自动转换成表达式中较大范围的类型,再参与运算。强制要求:不能以数字开头,不能用关键字作为名字、并区分大小写。强制将类型范围大的变量、数据赋值给类型范围小的变量。类型范围小的变量,可以直接赋值给类型范围大的变量。八、+做连接符的情况。

2024-01-20 22:24:47 441

原创 凑字数中~

【代码】凑字数中~

2024-01-05 21:45:49 403

原创 文件操作~

系统自动地在内存区为每一个正在使用地文件开辟一个缓冲区(512字节)优点:减少对磁盘的实际读写次数。文件指针类型:FILE *fp。

2023-12-30 20:46:23 487

原创 vector数组相关知识

std::sort 可以用于对vector的排序,使用时要注意vector中的元素重载了运算符<或者有自行指定过比较函数。可以通过线上C++帮助文档获取vector的各个成员函数的介绍以及使用方法。vecotr::operator[] 通过下标访问数组中的元素。vector::pop_back 删除数组尾部的元素。vector::oush_back 在数组尾部添加元素。(1)不带参数的构造函数初始化。(2)带参数的构造函数初始化。

2023-12-30 20:21:53 543

原创 “非常男女”计划(线性数据结构)

【代码】“非常男女”计划(线性数据结构)

2023-12-17 22:27:06 464

原创 区间动态规划

【代码】区间动态规划。

2023-12-14 21:17:00 526 1

原创 全排列(dfs思想、递归思想)

【代码】全排列(dfs思想、递归思想)

2023-12-13 17:20:03 435

原创 最长公共子序列(动态规划)

dp数组规律:1)如果a数组的第i个字符等于b数组的第j个字符相同,则公共子序列长度+1,接着再对比a数组的前i-1个字符和b数组的j-1个字符。2)如果a数组的第i个字符与b数组的第j个字符不相同,则可以选择将a[i]去掉或b[j]去掉,取两种情况的最大值。解题思路:不断将a数组的前i个字符与b数组的前j个字符对比。

2023-12-10 13:45:24 487 1

原创 求最大连续字段和

【代码】求最大连续字段和。

2023-12-09 21:17:26 599 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除