- 博客(93)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 mapreduce 中setup()和cleanup()
hadoop中的MapReduce框架里已经预定义了相关的接口，其中如Mapper类下的方法setup()和cleanup()。setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！ cleanup(),此方法被MapReduce框架仅且执行一次，在执行完毕Map任务后，进行相关变量或资源的释放工作。若是将释
2021-02-24 10:33:50
447
转载 ImmutableBytesWritable
实现了WritableComparable接口public class ImmutableBytesWritableimplements WritableComparable<ImmutableBytesWritable>可用作key或value的节序列。基于BytesWritable，该类不可调整大小，并且不像BytesWritable那样区分序列大小和当前容量。因此它相对来说是“不变的”。创建此类的新实例时，不会复制byte[]，而只是引用它。当我们进行序列化时，将访问备份.
2021-02-22 17:14:16
1489
原创 查看oozie工作流节点和job作业详细日志信息命令
查看oozie工作流详细信息命令oozie job -info 000****-2010888888-oozie-hado-W(oozie的ID)查看job工作详细日志信息yarn logs -applicationId application_*****_****（jodID）
2021-02-03 17:14:30
685
转载 hadoop之yarn界面
转载于https://blog.youkuaiyun.com/qq_32641659/article/details/879124521、hdfs的web界面介绍1.1、访问地址：http://ip:50070,默认是50070端口1.2tab页功能介绍overview：显示概要信息,关注度较高，主要关注如红色圈信息datanodes：显示所有datanode节点信息，关注度一般DatanodeVolume Failures：失败的数据节点卷，关注度低snapshot: 快照，...
2021-01-28 15:33:32
4957
1
原创 Myeclipse连接HDFS无法操作文件夹
今天遇到一个问题，myeclipse连接Hadoop之后，可以查看hdfs的文件，但是不能创建文件夹以及上传文件到hdfs，网上百度了很久，好多方法都没用分析之后我遇到的是权限问题，最后解决的方法是添加Hadoop用户的系统变量 HADOOP_USER_NAME=hadoop，最后解决问题！...
2021-01-27 18:29:52
133
转载 Hbase列存储理解
本文转自于https://blog.youkuaiyun.com/qq_42346966/article/details/103897778常见的NoSQL数据库常见分类:Key-Value- Redis|SSDBDocument- MongoDB|Elasticsearch|Solr列存储- HBase图像关系- Neo4j 等.和关系数据库不同,NoSQL不同种类产品之间不可相互替换. 行存储特点-RDBMS ID name password age sex ...
2021-01-26 14:54:43
295
转载 [sql table] TRUNCATE TABLE 语法
清空表语法：TRUNCATE [TABLE] tbl_name1介绍：TRUNCATE TABLE完全的清空一个表。这个操作需要DROP权限逻辑上讲，TRUNCATE TABLE 和 DELETE语句的删除所有行相似，或者DROP TABLE 和 CREATE TABLE语句相似。为了实现高性能，它越过了DML方法的删除数据，所以他不可以回滚，他不触发ON DELETE触发器，当InnoDB型的表有额外的外键关系时，此语句不能工作。尽管TRUNCATE TABLE与DELETE语句相
2021-01-21 14:38:44
2082
原创 insert overwrite 用法
insert overwrite的用法： INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] \ select_statement1 FROM from_statement;如果查询出来的数据类型和插入表格对应的列数据类型不一致，将会进行转换，但是不能保证转换一定成功，比如如果查询出来的数据类型为int，插入表格对应的列类型为string，可.
2021-01-21 14:21:24
21853
转载 SQL LEFT JOIN 关键字
SQL LEFT JOIN 关键字LEFT JOIN 关键字从左表（table1）返回所有的行，即使右表（table2）中没有匹配。如果右表中没有匹配，则结果为 NULL。SQL LEFT JOIN 语法SELECTcolumn_name(s)FROMtable1LEFT JOINtable2ONtable1.column_name=table2.column_name;或：SELECTcolumn_name(s)FROMtable1LEFT OUTER JO...
2021-01-21 12:20:06
136
原创 sql中CDATA标签的用法
在学习Hadoop Ooziez中，sql语句会出现CDATA，这指的是不应由 XML 解析器进行解析的文本数据（Unparsed Character Data）。在 XML 元素中，"<" 和 "&" 是非法的。"<" 会产生错误，因为解析器会把该字符解释为新元素的开始。"&" 也会产生错误，因为解析器会把该字符解释为字符实体的开始。在xml中写sql语句时，遇到特殊字符时，如：< 等，建议使用<![CDATA[ sql 语句 ]]>标记，将.
2021-01-20 11:53:49
6450
1
转载 hive加载数据操作
https://blog.youkuaiyun.com/qq_33689414/article/details/80063704?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2.control
2021-01-20 11:09:08
109
转载 工作流引擎Oozie：coordinator
项目组需要，暂时只能抽时间spring的东西，先研究Hadoop。本篇学习了Oozie中的coordinator1. 简介coordinator是workflow的定时提交器，基于时间条件与数据生成触发（based on time and data triggers）。简单点说，coordinator按所定义的时间周期进行轮询，若数据生成条件满足，则触发workflow任务；否则，则等待数据生成或跳过（调度策略由设置的超时时间决定）。2. 详解coordinator-app<
2021-01-14 15:17:03
467
原创 SpringMVC之JSON使用
前后端数据之间的交互一般都是采用json格式，那json格式到底是什么样的？json格式为用{“var1”:"value1","var2":"value2"}，采用的是键值对的形式，每个参数和值都使用“”包裹，相邻参数用逗号隔开。1、使用json首先要导入json依赖： <dependency> <groupId>com.fasterxml.jackson.core</groupId> <a
2021-01-12 14:30:16
378
原创 SpringMVC之注解开发
1、前一篇已经配置过环境，依赖已经导入，现在直接写web.xml文件：主要是servlet注册、关联springmvc配置文件，设置启动优先级、以及请求拦截<?xml version="1.0" encoding="UTF-8"?><web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi
2021-01-11 23:31:52
111
原创 SpringMVC之第一个mvc程序
1、导入依赖，确保导入web-mvc的依赖 <dependencies> <dependency> <groupId>javax.servlet</groupId> <artifactId>javax.servlet-api</artifactId> <version>4.0.1</version>
2021-01-11 20:13:07
148
原创 javaweb之servlet
本篇学习的式javaweb中servlet，写了第一哥servlet程序1、导入依赖包 <dependency> <groupId>javax.servlet</groupId> <artifactId>javax.servlet-api</artifactId> <version>4.0.1</version>
2021-01-11 11:25:29
126
原创 Spring之声明式事务
为什么要用事务？1、如果不配置事务，可能存在数据提交不一致的情况；2、如果我们不在spring中去配置声明式事务，那就需要去代码中手动配置事务；3、事务在项目开发中方十分重要，涉及到数据的一致性和完整性，不容马虎！下面看下如何在spring中配置事务，主要还是使用AOP。1、编写配置文件：开启spring事务配置，配置事务advice，将事务织入 <!--开启spring事务处理功能--> <bean id="transactionManager"
2021-01-11 01:33:35
114
原创 Spring之mybatis整合二
这篇整合mybatis主要是通过在接口实现类UserMapperImpl中继承SqlSessionDaoSupport父类，调用getSqlsession()方法，代替了上篇声明sqlsessionTemplate，通过set()方法来注入。直接看UserMapperImppublic class UserMapperImpl2 extends SqlSessionDaoSupport implements UserMapper { @Override public List<
2021-01-10 21:07:20
83
原创 Spring之mybatis整合一
spring整合mybatis步骤如下：1、导入依赖包，尤其是，mybatis-spring的依赖 <dependencies> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-webmvc</artifactId> <version&
2021-01-10 00:47:31
152
2
原创 Spring之AOP方式三
本篇学习aop实现方式三：注解1、配置文件【注意】<aop:aspectj-autoproxy/>使aop注解生效<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:aop="
2021-01-09 15:06:20
75
原创 Spring之AOP方式二
本篇使用的是aop的方式二：自定义切面类实现1、依赖导入和上篇博客一致2、创建自定义aop类：主要实现前置和后置方法public class DiyAop { public void before(){ System.out.println("方法执行前"); } public void after(){ System.out.println("方法执行后"); }}3、applicationContext.xml配置文
2021-01-09 14:27:30
63
原创 Sping之AOP
本篇学习aop的第一种实现方式1、导入依赖，一定要导入正确！ <dependency> <groupId>org.aspectj</groupId> <artifactId>aspectjweaver</artifactId> <version>1.9.4</version> </dependency>
2021-01-09 13:59:34
91
原创 Spring之动态代理
1、接口：共同要实现的接口//接口public interface UserService { void add(); void upadate(); void delete(); void query();}2、接口实现类，真实角色//真实角色public class UserServiceImpl implements UserService{ public void add() { System.out.println(
2021-01-09 13:53:26
202
1
原创 Spring之静态代理模式
静态代理：1、抽象角色：一般需要使用接口或者抽象类来解决，比如租房2、真实角色：被代理的角色3、代理角色：代理真实角色去操作4、客户：访问代理角色的人以租房为场景1、抽象角色:租房接口，房东和中介共同实现这个接口//抽象角色：租房接口public interface Rent { public void rent();}2、真实角色：房东//真实角色：房东public class Hoster implements Rent{ @Over
2021-01-08 20:33:13
260
原创 Spring之使用Java方式配置JavaConfig
我们现在要完全不使用spring的xml配置文件，全权交给Java来配置。Javaconfig是spring的一个子项目，在spring4之后成为一个核心功能1、实体类import lombok.Data;import org.springframework.beans.factory.annotation.Value;import org.springframework.stereotype.Component;@Data@Component//这里注解意思是这个类被spring
2021-01-08 19:40:39
228
原创 Spring之注解开发
本篇通过使用spring注解来创建自动装配bean1、applicationContext.xml文件<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www
2021-01-08 19:00:03
67
原创 Spring之@Autowired注解
前面学习了手动设置xml的方式来进行容器对象装配，这篇博客记录的是使用注解@autowried进行自动装配。1、在applicationContext.xml导入约束，其次导入注解的支持，否则会报空指针异常！！！<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/20
2021-01-08 12:58:02
169
2
原创 Spring之Bean Scopes
先看官网解释重点看singleton和prototyoe1、单例模式（默认机制）<bean id="user" class="com.lizheng.pojo.User" p:name="rourou" p:age="2" scope="singleton"/>2、原型模式：每次从容器get时候，都会产生新对象。<bean id="user" class="com.lizheng.pojo.User" p:name="rourou" p:age="2" sc
2021-01-08 11:20:49
147
原创 Spring之创建Bean方式P命名和C命名
本篇学习容器创建Bean的另外一种拓展方式，通过P命名和C命名1、官网解读2、使用在applicationContext.xml中先导入命名空间namespace xmlns:p="http://www.springframework.org/schema/p" xmlns:c="http://www.springframework.org/schema/c"创建bean <bean id="user" class="com.lizh..
2021-01-08 11:00:41
388
原创 Spring之IOC创建Bean方式
//通过下标赋值 <bean id="user" class="com.lizheng.pojo.User"> <constructor-arg index="0" value="lizheng"/> </bean> //通过数据类型赋值，不建议使用，若两个参数均为string <bean id="user2" class="com.lizheng.pojo.User"> <con...
2021-01-07 19:34:10
198
原创 Spring之第一个spring程序
1、导入依赖包 <dependency> <groupId>org.springframework</groupId> <artifactId>spring-webmvc</artifactId> <version>5.2.0.RELEASE</version> </dependency>2、创建bea
2021-01-07 14:50:09
77
原创 Mybatis之动态SQL(choose、when、otherwise)
上篇以及学习了动态sql的if用法，这里学习choose、when、otherwise的用法。先介绍<where>标签的用法：where元素只会在子元素返回任何内容的情况下才插入 “WHERE” 子句。而且，若子句的开头为 “AND” 或 “OR”，where元素也会将它们去除。这里直接上mapper.xml代码 <select id="queryBlogChoose" parameterType="map" resultType="com.lizheng.po..
2021-01-06 19:32:55
622
原创 Mybatis之动态SQL语句之IF
对与多条件联合查询，可以使用动态SQL之if查询，避免写多个mapper接口多次查询1、实体类Blog@Datapublic class Blog { private String id; private String title; private String author; private Date createTime; private int views;}2、BlogMapper接口public interface BlogMapp
2021-01-06 18:57:58
518
原创 Mybatis之一对多查询
在上篇多对一的基础上，再学习一对多查询，学习collection的用法。场景是查询指定老师的信息，包括老师的信息以及老师关联的学生信息。Student实体类@Datapublic class Student { private int id; private String name; private int tid ;}Teacher实体类@Datapublic class Teacher { private int id; private.
2021-01-06 17:02:27
90
原创 Mybatis之多对一查询
在昨天使用resultmap结果集解决属性和字段不一致导致查询出为null的情况，昨天针对的是简单查询，今天以多对一为例子，继续探究多对一复杂查询，主要涉及知识点为巩固resultmap使用以及其中的association。思路：1、先查询所有学生信息student2、查询老师信息teacher3、设置resultmap关联，如果属性为对象，则使用association，注意javatype、resulttype 均是全路径下的实体类select 直接绑定查询老师teacher的sql语句
2021-01-06 11:54:45
96
原创 Mybatis之Lombok插件
通过在IDEA安装Lombok插件，在实体类上增加注解来实现有参、无参构造、tostring等，简化代码1、导入依赖<!-- https://mvnrepository.com/artifact/org.projectlombok/lombok --><dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId&g.
2021-01-05 21:52:35
195
2
原创 Mybatis之Log4j
在上篇日志设置为标准化的基础上，本篇学习log4j的日志工厂1、导入log4j依赖包：链接：https://mvnrepository.com/artifact/log4j/log4j<!-- https://mvnrepository.com/artifact/log4j/log4j --> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artif
2021-01-05 20:17:54
164
原创 Mybatis之日志工厂
如果一个数据库操作出现问题，需要排错，最好的助手是日志。在mybatis中可以在mybatis核心配置文件mybatis-config.xml中设置settings核心配置文件设置： <!--标准化日志工场--> <settings> <setting name="logImpl" value="STDOUT_LOGGING"/> </settings>日志输出：...
2021-01-05 19:18:21
73
原创 Mybatis之结果集映射ResultMap
当实体类中属性与数据库字段不一致的情况，就会出现问题，以sql查询用户信息为例。实体类User中属性：@Alias("User")public class User { private int id ; private String name; private String password;}数据库中字段如下：导致结果：pwd属性显示null解决方法：ResultMap结果映射集<mapper namespace="com.li..
2021-01-05 17:48:21
104
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人