- 博客(7)
- 收藏
- 关注
RSS订阅原创 HDFS小文件的优化
HDFS小文件弊 HDFS上每个文件都要在NameNode 上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就 会产生很多的索引文件，一方面会大量的占用NameNode 的空间，另一方面就是索引文件过大时得索引速度变慢。 HDFS小文件解决方案 小文件的优化无非以下几种方式： （1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。 （2）在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。 （3）在MapReduce处理时，可采用Comb
2021-03-12 20:34:40
132
原创 Hive常用交互命令
Hive常用交互命令 –创建表 create table flowinfo (id string,phonenum string,mac string,ip string,url string,num1 string,num2 string,upflow int,downflow int,code string, datelong string)row format delimited fields terminated by " "; –导入表 load data local inpath “/home/
2020-12-03 19:58:02
147
原创 解决中文乱码问起
Java对数据库进行CRUD操作出现乱码 先查看web.xml有没有配置字符编码过滤器 <filter> <filter-name>CharacterEncodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class> <init-param> <param
2020-11-02 09:17:51
312
原创 每个方法的运行时间
打印每个方法的运行时间 在项目中，新建一个log包里面写一个printLog类 写在printLognage类里面 public static void before(){ System.out.println("执行前时间："+System.currentTimeMillis()); } public static void after(){ System.out.println("执行后时间："+System.currentTimeMillis()
2020-10-29 14:56:27
481
原创 typeAliases 别名的处理
typeAliases 别名 类型别名是为 Java 类型设置一个短的名字，可以方便我们引用某个类。 <typeAliases> <typeAlias type="com.atguigu.mybatis.beans.Employee" alias="emp"/> </typeAliases> 类很多的情况下，可以批量设置别名这个包下的每一个类创建一个默认的别名，就是简单类名小写 <typeAliases>
2020-10-20 10:21:42
181
原创 Properties属性和setting设置
properties属性 可外部配置且可动态替换的，既可以在典型的 Java 属性文件中配置，亦可通过 properties 元素的子元素来配置 <properties> <property name="driver" value="com.mysql.jdbc.Driver" /> <property name="url" value="jdbc:mysql://localhost:3306/test_mybatis" /&
2020-10-20 09:58:07
908
原创 Mybatis的CRUD使用
一. SELECT 查询 1) Mapper接口方法 public List<User> listUser(); 整体 public User listUserBynp(User user); 有条件 2) Mapper映射文件 注意：id=listUser 必须和接口中的方法名相同 <select id="listUser" resultType="pojo.User" SELECT id id,
2020-10-19 19:54:43
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人