- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 单链表反转
1 定义单链表node的数据结构定义如下：class ListNode { int val; ListNode next; ListNode(int x) { val = x; next = null; }}就地反转法2.1 思路把当前链表的下一个节点pCur插入到头结点dummy的下一个节点中，就地反转。dummy-...
2020-03-25 16:33:03
316
原创 配置环境
jdk#配置环境变量vim /etc/profileexport JAVA_HOME=/app/jdk1.8.0_151export PATH=${JAVA_HOME}/bin:$PATHsource /etc/profilejava -versionhadoop#配置环境变量vim /etc/profileexport HADOOP_HOME=/app/hadoop-2.7...
2020-03-23 15:08:23
203
原创 mysql57安装
下载配置mysql yum源wget https://dev.mysql.com/get/mysql57-community-release-el6-9.noarch.rpmrpm -Uvh mysql57-community-release-el6-9.noarch.rpm安装mysql，开启服务yum install mysql-community-serverservice ...
2020-03-22 12:03:11
422
原创 markdown教程
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2020-03-22 11:01:26
480
原创 spark submit参数介绍
spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数。使用格式:./bin/spark-submit –class –master –deploy-mode –conf = … # other options [application-arguments]参数名 格式 参数说明...
2019-10-10 14:24:01
241
原创 sparksql优化参数配置
set spark.shuffle.file.buffer=128kset spark.shuffle.consolidateFiles=trueset spark.shuffle.manager=hashset spark.shuffle.memoryFraction=0.5set spark.serializer=org.apache.spark.serializer.KryoSeri...
2019-09-29 11:17:59
612
原创 hive一个字段包含另一个字段
1.源数据表ta byu yuxiaogangselect * from t where a like concat('%',b,'%') limit 10;select array_contains(split("b",' '),a) ;//用 array_contains，和split 组合起来使用
2019-09-02 10:43:50
19144
1
原创 Spark读写csv（带表头）
1.读csv文件//2.x后也内置了csv的解析器，也可以简单滴使用csv()，val df=spark.read.format("csv").option("header", "true").option("mode", "DROPMALFORMED").csv("csv/file/path")//全参数解析val spark = SparkSession.builder().appNa...
2019-08-26 14:23:04
13985
原创 JSONObject、JSONArray的构造
1.定义一个teacher类public class Teacher { private String name; private String sex; private int age; private List<Transport> myTool; public Teacher(){ } public Teach...
2019-08-14 09:15:45
2495
原创 hive复杂数据类型-a29
一、map、struct、array 这3种的用法：1、Array的使用创建数据库表，以array作为数据类型create table person(name string,work_locations array<string>)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'COLLECTION ITEMS TERMINATE...
2019-05-09 20:49:37
196
原创 java解析useragent
import cz.mallat.uasparser.OnlineUpdater;import cz.mallat.uasparser.UASparser;import cz.mallat.uasparser.UserAgentInfo;import java.io.IOException;public class UserAgent {static UASparser uasParse...
2019-04-29 10:24:55
1463
1
原创 hive分桶
分桶单个分区或者表中的数据越来越大，分区不能细粒度的划分数据时，可以采用分桶去实现，分桶是将数据集分解为更容易管理的若干部分的另一种技术分桶的技术：CLUSTERED BY (col_name, col_name, …)[SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]分桶的原理跟MR的hashpartitio...
2019-04-17 21:24:31
551
原创 hive分区
**hive分区**1、为什么要分区随着系统的运行，数据量越来越大，而hive的查询时全表扫描，这样将会导致大量的不必要的数据扫描，从而查询效率低下。引进分区技术，避免全表扫描，提高查询效率。分区：partition可以将用户的整个表的数据划分成多个子目录（子目录以分区变量的值来命名）2、怎么分区通常使用年、月、日、地区等进行分区，具体和业务相关hive的分区和mysql的分区是...
2019-04-17 21:16:57
346
原创 HQL基本操作
表的属性的修改修改改名:rename to alter table log_1 rename to log;修改字段名：change column(需要加上数据类型) alter table log change column ip myip ##报错alter table log change column ip myip string;修改字段名alter table log c...
2019-04-17 21:13:35
541
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人