weixin:tchongyu

转载 差集、并集、交集

转载 pinbar源码

pinbar源码。

原创 hive向map类型插入多条数据

insert into map_type select map('2','t2','3','t3','4','t4','5','t5','6','t6') from (select 1) t;

原创 爬虫

https://github.com/liyangbit/PyDataRoad

原创 spark2.3env配置

export JAVA_HOME=/jxdsj/opt/modules/java/jdk1.8.0_211-amd64export SCALA_HOME=/jxdsj/opt/modules/scala-2.11.12export SPARK_LOCAL_IP=CXGHDSJFXJM-10-242-24-2.domain.localdomainexport HADOOP_CONF_DIR=/jxdsj/opt/modules/hadoop-2.6.0-cdh5.14.2/etc/hadoopexp.

原创 hive配置

<configuration><property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://CXGHDSJFXJM-10-242-24-3.domain.localdomain:3306/metastore?useSSL=false</value></property><property> <name&gt.

原创 spark on yarn关键配置

配置面向节点情况：每台42G内存 1.6T磁盘 总计1.3T数据<configuration><!-- Site specific YARN configuration properties --><!-- 指定哪个节点作为resourcemanager --><property> <name>yarn.resourcemanager.hostname</name> <value>CXGHDSJFXJM..

原创 压缩脚本linux shell

#!/bin/bash#传入日期参数startdate=$1enddate=$2echo "startdate:${startdate} enddate:${enddate}"echo "############################################"#遍历日期for (( d=0; d<=300; d++));do if [[ ${enddate} -lt ${startdate} ]];then break fi echo "${startd.

转载 arraybuffer操作

https://www.cnblogs.com/juncaoit/p/6252854.html

转载 压缩与解压

linux解压tar命令tar [-cxtzjvfpPN] 文件与目录 ....参数：-c ：建立一个压缩文件的参数指令(create 的意思)；-x ：解开一个压缩文件的参数指令！-t ：查看 tarfile 里面的文件！特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！因为不可能同时压缩与解压缩。-z ：是否同时具有 gzip 的属性？亦即是否需要用 g...

原创 sed

sed -i ‘1d’ / 删首行sed -n ‘1,10000p’ 展示第一行到第10000行

原创 压缩、解压

解压：tar xf /root/go_kubelet_make.tar.xz -C /root/压缩：tar -cJvf go_kubelet_make.tar.xz go_kubelet_make/

转载 Spark访问HIVE上面的数据

知识点1：Spark访问HIVE上面的数据　　配置注意点：.　　　　1.拷贝mysql-connector-java-5.1.38-bin.jar等相关的jar包到你${spark_home}/lib中（spark2.0之后是${spark_home}/jars下），不清楚就全部拷贝过去　　　　2.将Hive的配置文件hive-site.xml拷贝到${spark_home}/conf...

原创 Scala判空处理

从row中get值时, 为空问题get数值类型:如果为空, 则转化为0判空, 建议使用row.isNullAt(index)get字符串类型:如果为空则为null判空建议用:StringUtils.isEmpty() (出现""的情况)总结:获取值用getAsT判空用row.isNullAt以及StringUtils.isEmpty()...

原创 成功解决mysql目录迁移报错问题

https://m.jb51.net/article/150090.htm

原创 hive,spark部分面试考察点

预警：黄牛用户统计/黑名单的统计/异常用户的统计实时ETL/实时转发对实时数据做一个预测(sparkstreaming+机器学习)

转载 Hive窗口函数解析

简介本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析（在线分析处理）。概念我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后的数...

原创 HADOOP面试核心问题总结

大数据：无法在一定时间用常规工具处理的海量信息资产企业大数据多来源于日志、数据库、爬虫等Hadoop体系架构：HDFS(Hadoop Distributed File System)、YARN、MapReduce、Common Hadoop Common: 为其他Hadoop模块提供基础设施 Hadoop HDFS: ...

原创 hadoop作业遇到的问题

此处用正则表达式作为空格分割符String[] split = value.toString().split("\\s+");package com.sortpartition;import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;...

原创 虚拟机linux安装部署

原创 JAVA实现HDFS文件增删查改

package com.hadoop01;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import java.io.FileInputStream;import java.io.FileOutputStream...

原创 oracle SQL语句

--修改表结构--添加字段alter table student add phone varchar2(11);--修改列的类型alter table student modify gender varchar2(1);--修改列的名字alter table student rename column gender to sex;--删除列alter table student ...

原创 Hadoop

HDFS处理流程NameNode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表和块所在DataNode等。 DataNode 在本地文件系统存储文件块数据，以及块数据的校验和。 Secondary NameNode 用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。HDFSClient 客...

原创 mysql jdbc

dao层：package com.beifeng.dao;import com.beifeng.util.CnfUtil;import java.sql.*;import java.util.ArrayList;/** * @author qiqu */public class BaseDao { Connection conn = null; ...

原创 排序算法

冒泡排序、插入排序、希尔排序、快速排序package com.ibeifeng.javase.luojiyunsuan;import java.util.Arrays;public class PaiXu { public void bubbleSort(int arr[]) { int tmp = 0; for (int n = 0; n &...

原创 java核心编程

Java集合框架：Collections binnerySearch()方法二进制检索，replaceAll()替换Collections sort()方法的应用：​package com.ibeifeng.javase.kaoshi;import java.util.ArrayList;import java.util.Collections;public class ...

原创 面向对象（Java）

设计模式 设计原则 开闭原则： 抽象约束，封装变化 里氏替换原则： 子类可扩展父类但不能改变父类 依赖倒置原则： 面向接口编程 单一职责原则： 控制类粒度大小，使其利于重用 接口隔离原则： 为提高内聚性，降低类对接口依赖性，分解接口 迪米特法则： 限制类实体间通信宽度和深度 合成复用原则： 尽量使用聚合或组合关系 设计模式：...

原创 Java基础(内存分配)

1. 常用DOS命令： dir(directory):列出当前目录文件及文件夹 exit:退出dos命令行 cls（clear screen）:清屏 ipconfig:查看ip ping:尝试请求某个IP或地址，并发送数据包2. 键盘快捷键： ctrl+s：保存 ... 3. Java的优势、特点:**跨平台**，简单...

原创 1.java基础笔记与JDK安装配置与卸载（2019年8月）

1.JDK下载：https://www.oracle.com/（注意：需要注册登录才可以下载）下载路径软件安装软件卸载环境变量配置选择高级系统设置——>环境变量——>win10系统两种环境变量配置方式：1.将JDK安装路径复制粘贴至系统变量PATH路径，并添加\bin.2.在系统变量中添加JAVA_HOME变量，并将jdk安装路径复制...