weixin_40173707的博客

Mapper类方法主要是读取InputSplit的每一个Key,Value对并进行处理public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { /** * 预处理，仅在map task启动时运行一次 */ protected void setup(Context context) throws IOException, InterruptedException { } /**

准备前期工作1、CentOS联网使用能连接外网的CentOS系统虚拟机，使用root用户进行编译，避免出现文件夹权限问题。2、Jar包准备从官网下载以下安装包（1）hadoop-3.1.3-src.tar.gz（2）jdk-8u212-linux-x64.tar.gz（3）apache-maven-3.6.3-bin.tar.gz（4）protobuf-2.5.0.tar.gz（序列化的框架）（5）cmake-3.13.1.tar.gzJar包安装1、上传软件包到指定的目录,例如 /o

数据仓库与数据湖区别https://www.jianshu.com/p/3117617a6db0还有就是数据湖具有日后的可挖掘性、数据量的可探索性，会将所有数据都入湖，并且保存分区切片；数据仓库一般是按需入仓，有主要满足当前需求所做的专门去冗余设计。...

创建虚拟机步骤：创建新的虚拟机[自定义(高级)©]默认稍后安装操作系统[Linux(L) ,CentOS 7 64位][虚拟机名称：Base,位置(L):E:\Linux\Virtual Machines\Base]处理器 2，内核数量 2虚拟机内存 2048M使用网络地址转换(NAT) (E)LSI Logic(L) 推荐SCSI(S) (推荐)创建新的磁盘[最大磁盘大小 20G, 将虚拟磁盘拆分成多个文件]磁盘文件 Base.vmdk (默认的)完成 (此时在左侧

Java速成Java基础1.面向对象1.继承性：在继承时会继承父类的属性和方法(私有属性和方法不能继承)；2.重写父类方法时，不能重写父类的私有方法；重写父类的方法后子类对象调用的是重写后的方法；没有重写的方法子类对象调用时，调用的是继承自父类的方法；私有方法不继承，子类有同名的方法但是在父类中是私有的，此时子类同名方法与父类没有关系。3.1重写时返回值类型：功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、

　　类中的数据成员和成员函数据具有的访问权限包括：public、private、protect、default（包访问权限） priavte 本类可见 public 所有类可见 protected 本包和所有子类都可见（本包中的子类非子类均可访问，不同包中的子类可以访问，不是子类不能访问） default 本包可见（即默认的形式）（本包中的子类非子类均可访问，不同包中的类及子类均不能访...

Scala简单联系REPL：1.针对字符串，按照数组理解取第一个字符：“Hello”.take(1)“Hello”(0)“Hello”.substring(0,1)获取最后一个字符：“Hello”.reverse.take(1)“Hello”.reverse(0)“Hello”.reverse.substring(0,“Hello”.length-1)“Hello”.last“hello”.takeRight(1)...

1.概述Scala是一门基于JVM (Java Virtual Machine) 的语言，主要应用于大数据领域的数据线处理，是一门函数式编程语言(有一点点Python的感觉)。Scala会编译成 .class 文件，我们通过反编译软件(小辣椒)反编译之后会生成Java文件，我们可以这样去理解：Scala是以Java为底层封装的上层语言，主要用于数据处理使用。2.Scala环境配置①.下载、安装scala软件。Scala我们使用版本为scala2.11.8,确保Java的 JDK版本为J...

1.小鹏汽车面试题：小鹏汽车充电有两种类型，快充、慢充，有如下数据：车辆ID 充电时间 充电类型a 20200601 19:21:09 1a 20200611 11:30:09 1a 20200621 21:10:09 0a 20200701 19:01:09 1a 20200701 20:30:09 1a 20200701 21:00:09 0a 20200702 20:30:00 1a 20200703 09:01:09 1a 20200704 1

shell去除重复行：注：uniq只对相邻行做比较，一般结合sort先排序下（以使重复行相邻）sort -n aa.txt | uniq > bb.txt

#drop table Studentdrop table Student,SC,Teacher,Course;create table Student(sid varchar(10) COMMENT ‘学生编号’,sname varchar(10) COMMENT ‘学生姓名’,sage datetime COMMENT ‘出生年月’,ssex nvarchar(10) COMMENT ‘学生性别’)COMMENT ‘学生表’;insert into Student values(‘01

①.将日期转成字符串TEXT(C2,“YYYY-MM-DD”)②.对最后一个字符替换=SUBSTITUTE(E2,"-","@",LEN(E2)-LEN(SUBSTITUTE(E2,"-","")))----F2③.截取两个字符键=之间的字符串=MID(F2,FIND("(",F2)+1,FIND(")",F2)-FIND("(",F2)-1) ---- B2–综合一步到位的处理–B2=MID(SUBSTITUTE(E2,"-","@",LEN(E2)-LEN(SUBSTITUTE(E2,

开始技术博客第一次写还是有一些感慨做技术多年，开发多年，今天才开始写技术博客！有些相见恨晚的感觉，不过我会继续下去，永不懈怠的继续下去。路虽远，行必至。我的规划后边分享的文章也会进行分类，所以具体哪些方面的惊喜，大家都会一一看到。能够看到我的文章，我相信是你的荣幸，我的文章能够被你们看到我也感到欣慰。在这个鱼龙混杂的技术世界里，有很多人打着专家的口号传播着错误的知识，你只要仔细一问、...