weixin_46602525的博客

最长公共子序列（POJ1458)给出两个字符串，求出这样的一个最长的公共子序列的长度：子序列中的每个字符都能在两个原串中找到， 而且每个字符的先后顺序和原串中的先后顺序一致。Sample Inputabcfbc abfcabprogramming contestabcd mnpSample Output420str1 = "abcfbc"str2 = "abfcab"l1 = [-1]for s in str1: if s in str2:

如何用sqoop将hive中分区表的分区字段导入到MySQL中因为hive分区表的字段不存在分区表的文件中，所以在sqoop的时候会导入不进去解决办法：很简单，就是把分区的字段也在分区表里写一份就ok

Sqoopsqoop是把关系型数据库数据和HDFS互导的工具,以HDFS为中心，导入到HDFS用import，从HDFS导出用export实例分析Sqoop数据导入到HDFS查看所有库的命令sqoop list-databases --connect jdbc:mysql://dt100:3306 -username root -password 123123查看某个库的表的命令sqoop list-tables --connect jdbc:mysql://dt100:3306/b

Hive（行转列 列转行）行转列行专列常用的几种方式有concatconcat_wscollect_listcollect_set举例说明白羊座SELECT concat_ws("|",collect_set(name)),concat(xz,",",xx) FROM db2.xyjGROUP BY concat(xz,",",xx)列转行explode常与split连用语法格式lateral view explode(array) tmp(临时表名) as colna

报错如图原因是因为软连接的时候路径必须是绝对路径，否则就会报红异常改正后

深度优先实列：import java.util.Scanner;public class deepinTest3 { public static int min=999999; static int pt; static int TArr[][]; static int book[]; public static void main(String[] args) { Scanner scanner = new Scanner(System.in

hive 面试考点分桶表和分区表的区别内部表和外部表的区别hive和RDBMS区别HIVE自定义UDF函数的流程Hive架构分桶表和分区表的区别（bucket）桶分区表可以通过load data into table 导入数据，分区表分区后根据分区字段作为where 条件查询效率会提高，分区表是多个文件夹构成，每个文件夹代表一个分区分桶表通过创建一个与其相似的临时表，将数据导入临时表后，再通过insert into 分桶表 select * from 临时表将数据装载到分桶表内部表和外部表的区别

spark算子总结spark的算子分为行动算子和转换算子rdd是调用转换算子是逻辑上的传递，并没有真正运算，实际数据并没有变化，调用行动算子后，才会发给执行器，才会实际在在执行器中执行运算。...

HIVE调优1，解决数据倾斜1，解决数据倾斜hive数据倾斜基本发生在group by,join,distinct等需要数据shuffle的操作中，这些过程都会根据key值汇集数据，由于key值过于集中，使得某一个reduce任务要进行大量数据汇集，这就会导致数据倾斜，结果会出现map100%，reduce长时间99%的现象1，Group by 产生数据倾斜解决方法这个配置代表开启map端聚合，相当于使用combinerset hive.map.aggr=true 这个选项设定为ture

什么是锁，为什么要用锁？别着急，我们先看看下面的代码的执行结果:这段代码的要求是输出0-999的数package demo.test;public class Test1 { static Integer num=0; public static void main(String[] args) { for (int i = 0; i < 2; i++) { Thread thread = new Thread(new Runnable(

java多线程实现java多线程的三种方式实现java多线程的三种方式第一种继承Thread类实现多线程备注：启动线程调用start()方法而不是调用run()方法，且每个对象只能调用一次start方法，否则会报错IllegalThreadStateExceptionpackage demo.test;public class demo1 { public static void main(String[] args) { Student s1 = new Student

序列化与反序列化序列化与反序列化的三种实现方式序列化与反序列化的三种实现方式student类实现serializable接口，ObjectOutputSteam和ObjectInputSteam采用默认的序列化和反序列化（writeObject,readObject）方法实现对Student对象的实列变量进行序列化和反序列化//mainimport java.io.*;public class Demo { public static void main(String[] args)

蚂蚁森林植物申领统计创建两个表user_low_carbon：记录了用户每天的蚂蚁森林低碳生活领取的记录流水plant_carbon：蚂蚁森林植物换购表，用于记录申领环保植物所需要减少的碳排放量表结构表一table_name：user_low_carbonuser_id data_dt low_carbon用户 日期 领取碳排放（g）表二table_name: plant_carbonplant_id plant_name low_carbon植