链表的相关操作-数据结构与算法（北航991数据结构）

dbbigdata — Tue, 08 Jun 2021 14:39:04 +0800

//1.已知长度为n的线性表A采用顺序存储结构。请写一算法,找出该线性表中值最小的数据元素,给出该元素在表中的位置。 //1.已知长度为n的线性表A采用顺序存储结构。请写一算法,找出该线性表中值最小的数据元素,给出该元素在表中的位置。 int LOCAL(ElemType arr[],int n){ ElemType a; a=arr[0]; int l = 0; for (int i = 1; i < n; ++i) { if(arr[i]

关于递归回溯算法的案例（8皇后问题案例）

dbbigdata — Tue, 20 Oct 2020 14:13:30 +0800

关于递归回溯算法的案例在8×8格的国际象棋上摆放8个皇后，使其不能互相攻击，即任意两个皇后都不能处于同一行、同一列或同一斜线上，问有多少种摆法。高斯认为有76种方案。1854年在柏林的象棋杂志上不同的作者发表了40种不同的解，后来有人用图论的方法解出92种结果。如果经过±90度、±180度旋转，和对角线对称变换的摆法看成一类，共有42类。计算机发明后，有多种计算机语言可以编程解决此问题。 public class Queue8 { int max = 8 ; // 定义一个max表示共有多少个皇

spark解析压缩包数据，写入到hive表中

dbbigdata — Thu, 13 Aug 2020 16:18:10 +0800

spark解析xxxxx.tar.gz形式的压缩包。压缩包里面是一个个的json文件或者zip的文件，zip里面是json文件。代码如下 def main(args: Array[String]): Unit = { val root: String = args(0) // xxx.tar.gz的路径 val stname = "test/" //压缩包里读取的文件名 val startday =args(2) //压缩包里是多天的文件，这就需要获取一天的所需文件的数据

scala遍历hdfs上的文件，传给sparksql写入到hive的分区表

dbbigdata — Wed, 29 Jul 2020 13:32:30 +0800

scala遍历hdfs上的文件，传给sparksql写入到hive的分区表## 需求：用spark解析某个目录下的大量小文件后写入到hive表中，hive是分区表，分区的内容是目录下文件的名称。需要先用scala获取到这个目录下的各个文件名，然后传给spark解析，并把文件名变量传给hive的分区，当作hive的分区名。比如：/data/temp/20-07-28ttt.csv /data/temp/2020-07-29ttt.csv /data/temp/2020-07-30ttt.csv csv数

关于hadoop fs -put 把数据上传到hive表的目录下，分区的问题

dbbigdata — Sat, 27 Jun 2020 22:54:11 +0800

关于hadoop fs -put 把数据上传到hive表的目录下，分区的问题使用hadoop fs -put 将数据上传到hive表对应的目录下，数据查询不到。此时需要使用，alter table t1 add partition(day=“20200606”），但是如果分区文件太多，使用alter table t1 add partition() 的方式会比较麻烦，此时只需要使用msck repair table t1的方式，就可以查到数据，而不需要alter table t1 add partitio

dbbigdata的博客

链表的相关操作-数据结构与算法（北航991数据结构）

关于递归回溯算法的案例（8皇后问题案例）

spark解析压缩包数据，写入到hive表中

scala遍历hdfs上的文件，传给sparksql写入到hive的分区表

关于hadoop fs -put 把数据上传到hive表的目录下，分区的问题