- 博客(27)
- 收藏
- 关注
RSS订阅转载 学习笔记（3):数据结构基础系列(2)：线性表-建立单链表
数据结构课程是计算机类专业的专业基础课程，在IT人才培养中，起着重要的作用。课程按照大学计算机类专业课程大纲的要求，安排教学内容，满足需要系统学习数据结构的人。系列课程包含11个部分，本课为第2部分，线性表的逻辑结构，线性表的顺序表和链表两种存储结构，以及在各种存储结构中基本运算的实现，还通过相关的应用案例介绍了相关知识的应用方法。...
2020-08-15 16:03:19
171
转载 学习笔记（3):数据结构基础系列(2)：线性表-线性表的链式存储
数据结构课程是计算机类专业的专业基础课程，在IT人才培养中，起着重要的作用。课程按照大学计算机类专业课程大纲的要求，安排教学内容，满足需要系统学习数据结构的人。系列课程包含11个部分，本课为第2部分，线性表的逻辑结构，线性表的顺序表和链表两种存储结构，以及在各种存储结构中基本运算的实现，还通过相关的应用案例介绍了相关知识的应用方法。...
2020-08-15 11:12:56
209
转载 学习笔记（2):数据结构基础系列(2)：线性表-实践指导：用程序实践算法
数据结构课程是计算机类专业的专业基础课程，在IT人才培养中，起着重要的作用。课程按照大学计算机类专业课程大纲的要求，安排教学内容，满足需要系统学习数据结构的人。系列课程包含11个部分，本课为第2部分，线性表的逻辑结构，线性表的顺序表和链表两种存储结构，以及在各种存储结构中基本运算的实现，还通过相关的应用案例介绍了相关知识的应用方法。...
2020-08-15 11:00:21
194
原创 scala快速排序
scala快速排序排序原理1、找一个基准key2、拿该key开始从后往前遍历，判断该key是否大于arr(j)，如果key<=arr(j),则j往前移，反之则交换，然后i往后移,如果key>=arr(i)，则i往后移，反之则交换，同理，一直到i==j例子：10,9,8,7,6,5,4,3,2,1,0下面是每一步的输出结果：0 9 8 7 6 5 4 3 2 1 100 9 8 7 6 5
2020-07-14 20:15:57
426
原创 hdfs小文件合并
1、hdfs小文件合并脚本#!/bin/bashbizdate=$1path=$2for (( i = 0; i < 10; i++ )); do bizhour="0${i}" echo "${bizdate} ${bizhour}" hdfs dfs -test -e /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/ if [ $? -ne 1 ]; then
2020-07-13 11:35:05
855
原创 hdfs数据迁移脚本
1、将该脚本放在新集群2、该脚本是将老集群的数据拉到新集群，底层是运行mapreducehadoop distcp -Dmapreduce.job.name="distcp_history_bid_${path}" -Dmapreduce.job.queuename=root.distcp_history -Ddistcp.dynamic.recordsPerChunk=50 -Ddistcp.dynamic.max.chunks.tolerable=10000 -skipcrccheck -m 300
2020-07-13 11:31:15
348
原创 hive根据hdfs文件添加分区
#!/bin/bashbizdate=$1for (( i = 0;i < 10;i ++ )) ; do hour="0${i}" hive -v -e" ALTER TABLE dmp_ods.table_name ADD PARTITION(bizdate='${bizdate}',bizhour='${hour}',log_type='access'); ALTER TABLE dmp_ods.table_name ADD PARTITION(b
2020-07-13 11:27:04
926
原创 SparkStreaming程序自动重启脚本2
#!/usr/bin/env bash################################################################检测实时程序是否存在的脚本，若不存在，则重启#Param 1 实时程序名称后半部分#Param 2 启动程序脚本名称#Param 3 调度周期################################################################定义重启方法function restart(){cou
2020-06-18 14:45:05
441
原创 druid遇坑记(1)
将我遇到的坑简单记录一下~~~~~~~~~~~~~~~~~1、程序报 Empty List or intervals报这个错肯定就是你的intervals设置的有问题，看一下你设置的intervals下面有没有这个文件，一般都是没有这个文件造成的2、程序报io异常，segmentDescriptorInfo does not exist 一般遇到这种问题就是你的json文件中的intervals设置的范围是错误的，导致在查数据的数据并没有拿到数据，所以就会报segmentDescriptorIn
2020-05-15 12:34:20
966
2
原创 windows系统下maven的安装与配置
1、将maven安装包放到到某个文件夹下面即可2、配置环境变量右击计算机–>属性–>高级系统设置–>高级–>环境变量新建–>编辑系统变量变量名–>M2_HOME变量值–>M2的安装路径，bin文件夹的上一层3、在Path中增加%M2_HOME%\bin，每个变量之间通过;分隔4、点击保存5、在C:\Users\Administrator\下面看有没有.m2文件夹，没有的话创建一个6、将此处设置为本地maven仓库7、将repository压
2020-05-13 17:50:56
224
原创 windows下hadoop的安装与配置
1、将hadoop安装包解压到某个文件夹下面即可2、配置环境变量右击计算机–>属性–>高级系统设置–>高级–>环境变量新建–>编辑系统变量变量名–>HADOOP_HOME变量值–>hadoop的安装路径，bin文件夹的上一层3、在Path中增加%HADOOP_HOME%\bin，每个变量之间通过;分隔4、点击保存5、打开cmd界面6、输入hadoop version...
2020-05-13 17:46:21
254
原创 从远程git仓库拉取代码到Linux本地
新建一个空文件夹smartmkdir smart初始化git git init与远程git仓库建立连接 git remote add origin 远程git路径将远程dev分支拉取到本地 git fetch origin dev将代码pull下来 git pull origin dev...
2020-02-27 22:09:46
2699
原创 scala冒泡排序
scala中的冒泡排序排序原理 1、拿第一个去和后面的n-1进行比较，每次都将最小的放在第一位 2、拿第二个和后面的n-2进行比较，每次都将最小的放在第一位 3、依此类推。。。。。。 例子：10,9,8,7,6,5,4,3,2,1,0 下面是每一步的排序结果： 10 9 8 7 6 5 4 3 2 1 0 9 10 8 7 6 5 4 3 2 1 0 8 10 9 7 6 5 4 3 2 1 0 7 10 9 8 6 5 4 3 2 1 0 6 10 9 8 7 5
2020-01-17 15:44:21
1345
1
原创 疯狂python讲义（四、流程控制、阶段小结和练习）
这块还是继续把我总结的知识点继续截图贴出来了~`#列表推导式的循环控制不是循环，而是前面的表达式#循环几次，前面的表达式就执行几次，表达式的结果将作为列表的元素#对于列表推导式而言，for循环执行几次，那么列表就有几个元素r = [(i,i ** i) for i in range(20)]print(r)for i in range(100): prin...
2020-01-16 16:29:08
228
原创 疯狂python讲义（三、列表、元组和字典）
#生成10个随机大写字符写入列表import null as nullmy_list = []import randomfor i in range(10): n = random.randint(65,91) my_list.append(chr(n))print(my_list)#2my_list = [chr(random.randint(65,91))...
2020-01-10 10:58:53
179
原创 idea中git的配置和简单使用
idea中git的配置和简单使用idea中git的安装File->Settings->Git*在这里要记得选择本地安装git的路径点击Test,看本地Git是否安装成功3.拉取远程git仓库的代码到本地输入拉取代码路径，进行拉取然后点击右下角的代码分支去进行分支切换注意：maven仓库路径的配置...
2020-01-07 16:14:04
286
原创 mysql创建按天分区表
下面是按天分区表语句 CREATE TABLE `rpt_exp_event_bucket_creative_d_across` ( `bucket_id` VARCHAR(200) NOT NULL DEFAULT 'zhu' COMMENT '分桶id', `creative_id` VARCHAR(32) COMMENT '创意id', `crea...
2019-04-22 17:57:59
8822
1
原创 SparkStreaming程序的监控脚本
SparkStreaming程序监控脚本，程序停止时会发邮件，同时也会重新启动改程序，但是l inux服务器必须具有发邮件的功能 #!/bin/bash is_adx_show=$(yarn application -list| awk '{print $2}' | grep 程序名称 | wc -l) if [ $is_adx_show = 0 ];then...
2019-02-20 17:19:30
912
原创 spark streaming程序启动配置参数
spark streaming启动参数spark-submit运行方式–master yarn-cluster指定driver端得到核数–driver-cores 4指定driver端的内存–driver-memory 2G指定excutor的个数–num-executors 10指定每个executor的个数–executor-cores 2指定每个executor的内存–executor-memory 4G指定堆外内存–conf spark.yarn.executor.me
2018-12-11 21:23:40
2156
原创 hive中的join
CREATE TABLE t_2(id int,skuid string,price float,amount int)partitioned by (day string,city string)row format delimited fields terminated by ‘,’;LOAD DATA LOCAL INPATH ‘/root/t2.1’ into TABLE t_2 P...
2018-11-14 21:35:55
358
原创 常用HSQL
创建内部表通过，分割create table t13(id int,name string,subject string)row format delimited fields terminated by ‘,’;LOAD DATA LOCAL INPATH ‘/root/t13.txt’ into table t13;– collect_set 和 炸裂explode演示selec...
2018-11-14 21:27:23
1425
原创 Spark图计算实例
图计算实例package cn.graphximport org.apache.spark.graphx.{Edge, Graph}import org.apache.spark.{SparkConf, SparkContext}/** * 图计算 * 构建点，边 */object HelloGraphx { def main(args: Array[String]...
2018-11-12 17:07:18
1800
原创 Flume自定义source管理偏移量
package Source; import org.apache.commons.io.FileUtils;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.EventDrivenSource;import org.apache.flume.channel.Cha...
2018-11-09 21:13:50
911
转载 Spark宽依赖与窄依赖的区别
窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区。这其中又分两种情况：1个子RDD分区对应1个父RDD分区（如map、filter等算子），1个子RDD分区对应N个父RDD分区（如co-paritioned（协同划分）过的Join）。宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区。这其中又分两种...
2018-11-09 20:46:41
880
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人