- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark 执行流程
Spark 执行流程 解析1、我们提交Spark程序通过 spark-submit (shell）提交到Spark集群中我们提交程序后会创建一个Driver进程2、Driver构造SparkConf 初始化SparkContext ，SparkContext 构建 DAGScheduler和TaskScheduler3、TaskScheduler 初始化后会调用会去连接Mas...
2019-07-22 17:00:11
738
转载 网络爬虫技术
网络爬虫技术1、爬虫技术概述 网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓
2017-03-24 14:50:59
907
转载 Hive 调优总结
一、查看执行计划explain extended hql；可以看到扫描数据的hdfs路径二、hive表优化分区（不同文件夹）：动态分区开启：set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;默认值：strict描述：strict是避免全分区字段是动态的，必须
2017-03-21 15:18:34
467
转载 MYSQL 函数分类 以及储存过程使用经验
Mysql储存过程是一组为了完成特定功能的SQL语句集，经过编译之后存储在数据库中，当需要使用该组SQL语句时用户只需要通过指定储存过程的名字并给定参数就可以调用执行它了，简而言之就是一组已经写好的命令，需要使用的时候拿出来用就可以了。想要快速的了解Mysql储存过程吗，就一同看一下下文的“Mysql储存过程-原理、语法、函数详细说明”吧！一、Mysql储存过程简介：储存过程是一个可编
2017-02-17 10:41:08
435
转载 基于Java技术的大型网站架构方案(转)
基于Java技术的大型网站架构方案(转)1、Web层主体架构可以基于 Struts 1.X/2.X，当然有很多更好的控制层框架供选择，以快速敏捷为准则吧。 抽象出核心库封装 控制器和中间层的操作。 在大规模集群环境下，session复制会引起严重的性能问题。考虑用 集群缓存 + cookie验证 代替session实现权限控制吧。 2、Cache层配置 Memcache
2017-02-17 10:32:48
670
原创 MySQL 触发器 增删改
触发器 增删改CREATE TRIGGER t_afterInsertAFTER INSERT ON bank_infoFOR EACH ROWBEGIN insert into test1(id,bank_code,bank_name) values(new.id,new.bank_code,new.bank_name);END;CREATE TRIG
2017-02-17 10:25:48
2907
原创 MySQL 游标遍历
游标 储存过程中的游标遍历CREATE PROCEDURE cusorProcedure()BEGINdeclare rid int(11);declare rbank_code varchar(10);declare rbank_name varchar(20);DECLARE done INT default FALSE;#所有变量后面定义 不然会报错
2017-02-17 10:03:03
1417
原创 MYSQL 自定义函数
1、创建函数create function getSex(param1 int(11)) returns varchar(10)BEGIN DECLARE result varchar(10); IF param1 = 1 THEN set result='男'; ELSEIF param1 = 2 THEN set re
2017-02-15 16:27:43
321
原创 MYSQL储存过程 小实例
1、删除名字为test_procedure 的储存过程 DROP PROCEDURE test_procedure; 2、创建储存过程CREATE PROCEDURE test_procedure(param1 VARCHAR(4),OUT param2 bigint,OUT param3 VARCHAR(20)) BEGINSELECT id into param2 fr
2017-02-14 17:10:16
332
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人