- 博客(24)
- 收藏
- 关注
RSS订阅转载 hue学习手册
https://blog.youkuaiyun.com/ywheel1989/article/details/51560312 转载于:https://www.cnblogs.com/suinlove/p/9184264.html
2018-06-14 17:52:00
620
转载 Quartz学习笔记
相关链接：https://www.cnblogs.com/drift-ice/p/3817269.html https://www.ibm.com/developerworks/cn/opensource/os-cn-quartz/ http://www.icartype.com/?p=140 https://www.roncoo.com/course/view/e2b...
2018-06-14 17:46:00
171
转载 docker学习笔记及hadoop集群搭建
docker的基本概念： 镜像(image)： 容器(container)： 仓库： 问题点： 0、C#码农的大数据之路 - 使用Ambari自动化安装HDP2.6(基于Ubuntu16.04)并运行.NET Core编写的MR作业 https://www.cnblogs.com/lsxqw2004/p/6908593.html ht...
2018-06-07 23:30:00
259
转载 Zookeeper+Kafka+Storm+HDFS实践
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 Hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据库中如HBase，便于后续的查询。面对的大批量的数据的实时计算，storm实现了一个可扩...
2016-07-26 15:24:00
216
转载 zookeeper集群搭建
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 参考 ZooKeeper Getting Started Guide zookeeper使用和原理探究（一） ZooKeeper-...
2016-07-26 15:18:00
96
转载 scala学习笔记——特质
一个类扩展自一个或多个特质，以便使用这些特质提供的服务。特质可能会要求使用它的类支持某个特定的特性。不过和java不同，Scala特质可以给出这些特性的缺省实现。 特质的特性： 类可以实现任意数量的特质； 特质可以要求实现它们的类具备特定的字段、方法或超类； 和Java接口不同，Scala特质可以提供方法和字段的实现； 当你将多个特质叠加在一起时，顺序很重要——其方法先被执行的...
2016-06-18 14:02:00
127
转载 scala学习笔记-集合
变长数组：数组缓冲 Scala中对于那种长度会变的数组的数据结构为ArrayBuffer。 import scala.collection.mutable.ArrayBuffer; // 一个空的数组缓冲，准备存放整数 val array_buffer = ArrayBuffer[Int](); // 或者 new ArrayBuffer[In...
2016-06-18 14:00:00
88
转载 scala学习笔记-隐式转换和隐式参数
待完成 转载于:https://www.cnblogs.com/suinlove/p/5596117.html
2016-06-18 14:00:00
121
转载 RDD 重新分区，排序 repartitionAndSortWithinPartitions
需求：将rdd数据中相同班级的学生分到一个partition中，并根据分数降序排序。 此实例用到的repartitionAndSortWithinPartitions是Spark官网推荐的一个算子，官方建议，如果需要在repartition重分区之后，还要进行排序，建议直接使用repartitionAndSortWithinPartitions算子。因为该算子可以一边进行重分区的shu...
2016-06-17 17:45:00
630
转载 scala学习笔记——操作符
中置操作符（二元操作符），操作符位于两个参数之间。操作符包括字母，比如to，也可以包括操作符字符，比如1->10，等同于方法调用1.->(10) a 标识符 b 其中的标识符是一个带有两个参数的方法（一个隐式参数和一个显式参数），例如：1 to 10，实际上是一个方法调用1.to(10) class Fraction(n: Int, d: Int...
2016-06-15 11:34:00
164
转载 scala学习笔记——类和对象
基础语法关于Scala程序，这是非常要注意以下几点。 区分大小写 - Scala是大小写敏感的，这意味着标识Hello 和 hello在Scala中会有不同的含义。 类名 - 对于所有的类名的第一个字母要大写。 如果需要使用几个单词来构成一个类的名称，每个单词的第一个字母要大写。 示例：class MyFirstScalaClass 方法名称 - 所有的方法名称的第一个...
2016-06-14 14:47:00
134
转载 spark-sql
本文用到的测试数据person.txt lijing 29 guodegang 45 heyunwei 30 yueyunpeng 100 rdd的分区数量，读取hdfs文件，默认是文件个数 rdd生成方式： 1) 并行化 2) 通过读取文件api方法生成 DataFrame的基础操作，详见官方API文档。将DataFrame存储详见官方AP...
2016-06-12 10:25:00
92
转载 Linux定时任务Crontab详解
原文地址：http://edu.codepub.com/2011/0104/28518.php 今天做了个数据库的备份脚本，顺便系统得学习一下Linux下定时执行脚本的设置。Linux下的定时执行主要是使用crontab文件中加入定制计划来执行，设置比Windows稍微复杂一些(因为没有图形界面嘛)，但是也不是非常复杂，基本上用过一遍就能记住了，关键是要记住/var/...
2016-02-17 20:23:00
106
转载 hive函数总结-字符串函数
hive 查看函数： show functions; parse_url： parse_url(url, partToExtract[, key]) - extracts a part from a URL解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]。 举...
2016-02-16 18:36:00
132
转载 hive函数总结-日期函数
获取当前UNIX时间戳函数: unix_timestamp语法: unix_timestamp() 返回值: bigint说明: 获得当前时区的UNIX时间戳举例： hive> select unix_timestamp() from dual; OK 1455616811 Time taken: 0.785 seconds, Fetched: 1 row(s) ...
2016-02-16 18:13:00
255
转载 Java 访问控制符
Java提供了3个访问控制符：private、protected和public，分别代表了3个访问控制级别，另外还有一个不加任何访问控制符的访问控制级别，提供了4个访问控制级别。Java的访问控制级别由小到大如图所示： 图中4个访问控制级别中的default并没有对应访问控制符，当不使用任何访问控制符来修饰类或类成员时，系统默认使用该访问控制级别。这4个访问控制级别...
2016-01-21 11:00:00
191
转载 RMAN之进入RMAN(转)
通过RMAN的方式不论要备份还是要恢复，都必须先启动实例并加载数据库。 SQL> shutdown immediate数据库已经关闭。已经卸载数据库。ORACLE 例程已经关闭。 C:\Users\sunxfb>set oracle_sid=thrs C:\Users\sunxfb>rman target dw/* 恢复管理器: Release 10.2.0.1...
2014-09-21 21:39:00
150
转载 ORA-16014: 日志 1 的序列号 242 未归档, 没有可用的目的地
SQL> alter database open; *第 1 行出现错误:ORA-16014: 日志 1 的序列号 242 未归档, 没有可用的目的地ORA-00312: 联机日志 1 线程 1:'C:\ORACLE\PRODUCT\10.2.0\ORADATA\THRS\REDO01.LOG' SQL> show parameter db_recovery NA...
2014-09-21 21:23:00
290
转载 Oracle中REGEXP_SUBSTR函数(转)
Oracle中REGEXP_SUBSTR函数 Oracle中REGEXP_SUBSTR函数的使用说明： 题目如下:在oracle中，使用一条语句实现将'17,20,23'拆分成'17'，'20'，'23'的集合。 REGEXP_SUBSTR函数格式如下：function REGEXP_SUBSTR(String, pattern, position, occurrence, modifi...
2014-09-19 16:09:00
105
转载 oracle 数据库开发面试题，当时笔试的时候一个没做出来，现附原题及答案
1、 ID123567810111215 表名tt，用sql找出ID列中不连续的ID，例如其中没有的4： --创建表及数据 CREATE TABLE tt(ID INTEGER); INSERT INTO tt SELECT 1 FROM dual UNION ALL SELECT 2 FROM dual UNION ALL SELECT 3 FROM du...
2014-09-19 15:38:00
210
转载 Oracle正则表达式函数：regexp_like、regexp_substr、regexp_instr、regexp_replace
Oracle使用正则表达式4个主要函数： 1、regexp_like 只能用于条件表达式，和 like 类似，但是使用的正则表达式进行匹配，语法很简单： 2、regexp_substr 函数，和 substr 类似，用于拾取合符正则表达式描述的字符子串，语法如下： 3、regexp_instr 函数，和 instr 类似，用于标定符合正则表达式的字符子串的开始位置，语法如下...
2014-09-19 14:54:00
357
转载 SQL Server 2005数据文件数据的存储
《SQL Server 2005奥秘》第5章主要研究SQL Server 2005数据文件数据的存储，本节主要介绍的是按照hobt_id获得表的第1个页面 按照hobt_id获得表的第1个页面在系统视图sys.system_internals_allocation_units中，其container_id字段就代表了hobt_id的值。所以执行下列代码可以查询： /*定义临时变量...
2013-04-08 22:45:00
325
转载 【SQL.SERVER.DMVS.实战】学习笔记(二)
----------------------------------------------------------------------------------------------------------- --查询数据库中当前阻塞及被阻塞的程序 -- Code for dbo.dba_BlockTracer CREATE Function [dbo].[dba_GetS...
2013-03-20 21:16:00
159
转载 【SQL.SERVER.DMVS.实战】学习笔记
----------------------------------------------------------------------------------------------------------- --查询出当前数据库正在执行的程序-- Code for dbo.dba_WhatSQLIsExecuting CREATE PROC [dbo].[dba_Wha...
2013-03-20 21:09:00
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人