
大数据
文章平均质量分 93
飞血泪无痕
爱这件事,所以做这件事。做这件事,所以做好这件事。
展开
-
vim常用快捷命令模式
在命令模式下:ctrl+b:翻上前一页ctrl+f:往后翻一页ctrl+U:往前翻半页ctrl+d:往后翻半页w:光标跳到下行的开头e:光标跳到下行的结尾x:删除光标所在的文字nx:从光标的位置开始往后删除n个文字(仅字这一行)X:删除光标所在位置的前一个字符nX:删除光标所在位置的前面n个字符dd:删除光标所在行nd:删除光标所在行开始往后的n行原创 2016-03-17 15:17:51 · 539 阅读 · 0 评论 -
scala语言基础学习
1:书写递归函数的时候,必须指定返回类型,不然编译器无法校验递归函数的返回值def fac(n:Int):Int = if(n2:当要往一个序列传入一个参数区间的时候可以加:_*val s = sum (1 to 5 :_*)def recursiveSum(args:Int*):Int={if(args.length ==0) 0elseargs.head原创 2016-03-17 15:21:09 · 546 阅读 · 1 评论 -
Linux常用命令
ls -a /:所有文件包括隐藏文件ls -c /:按文件的修改时间排序ls -l /:所有文件按照长格式来显示文件信息ls -F /:用于标记文件类型ak是可执行文件,desktop是目录文件ls -al /:查看文件的详细,包含权限查看touch -c -t:设定文件的时间记录touch -c -t 05071930 filemkdir -p /home/dir原创 2016-03-17 15:23:39 · 380 阅读 · 0 评论 -
flume学习
在讲到flume学习,最近一直在学习,感觉flume这个东西,功能比较强大。它其实就是一个数据收集源,这个收集源它收集方式有很多种,比如以下多种数据源:Source类型说明Avro Source支持Avro协议(实际上是Avro RPC),内置支持Thrift Source支持Thrift协议,内置支持原创 2016-03-17 15:57:31 · 646 阅读 · 1 评论 -
hadoop常用命令
这边列举一些hadoop常用的命令,大家可以看一下有没有自己需要的1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/flume/MasterLog2、打开某个已存在文件hadoop dfs –cat [file_path]eg:hadoop dfs -cat /use原创 2016-03-17 23:28:56 · 380 阅读 · 0 评论 -
kafka接入学习
什么是kafka?Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Ha原创 2016-03-29 00:00:52 · 6405 阅读 · 0 评论