
技术层-大数据
文章平均质量分 54
小丁丁_ddxdd
这个作者很懒,什么都没留下…
展开
-
hadoop--初始hadoop
来源:http://blessht.iteye.com/blog/2095675Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史、核心技转载 2016-10-17 12:06:04 · 232 阅读 · 0 评论 -
大数据层--HDFS基本操作
hdfs dfs -ls /dw/st/st02_eqt_f | wc –l转载 2017-04-01 19:46:59 · 638 阅读 · 0 评论 -
大数据--Nginx+Tomcat搭建高性能负载均衡集群
Nginx作为负载均衡服务器:Nginx 既可以在内部直接支持 Rails 和 PHP 程序对外进行服务,也可以支持作为 HTTP代理服务器对外进行服务。Nginx采用C进行编写,不论是系统资源开销还是CPU使用效率都比 Perlbal 要好很多。Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta转载 2017-03-26 00:22:51 · 576 阅读 · 0 评论 -
spark--使用parallelize方法创建RDD
来源:http://blog.youkuaiyun.com/nanruoanhao/article/details/49738521通过调用SparkContext的parallelize方法,在一个已经存在的Scala集合上创建的(一个Seq对象)。集合的对象将会被拷贝,创建出一个可以被并行操作的分布式数据集。data = [1, 2, 3, 4, 5] d转载 2017-03-26 00:15:43 · 3251 阅读 · 0 评论 -
hbase--HBase 常用Shell命令
来源:http://www.cnblogs.com/nexiyi/p/hbase_shell.html进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用转载 2017-02-07 22:52:26 · 234 阅读 · 0 评论 -
hbase--Hbase 建表基本命令总结
来源:http://blog.youkuaiyun.com/kky2010_110/article/details/12616137访问hbase,以及操作hbase,命令不用使用分号hbase shell 进入hbaselist 查看表hbase shell -dhbase(main):024:0> scan '.META.'=============小例子=======转载 2017-02-07 22:49:40 · 1368 阅读 · 0 评论 -
hbase--Hbase原理、基本概念、基本架构
来源:http://blog.youkuaiyun.com/woshiwanxin102213/article/details/17584043概述HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存转载 2017-02-07 22:44:17 · 730 阅读 · 0 评论 -
ELK实时日志分析平台
来源:http://www.cnblogs.com/kevingrace/p/5919021.html在日常运维工作中,对于系统和业务日志的处理尤为重要。今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~一、概念介绍日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志转载 2017-01-10 23:23:32 · 525 阅读 · 0 评论 -
大数据技术--Redis
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sortedset --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与转载 2017-01-14 21:06:40 · 1405 阅读 · 0 评论 -
大数据技术--kafka和flume的对比
来源:http://blog.youkuaiyun.com/crazyhacking/article/details/45746191转载 2017-01-14 20:46:16 · 8784 阅读 · 0 评论 -
大数据技术--Spark Streaming
到Spark Streaming,我们不得不说一下BDAS(Berkeley Data Analytics Stack),这个伯克利大学提出的关于数据分析的软件栈。从它的视角来看,目前的大数据处理可以分为如以下三个类型。 复杂的批量数据处理(batch data processing),通常的时间跨度在数十分钟到数小时之间。基于历史数据的交互式查询(interactive query)转载 2017-01-14 20:37:30 · 1180 阅读 · 0 评论 -
hadoop--Apache Hadoop生态系统
来源:http://cocoit.iteye.com/blog/2108691Hadoop从诞生至今已经发展成为一个大数据相关的庞大的软件生态系统。这里收集整理了跟Hadoop相关的Apache下的开源项目,以供后续分析研究。Apache HadoopHadoop是一个大数据处理框架,它可用于从单台到数以千计的服务器集群的存储和计算服务。HadoopDistri转载 2016-10-17 13:18:11 · 293 阅读 · 0 评论 -
Hadoop基础---hadoop fs 命令
来源:http://blog.youkuaiyun.com/wuwenxiang91322/article/details/221664231,Hadoop fs –fs [local | ]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下转载 2017-04-12 22:52:11 · 424 阅读 · 0 评论