
hadoop
KeepLearningBigData
Apache CarbonDarta PMC;
Apache Spark、Alluxio、KubeRay、SparkBWA等项目的contributor
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
测试mongoDB插入速度
运行mongodb:mongoDB下运行./bin/mongo0.运行环境见最后1.查看db大小:show dbs2.使用test数据库:use3.插入函数编写:测试insert时间函数var inserttimes=function(n){var start=(new Date()).getTime(); for(var i=1;i<=n;i++){ db.te原创 2015-08-13 15:03:44 · 5648 阅读 · 0 评论 -
举例说明:Hadoop vs. NoSql vs. Sql vs. NewSql
尽管层次数据库如今在大型机上依然被广泛使用,但关系数据库(RDBMS)(SQL)已经占领了数据库市场,并且表现的相当优异。我们存的钱不会跑到别人的账户,我们预定机票可以确保我们在飞机上有一个专属的座位,而且我们也不会因为没有做过的事而受到责备等等。关系数据库的数据完整性是因为它遵循了ACID(原子性,一致性,独立性以及持久性)原则。关系数据库技术可追溯到上世纪70年代。那么,现在有什么变化呢?转载 2015-08-13 09:23:15 · 1196 阅读 · 0 评论 -
MongoDB 3.05集群分片配置
0.环境系统:14.04节点:四个,三个为数据节点,一个为配置节点和路由节点mongoDB:3.0.5时间:2015.8.151.下载安装包并解压分发:官网:https://www.mongodb.org/downloadswget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-ubuntu1404-3.0原创 2015-08-14 15:57:43 · 1090 阅读 · 0 评论 -
hadoop的example中的wordcount运行示例
hadoop的example中的wordcount运行示例:1.通过 hadoop fs -put input1.txt /input726将需要统计的文件导进去,可以多个txt文件。2.运行jar包中的class:hadoop jar ~/cloud/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-exam原创 2015-09-20 15:52:22 · 1517 阅读 · 0 评论 -
window上连接集群跑hadoop问题之java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.
环境:window7 64位集群hadoop2.6.0,ubuntuwindow上连接集群跑hadoop问题之java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.$Windows.参照http://blog.youkuaiyun.com/congcong68/article/details/420430原创 2016-01-26 15:32:51 · 18087 阅读 · 0 评论 -
Spark1.5.2在eclipse生成jar提交到集群运行
Spark1.5.2在eclipse生成jar提交到集群运行环境:window7ubuntu spark1.5.21.WordCountSpark.scala代码://class WordCountSpark {// //}import org.apache.spark._import SparkContext._object WordCount原创 2016-01-26 22:05:52 · 2553 阅读 · 3 评论 -
Spark问题之More than one scala library found in the build path
Spark问题之More than one scala library found in the build path在window的eclipse上搭建spark时出错:More than one scala library found in the build path (D:/1win7/eclipse/plugins/org.scala-lang.scala-library原创 2016-01-26 22:28:25 · 4675 阅读 · 0 评论 -
spark学习4之集群上直接用scalac编译.scala出现的MissingRequirementError问题(已解决)
报错代码:hadoop@Master:~/cloud/test/sh_spark_xubo/SparkPi$ scalac org/apache/spark/examples/SparkPi.scala error: scala.tools.nsc.MissingRequirementError: object scala.reflect.Manifest not found. at原创 2016-01-27 21:40:28 · 3157 阅读 · 3 评论 -
hadoop之WordCoun输出文件用时间命名,避免每次运行都要修改
hadoop之WordCoun输出文件用时间命名,避免每次运行都要修改代码://public class WordCount {////}import java.io.IOException;import java.text.SimpleDateFormat;import java.util.*; import org.apache.hadoop.conf.Con原创 2016-01-28 21:41:30 · 869 阅读 · 0 评论