- 博客(8)
- 收藏
- 关注
RSS订阅转载 ffmpeg添加水印
ffmpeg -i $in -i fitness.png -filter_complex 'overlay=80:60' -c:v libx264 $out -y >/dev/null 2>&1 && echo success转载于:https://www.cnblogs.com/lihuanghao/p/10637266.html
2019-04-01 16:38:00
174
转载 查看hadoop主从节点状态 命令行
[root@hadoop01 ~]# hdfs haadmin -getServiceState nn1active[root@hadoop01 ~]# hdfs haadmin -getServiceState nn2standby[root@hadoop01 ~]# 转载于:https://www.cnblogs.com/lihuanghao/p/1...
2019-01-05 21:45:00
5139
转载 spark.shuffle调优
1.1.1spark.shuffle.managerSpark1.2.0官方支持两种方式的Shuffle，即Hash Based Shuffle和Sort Based Shuffle。其中在Spark 1.0之前仅支持Hash Based Shuffle。Spark 1.1的时候引入了Sort Based Shuffle。Spark 1.2的默认Shuffle机制从Hash变成了So...
2018-12-05 19:41:00
291
转载 大数据学习之sparksql-JDBC到其他数据库
jdbcDF = spark.read \ .format("jdbc") \ .option("url", "jdbc:postgresql:dbserver") \ .option("dbtable", "schema.tablename") \ .option("user", "username") \ .option("passw...
2018-08-06 14:08:00
199
转载 大数据学习之sqoop
点击下载sqoop：http://mirror.bit.edu.cn/apache/sqoop/解压缩:tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar重命名:mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop配置环境变量 export SQOOP_HOME=/data/bigdata/sqoop ex...
2018-07-20 15:58:00
104
转载 大数据学习之spark
首先安装scala scala-2.11.7下载 wgethttps://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz 下载之后解压 tar -zxvf scala-2.11.7.tgz 解压之后删除源文件 rm -rf scala-2.11.7.tgz...
2018-07-19 20:42:00
108
转载 大数据学习之hive
参考：http://www.cnblogs.com/hmy-blog/p/6506417.htmlHive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，...
2018-07-19 20:28:00
135
转载 大数据学习之hadoop(完全分布式)
参考:https://blog.youkuaiyun.com/hliq5399/article/details/78193113准备三台虚拟机，并在每台机子上，分别在/etc/hosts里面加入 192.168.16.103 node1 192.168.16.188 node2 192.168.16.189 node3 192.168.16.45 mysql服务器功能...
2018-07-19 19:57:00
78
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人