- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark HA
spark HA spark-2.4.0-bin-hadoop2.7.tgz vim spark-env.sh export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER " export SPARK_DAEMON_JAVA_OPTS="${SPARK_DAEMON_JAVA_OPTS} -Dspark.deploy.z...
2019-05-06 11:49:45
251
原创 网上租房数据的爬取与分析
主要介绍租房书爬取与分析过程中用到的相关技术，爬虫所用开发语言为python，开发环境anaconda,用beautifulsoup解析网页，数据处理numpy，可视化展示matplotlib，所用数据库为mangodb。 一.数据爬取 构造URL baseurl:https://sh.zu.fang.com/ 各地区对应编码 构造URL urlDir = { #"不限": ...
2019-05-06 11:37:38
2194
原创 hbase HA
hbase HA hbase配置 hbase-env.sh export JAVA_HOME=/usr/java/ #保存pid文件 export HBASE_PID_DIR=/usr/hbase/pids #修改HBASE_MANAGES_ZK，禁用HBase自带的Zookeeper，因为我们是使用独立的Zookeeper export HBASE_MANAGES_ZK=false j...
2019-05-01 18:55:34
204
原创 yarn HA
yarn HA yarn-site.xml <configuration> <!-- Site specific YARN configuration properties --> <!-- 启用HA高可用性 --> <property> <name>yarn.resourcemanager.ha.enabled&l...
2019-05-01 01:13:55
163
原创 hadoop HA
hadoop HA 搭建 hadoop-2.7.7 + zookeeper-3.4.12 阿里云服务器三节点 zookeeper 配置 zoo.cfg dataDir=/usr/zookeeper/data/zkData server.1=Arvin01:2888:3888 server.2=Arvin02:2888:3888 server.3=hds:2888:3888 makdir /u...
2019-05-01 00:12:39
230
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人