分布式
xiaocong1990
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop Spark Flink Hive
行存储、列存储、行列混存 - 简书百度安全验证大数据技术漫谈 ——从Hadoop、Storm、Spark、HBase到Hive、Flink、Lindorm - 知乎原创 2023-08-19 19:08:55 · 191 阅读 · 0 评论 -
Hadoop+Hbase+Spark整合部署
修改各个节点上的/etc/hosts文件确保ip与主机名的映射关系正确 关闭系统防火墙 service iptables stop chkconfig iptables off reboot 配置ssh免密码登陆 在每台机器上都执行下列命令 chmod -R 755 /home/cloud mkdir ~/.ssh ssh-keygen -t rsa 之后在clo转载 2016-11-22 09:48:21 · 2073 阅读 · 0 评论 -
python通过thrift操作hbase
mac 版 首先 brew install thrift 然后安装python的thrift库 pip install thrift 再次进入 hbase安装目录 cd /usr/local/Cellar/hbase/1.2.2/libexec/bin 启动thrift服务(默认端口9090) ./hbase-daemon.sh start thrift 操作 fro原创 2016-12-21 16:56:21 · 619 阅读 · 0 评论 -
Hadoop+HBase+Spark伪分布式整合部署(mac)
首先修改主机名(建议): sudo scutil --set HostName hostname Hadoop下载安装: brew install hadoop 找到Hadoop配置文件目录 cd /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop 修改core-site.xml hadoop.tmp.dir原创 2016-12-01 19:05:01 · 2062 阅读 · 0 评论 -
PyCharm配置Spark开发环境
mac版 伪分布式 首先安装py4j 在 ~/.bash_profile 里添加: #Spark environment configs export SPARK_HOME=/usr/local/Cellar/apache-spark/1.6.0/libexec export PATH=$PATH:${SPARK_HOME}/bin #Python environment con原创 2016-12-20 19:59:36 · 5168 阅读 · 0 评论
分享