
大数据学习
林夕i
记录学习历程
展开
-
在Linux上面安装python2.7.9 (系统自带2.6.6)
Linux安装Python2.7以下例子基于python 2.7.9,其他版本同理。1、下载pythonwget https://www.python.org/ftp/python/2.7.9/Python-2.7.9.tgz2、解压、编译安装(依次执行以下5条命令)tar -zxvf Python-2.7.9.tgzcd Python-2.7.9./configure --prefix=/usr/local/python-2.7.9makemake install这个时候输入pytho转载 2020-11-06 20:47:42 · 257 阅读 · 0 评论 -
Cassandra集群配置详细过程,不懂请私
首先要在虚拟机上下载Cassandra,可以直接yum下载或者window使用ftp拖入。然后解压Cassandra去conf文件夹下配置配置文件,这里不再赘述首先要求虚拟机安装完python并且要版本2.7版本的,系统自带2.6,要重新安装2.7版本的Cassandra才支持。对cassandra.yaml进行配置:部署名为Mms这里内容太多,查找想要的文件不能一行行的查下去,使用esc+/输入(想查找的内容)即可精确查找,本页没有按N翻页查找设置监听地址:这里的监听地址是本节点ip设置原创 2020-11-06 17:44:29 · 581 阅读 · 1 评论 -
wordcount使用Mapreduce进行单词统计
*导入文件count.txt内容为:hadoop,hive,hbasehive,stormhive,hbase,kafkaspark,flume,kafka,stormhbase,hadoop,hbasehive,spark,storm同样代码分为Mapper,Reducer,和运行的RunnerMapper:package com.qst.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoo原创 2020-11-06 17:26:51 · 670 阅读 · 0 评论 -
使用MapReduce统计没有飞机场的城市
给定两个文件file1.txt和file2.txtfile1中:青岛淄博烟台德州济南滨州莱芜潍坊file2:济南 济南机场青岛 青岛机场潍坊 潍坊机场烟台 烟台机场这样的话没有飞机场的城市就是淄博、德州、滨州、莱芜上代码:Mapper:package airport_choose;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.原创 2020-11-06 17:16:05 · 606 阅读 · 0 评论 -
Address already in use解决办法
1.首先查看已经启动的端口lsof -i tcp:7199 (这里的7199是端口号,选择你要查看的端口号)2.这里会显示你查看的端口号的PID ,如图 使用命令kill -9 1678 就能结束正在运行的端口了。注:文章图片引自https://blog.youkuaiyun.com/eider1998/article/details/109363565...原创 2020-11-06 17:01:04 · 25286 阅读 · 0 评论 -
Java连接Cassandra 代码实现
Java连接Cassandra首先代码如下:package com.*.test;import com.datastax.driver.core.Cluster;import com.datastax.driver.core.ColumnDefinitions.Definition;import com.datastax.driver.core.ResultSet;import com.datastax.driver.core.Row;import com.datastax.driver.c原创 2020-11-06 16:53:02 · 755 阅读 · 0 评论