vic_torsun的博客

设置root密码 并切换到root（已设置可跳过）sudo passwd rootsu更换pip源mkdir ~/.pipsudo vi ~/.pip/pip.conf填入以下内容：[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simpletrusted-host = pypi.tuna.tsinghua.edu.cn安装软件包apt-get install bridge-utils git vim python

最受欢迎的文章统计例如博客网站需要对文章的点赞数进行排名，从而找出网站中今天最有趣的50篇文章放入首页。我们的程序就需要对每篇文章产生一个能够根据时间流逝而不断减少的评分，程序需要根据文章的发布时间和当前时间来计算文章评分，具体的计算方法为：将文章的点赞数G * 常量E + 文章发布时间T得到的就是文章的评分。我们使用发布文章时Unix 时间的秒数作为文章发布时间T，选取的常量Ｅ为432（这一常量是通过假定热门文章一天的点赞数为200得到的，即一天的秒数86400/200），这样就得到一个可以根据时间和

使用下面由scala编写的spark程序读取json文件时，json格式解析异常。val dfjs = sc.read.json("test.json")dfjs.printSchema()解析出来的异常json格式为root |-- _corrupt_record: string (nullable = true)test.json 文件内容为：{ "a":"123"}通过分析json文件内容可知，这是由于多余的换行符导致spark的json解析器没有正确解析。网络上有通过添加

在scala中，case关键字有多种用途可以用作模式匹配，例如 var arr = Array(1,2,3,4,5,6) arr.foreach(i => { case 1 => println("==1") case _ => println("!=1") })可以使用在类class前面声明为case classclass之前添加case可以自动生成equal、hashcode、toString、copy方法和他的伴

kafka正常运行，producer连接时却出现NoBrokersAvailableError错误这是由于kafka默认使用hostname作为meta信息，如果producer使用ip连接的时候就会导致zookeeper无法识别从而报错。这样就有两种解决思路，一是配置host，然后使用host进行连接。二是如果不愿意配置host的话，可以修改默认的listener参数：进入/usr/local/kafk（kafka的安装目录）修改config/server.properties中的默认参数，有一

1、安装kafka下载地址：http://kafka.apache.org/downloads cd /opt wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.11-2.3.0.tgz tar zxvf kafka_2.11-2.3.0.tgz mv kafka_2.11-2.3.0 /usr/local/apps/ cd /usr/local/apps/ ln -s kafka_2.11-2.3.0 kafka2、启动测试