爱吃火锅的博客

本文首先是在ubtunu系统上安装mysql，然后总结了一下基本的mysql命令，并通过小例子实践了一下，最后简单介绍了一下python的pymysql模块 安装： 首先安装mysql服务端 sudo apt-get install mysql-server 安装mysql客户端： sudo apt-get install mysql-client sudo apt-get inst...

首先数据集下载： http://files.grouplens.org/datasets/movielens/ml-100k.zip 下载好后解压，里面有几个比较重要 首先是u.user 记录着用户的信息 u.data记录着用户对其看过的电影的评价 u.item记录的便是电影的信息 ----------------------------------------------------...

在安装spark之前，首先需要安装配置Hadoop,这个就不做详细介绍了，可以参看博主的另一篇： https://blog.youkuaiyun.com/weixin_42001089/article/details/81865101 ######################################################################################...

首先要确保安装了Hadoop和mysql Hadoop安装参考：https://blog.youkuaiyun.com/weixin_42001089/article/details/81865101 mysql安装参考：https://blog.youkuaiyun.com/weixin_42001089/article/details/82106723 下载： http://mirror.bit.edu.cn...

目录： 简介 pyspark IPython Notebook 安装 配置 spark编写框架： 首先开启hdfs以及yarn 1 sparkconf 2 sparkcontext 3 RDD（核心） 4 transformation（核心）           5 action（核心） 当然也可以指定运行py程序 简介： 不可否认，spark是一种大数据框架，...

简介： 不可否认，spark是一种大数据框架，它的出现往往会有Hadoop的身影，其实Hadoop更多的可以看做是大数据的基础设施，它本身提供了HDFS文件系统用于大数据的存储，当然还提供了MR用于大数据处理，但是MR有很多自身的缺点，针对这些缺点也已经有很多其他的方法，类如针对MR编写的复杂性有了Hive，针对MR的实时性差有了流处理Strom等等，spark设计也是针对MR功能的，它并...

hadoop的核心就是hdfs和mapperreducer python都有对应的框架，下面分开说： （1）调用hdfs的python API 相关的包有很多，这里介绍一下hdfs，安装很简单 pip install hdfs 使用的时候： from hdfs import * client = Client("http://localhost:50070") 那么之后...

安装部分参考https://blog.youkuaiyun.com/qjk19940101/article/details/70544197，这里只是改动了部分和部分填充并进一步说明： 首先更新apt包： sudo apt-get update 安装SSH server： sudo apt-get install openssh-server 配置SSH: ssh localhost e...

一： 当group by 与聚合函数配合使用时，功能为分组后计算 select count(id) from employee  group by id 当group by 与having配合使用时，功能为分组后过滤 select count(id) from employee  group by id having count(id)>2 当group by 与聚合函数，同...