- 博客(14)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Exception in thread "main" java.net.BindException: 无法指定被请求的地址: Service 'sparkMaster' failed 错误处理
1、搭建 Spark 的HA环境时报如下错误Spark Command: /root/training/jdk1.8.0_144/bin/java -cp /root/training/spark-2.1.0-bin-hadoop2.7/conf/:/root/training/spark-2.1.0-bin-hadoop2.7/jars/* -Xmx1g org.apache.spark.dep...
2018-05-13 13:40:47
3656
2
原创 Spark环境搭建
1、官网下载安装包再通过WinSCP传到服务器上，并解压 2、进入安装目录并修改配置文件 （1）spark-env.sh 的最后添加(配置信息顾名思义)export JAVA_HOME=/root/training/jdk1.8.0_144export SPARK_MASTER_HOST=bigdata11export SPARK_MASTER_PORT=7077 ...
2018-05-13 11:30:12
393
原创 搭建HBase环境
HBase: 一个结构化数据的分布式存储系统，具体思想参考之前写的Google的三篇论文中的 BigTable 大表1、解压安装包到指定的文件夹中 2、设置环境变量vi ~/.bash_profileHBASE_HOME=/root/training/hbase-1.3.1export HBASE_HOMEPATH=$HBASE_HOME/bin:$PATHexport PATHsour...
2018-04-20 13:25:40
455
原创 MySQL安装
1、一堆rpm包的集合 2、先解压了 3、将linux上自带的mysql-libs卸载掉，选择 y 4、完成后进到刚刚解压缩的目录下安装mysql, 依次安装rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpmrpm -ivh mysql-community-libs-5.7.19...
2018-04-17 15:12:10
302
原创 Hive 修改表字段
ALTER TABLE 表名 CHANGE 旧字段 新字段 类型;示例: ALTER TABLE test CHANGE name ename string;
2018-04-14 08:53:31
30766
原创 Hadoop伪分布环境下的实例
伪分布环境下的实例 输入jps查看Hadoop环境是否启动 进入Hadoop自带的实例包 创建输入数据文件夹 hdfs dfs -mkdir /input 放入数据，相关内容操作参考我的这篇本地环境搭建的文章 hdfs dfs -put data.txt /input 使用实例包并指定输入输出参数路径 ...
2018-03-24 17:02:36
685
原创 配置ssh免密登录
配置ssh免密登录 1、生成秘钥 ssh-keygen -t rsa(加密算法) 2、将公钥给需要登录的机器 ssh-copy-id -i .ssh/id_rsa.pub root@ip 会需要输入密码 这个里面就是保存所有公钥的地方 这样就配置成功了 相比前面的博客这次在执行start-a...
2018-03-24 16:48:13
486
原创 搭建Hadoop的伪分布模式
搭建Hadoop的伪分布模式 通过修改Hadoop安装目录下的配置文件来搭建 1、hdfs-site.xml -> 配置HDFS 数据块的冗余度，默认为3，因为搭建的是伪分布环境只有一个数据节点所以配置为1，一般来说数据块的冗余度和数据节点是一致的，但是最大不要超过3，超过3后就没有实际意义了 2、core-site.xml -...
2018-03-24 15:30:26
416
原创 Hadoop的本地模式环境搭建
搭建Hadoop的本地模式 编辑Hadoop安装目录的配置文件 设置其jdk的安装路径 找到Hadoop的实例包 列出所有例子，咱们来搞这个 然后在当前目录创建临时文件夹并放入实例所需要的数据文件 写入测试数据 参看demo操作的参数(用法) -> 输入和输出都是本地路径 加上操作的参数，输入输出 完成后查看结果 查看计数的结果数...
2018-03-24 13:12:58
1035
原创 Google的三篇大数据思想论文
大数据 1、什么是大数据 简单说就是身边的一切，你看到的是，听到的是，闻到的感觉到的触摸到的都是 2、具体一点 天猫淘宝的购物数据，你的聊天记录，医疗记录，看书或者挑东西时候的推荐物品大数据的问题 1、生活中的种种数据数量如此之多，如何存储 2、要让数据有意义，又该怎么去处理海量的数据Google对大数据问题的思想 1、GFS：Google...
2018-03-24 11:28:28
10202
1
原创 Hadoop的环境搭建
首先是JDK的安装去官网下载1.8版本的jdk，存放到根目录下我这里在根目录下新建了两个文件，tools用来存放类似jdk这样的安装包，training用来存放解压后的文件将jdk的安装包进行解压接下来配置环境变量保存之后刷新环境变量然后查看版本，与环境变量中配置的版本一致则说明安装正确接下来就是Hadoop的安装了同样先去下载Hadoop的安装包，然后放在tools文件夹中再将其解压到train...
2018-03-24 10:54:46
203
原创 前端路由之 History路由
History路由的实现history 实现路由主要依靠两个API，前进或后退可以配合onpopstate事件history.pushState将当前URL和history.state加入到history中，并用新的state和URL替换当前，不会造成页面刷新state：与要跳转到的URL对应的状态信息title：titleurl：要跳转到的URL地址，不能跨域push
2018-01-31 11:22:56
916
原创 前端路由之 Hash 路由
Hash 路由的实现使用过框架路由的人肯定都有注意到url中的#号，这个#号就是哈希，为什么hash路由页面不会跳转——还记得a链接的锚点是怎么实现的吗。多个路由集中处理匹配对应路由利用回调处理相应的逻辑代码 "#/">index "#/item">item "#/list">list
2018-01-31 11:21:45
1674
原创 HTML5解决跨域方案之postMessage
postMessage()方法可以使不同源的脚本采用异步方式进行数据传递两个参数data传递的数据，在传递参数的时候需要使用JSON.stringify()方法将对象参数序列化origin目标的源，协议，主机，端口号将主页面和次级页面分别用node或者其他方法启动起来查看效果详细说明在代码注释中主页面body>
2018-01-31 11:19:34
304
机器视觉检测理论与算法.pdf
2018-04-17
用户网络行为画像 大数据中的用户网络行为画像分析与内容推荐应用 [牛温佳，刘吉强，石川著][电子工业出版社].pdf
2018-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人