- 博客(11)
- 收藏
- 关注
RSS订阅原创 Spark GraphX 图形数据分析（入门级）
快捷目录一、什么是图计算，为什么需要用图计算？什么是图计算？为什么需要用图计算？二、图的术语三、Spark GraphX 简介一、什么是图计算，为什么需要用图计算？什么是图计算？图（Graph）： 是一种重要的数据结构，它由节点V（或称为顶点，即个体），与边E（即个体之间的联系）构成，我们一般将图表示为G（V，E）。图数据的典型例子有 网页链接关系、社交网络、商品推荐 等。对应互联网来说: 可以把 web 网页看作顶点，页面之间的超链接关系作为边；对应社交网络来说: 可以把用户看作顶点，用户之间
2020-11-23 16:51:09
756
原创 Hadoop组件中hbase的安装和环境配置
文章目录前置条件安装HBase与配置环境变量HBase配置单机模式伪分布模式完全分布模式（重要！）前置条件HBASE的运行需要JDKHBase的底层存储依赖于HDFS,需要安装hadoop环境HBase依赖于ZooKeeper来做分布式协调工作,所以需要安装Zookeeper的环境,本文使用自己搭建的环境不使用hbase内置安装HBase与配置环境变量1.下载安装包:2.拖入opt目录并解压安装:tar -zxvf hbase-1.2.0-cdh5.14.2.tar.gz3.改名: mv
2020-09-16 08:43:39
760
原创 Zookeeper的配置和集群时间同步设置
文章目录1.ZooKeeper安装2.ZooKeeper配置3.配置集群的时间同步4.启动和关闭ZooKeeper并验证1.ZooKeeper安装1.拖入opt目录解压安装:tar -zxvf zookeeper-3.4.6.tar.gz2.删除安装包: rm -rf zookeeper-3.4.6.tar.gz3.配置全局环境变量: vi /etc/profile,在打开的文件中添加如下两行:export ZK_HOME=/opt/zookeeper-3.4.6export PATH=$PAT
2020-09-15 18:42:46
258
原创 Hadoop HA模式搭建（高可用集群）
文章目录一.HDFS-HA集群配置1.配置HDFS-HA集群2.启动 HDFS-HA 集群3.配置 HDFS-HA 自动故障转移二.YARN-HA配置配置 YARN-HA 集群一.HDFS-HA集群配置1.配置HDFS-HA集群①HDFS 高可用集群规划：请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成。方法步骤在上一篇文章中：hadoop的安装配置和集群搭建为了方便理解，说明一下我的三台机器名和ip地址hadopp1 192.168.184.111
2020-09-08 16:03:16
288
原创 Linux虚拟机中hadoop的安装配置和集群搭建
文章目录Hadoop的安装和配置第一步第二步第三步第四步第五步第六步集群搭建第一步第二步第三步第四步Hadoop的安装和配置首先需要有以下安装包（如有需要，可私信邮箱地址）hadoop-2.6.0-cdh5.14.2.tar.gzhadoop-native-64-2.6.0.tarhbase-1.2.0-cdh5.14.2.tar.gzhive-1.1.0-cdh5.14.2.tar.gzzookeeper-3.4.6.tar.gz第一步配置免登录: ssh-keygen -t rsa
2020-06-28 20:00:55
1402
原创 Linux虚拟机中shell编程（入门）
文章目录shell script（shell脚本）第一个shell脚本： Hello World！shell变量shell运算符算数运算符关系运算符布尔运算符逻辑运算符字符串运算符文件测试运算符shell script（shell脚本）Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Shell 脚本（shell script
2020-06-22 23:40:19
9002
2
原创 Linux虚拟机ELK集群搭建步骤
文章目录1.复制虚拟机2.修改主机名和主机列表3.配置免密登录4.配置Elasticsearch集群5.logstash示例1.复制虚拟机在ELK集群的搭建之前请确保像我上篇文章（Linux虚拟机中ELK的安装配置）一样安装配置好ELK,我们就可以开始本篇中的操作了~~~~选择专家模式,副本类型选择完全复制,备份选择当前虚拟电脑状态,勾选重新初始化所有网卡的MAC地址,如下图:2.修改主机名和主机列表输入：vi /etc/sysconfig/network-script/ifcfg-enp0
2020-06-21 17:09:21
542
原创 Linux虚拟机中ELK的安装配置
文章目录1.ELK的简介2.ELK的安装3.ELK的配置1.ES的配置2.Head-master及node的配置3.Kibana的配置1.ELK的简介ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中：Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架，可见
2020-06-18 19:49:20
906
原创 Linux常用命令（二）软件安装相关命令
文章目录linuxyum常用命令:rpm命令:需要先有rpm包安装mysql步骤:安装jdk的步骤安装打开tomat日志linuxyum常用命令:Yum(全称为 Yellow dogUpdater, Modified)是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，
2020-06-18 00:33:26
249
原创 兔兔的学习日记：Linux中的一些常用命令
linux常用命令(一)文件管理命令：1.文件系统的目录说明/ -->Linux系统根目录~ -->当前用户家目录/bin -->系统启动时需要的执行文件(二进制)/dev -->设备文件目录/etc -->操作系统的配置文件目录（防火墙、启动项）/home-->用户信息存放的目录，用户的默认工作目录/usr -->程序和数据存放目录/var -->包含在正常操作中被改变的文件：假脱机文件、记录文件、加锁文件、临 时文件和页格式
2020-06-16 19:25:46
387
原创 mybatis图书馆管理小项目
使用mybatis做图书馆管理的小项目要求如上图所示，建表也按照图中的来，过程就不附上0.0简单分析一下怎么去完成要求1.实现用户登录前端页面通过表单提交用户名信息servlet接收前端用户名数据，将其作为参数调用dao层对应接口到数据库的用户表中查询相关信息，并返回用户对象（若不存在该用户则返回null）servlet根据返回的对象用户对象是否为null分别设置对应的session属性，并通过重定向跳转到前端页面进行进行信息展示2.查看图书信息前端用户通过表单提交请求，并跳转到ser
2020-06-15 23:17:38
346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人