大数据学习
关注
分享
扫一扫
文章平均质量分 61
大数据学习专栏
祁峰sunny
上海市闵行区 软件开发工程师
展开
-
大数据学习——dataX工具部署和源码编译
为了做大数据项目数据抽取工作，开始学习dataX，尝试比较dataX（版本 3.0）与sqoop的功能与性能差异。以下教程包括：下载dataX工具及简要使用、下载dataX源码尝试编译及遇到的问题、尝试改造开源项目dataX一、下载dataX工具及简要使用gitHub下载（在下面的README里，Quick Start栏中）：https://github.com/alibaba/Dat...原创 2019-03-28 11:34:24 · 2980 阅读 · 1 评论 -
大数据学习——dataX源码重新打包+测试
dataX工具（可执行的资源包），源码的下载和部署请参考上一篇博文：https://blog.youkuaiyun.com/qq_15903671/article/details/88862619dataX工具包从官网下载之后可以发现他加压后有将近1G的大小。显然我们不希望一个ETL工具太大。以下的博文我将从dataX源码中保留oraclereader插件和hdfswrtier插件，重新对dataX进行打...原创 2019-03-29 10:19:14 · 4124 阅读 · 0 评论 -
大数据学习——hbase安装使用教程
下载地址：http://archive.apache.org/dist/hbase/hbase-0.98.8/百度网盘备份：主要包括：hbase安装、hbase运行和检查、hbase基本操作一 、hbase安装1.1 下载解压上面有下载链接，下载好hbase***.tar.gz安装包后解压 tar -zxvf hbase***.tar.gz解压后使用mv命令将来...原创 2019-02-01 14:03:22 · 2049 阅读 · 2 评论 -
大数据学习——sqoop安装使用教程
由于hadoop启动即开始申请大量内存，笔记本安装VMware下的虚拟机很难满足配置要求，从sqoop开始切换到公司的linux CentOS环境上进行测试学习。以下包括：sqoop下载安装，sqoop连接关系型数据库，sqoop数据导入操作 一、sqoop下载安装1.1 sqoop下载官网地址：http://mirrors.hust.edu.cn/apache/sqoop/百...原创 2019-01-31 13:42:14 · 712 阅读 · 0 评论 -
大数据学习——学习教程
一、大数据环境搭建1. 安装VMware虚拟机：https://blog.youkuaiyun.com/qq_15903671/article/details/848740802. VMware下安装Ubuntu：https://blog.youkuaiyun.com/qq_15903671/article/details/848742693. 安装VMware Tools ：https://blog.csd...原创 2018-12-19 11:24:36 · 330 阅读 · 0 评论 -
大数据学习——帆软报表软件安装
百度网盘备份：链接：https://pan.baidu.com/s/1BW7jbZ1JAHa6dbwPxSlmjA 提取码：trbw 一、安装截图桌面图标启动动画原创 2019-01-23 15:16:56 · 690 阅读 · 0 评论 -
大数据学习——elastic search 安装使用教程
elastic search 全文搜索引擎，将文档以文本方式存储后在elastic search中可以方便快捷的进行全文检索。以下主要包括：1. linux下安装elastic search 2. elastic search基本操作3. 文档的全文检索应用一、安装elastic searchlinux联网下载： wget https://artifacts.elastic...原创 2018-12-21 13:15:11 · 771 阅读 · 0 评论 -
Hadoop（2）——Hadoop安装、配置、测试(伪分布式部署)
前面我们已经尝试了Hadoop的单机部署测试，下面在单节点上进行伪分布式的部署测试一、单节点部署参考我的博文：https://blog.youkuaiyun.com/qq_15903671/article/details/84950117 二、伪分布式部署所谓伪分布式是因为只有一个节点，但是完整的启动hadoop的HDFS deamon和YARN deamon。其中，HDFS deam...原创 2018-12-19 17:46:33 · 332 阅读 · 0 评论 -
Hadoop（1）——Hadoop安装、配置、测试(单机运行)
前面博文我尝试安装了VMware虚拟机和Ubuntu测试系统。下面开始安装大数据基础工具Hadoop。主要包括：安装SSH，安装jdk，安装Hadoop及单机部署测试，伪分布式部署测试，集群部署测试。关于SSH安装调试及集群间免密登陆参考我的博文：https://blog.youkuaiyun.com/qq_15903671/article/details/84964221关于JDK安装参考我...原创 2018-12-19 17:43:00 · 478 阅读 · 0 评论 -
大数据环境搭建（8）——linux赋予用户root权限
主要包括以下内容：创建用户分配到root组、设置用户密码、给用户root权限一、创建用户并分配root组指令： useradd -m -g root orcuser 创建orcuser用户到root组查看当前用户信息指令： id二、设置用户密码指令： passwd orcuser 密码输两遍三、给用户root权限 修改 /etc/sudoers ...原创 2019-01-04 09:25:13 · 488 阅读 · 0 评论 -
大数据环境搭建（7）——固定ip地址
当我们需要在VMware-ubuntu虚拟机下进行集群测试时，ssh连接等操作需要知道每台节点的ip地址，这样我们需要将所有的虚拟机ip地址固定下来。测试环境：VMware14.1.2 、Ubuntu18.04.1 搭建大数据测试环境的完整过程参考我的博客https://blog.youkuaiyun.com/qq_15903671/article/details/85063248固定ip地址分为...原创 2018-12-19 13:08:09 · 513 阅读 · 0 评论 -
大数据环境搭建（6）——Ubuntu安装JDK
JDK百度云备份:链接：https://pan.baidu.com/s/1ZyPg2Y1k8aDbtESwWPpOrA 提取码：ibwo 为控制jdk版本一致性，我的所有ubuntu虚拟机采用安装包手动的方式安装JDK如图，我是从Ubuntu1中将下载的jdk安装包拷贝了过来。一、 解压jdktar -zxvf jdk-8u191-linux-x64.tar.gz ...原创 2018-12-12 08:49:32 · 380 阅读 · 0 评论 -
大数据环境搭建（5）——Ubuntu安装SSH
前面博文已经安装了Ubuntu系统，启用了root用户，拿到了系统的管理员权限，基本的环境就算搭建好了。下面开始尝试配置SSH实现免密登陆。1. 主机名的查询和修改2.安装ssh+宿主机远程连接3. 本地用户免密登陆4. 异地用户免密登陆一、主机名的查询和修改配置ssh远程连接之前，至少知道服务器主机名和用户吧。输入 hostname 命令查看主机名修改 /et...原创 2018-12-12 08:48:47 · 874 阅读 · 0 评论 -
大数据环境搭建（4）——Ubuntu启用root用户
前面博文我已已经安装好Ubuntu操作系统看到图形界面了。但Ubuntu的默认登陆是使用安装时配置的普通用户，没有管理员权限，下面我们开始配置启动权限，分为四个步骤：1.启用root用户设置密码2.修改50-ubuntu.conf文件3.修改gdm-autologin和gdm-passwd文件4.修改/root/.profile文件一、启用root用户设置密码首先，新安装的...原创 2018-12-18 15:19:45 · 310 阅读 · 0 评论 -
大数据环境搭建（3）——VMwareTools安装
VMware下载安装和Ubuntu虚拟机安装教程参考前面的博文：https://blog.youkuaiyun.com/qq_15903671/article/details/84874080https://blog.youkuaiyun.com/qq_15903671/article/details/84874269虚拟机安装完成后需要相应配置，尤其是显示分辨率、网络、文件上传。通过安装VMwareTo...原创 2018-12-11 09:39:21 · 260 阅读 · 0 评论 -
大数据环境搭建（2）——VMware下Ubuntu系统安装教程
Ubuntu官网下载地址：https://www.ubuntu.com/index_kylin百度网盘备份：链接：https://pan.baidu.com/s/19IDJt9hdyrT1b02qpj4XpA 提取码：784q 一、Ubuntu官网下载截图点击download--Ubuntu Desktop 选择版本。一般选择稳定版本，不选择最新版本。二、VMware下载安装...原创 2018-12-07 14:42:29 · 342 阅读 · 3 评论 -
大数据环境搭建（1）——VMware下载安装
官网地址：https://www.vmware.com/cn.html百度网盘备份：链接：https://pan.baidu.com/s/1ZIMgrKyE2s9uktl4_lK-CA 提取码：57ha 一、官网下载截图点击下载，选择workstation pro版本选择14.0，点击转止下载版本选择14.1.2 点击立即下载选中同意...复选框，点击接受...原创 2018-12-07 14:31:32 · 1037 阅读 · 0 评论