呼吸的小鱼博客

1、系统管理1.1 连接MySQL　　格式： mysql -h主机地址 -u用户名 －p用户密码　　举例：　　例1：连接到本机上的MySQL。　　首先在打开DOS窗口，然后进入目录 mysqlbin，再键入命令"mysql –u root –p"，回车后提示你输密码，如果刚安装好MySQL，超级用户"root"是没有密码的，故直接回车即可进入到MySQL中了

1、中文乱码china.txt出现中文乱码执行结果文件也出现乱码2、修改本地文件格式3、重新上传到score_in目录下4、修改workspace的字符集编码5、查看上传文件和结果文件

1、资源准备hadoop-common-2.7.1-bin.ziphadoop-eclipse-plugin-2.7.3.jar  jdk-8u112-windows-x64.exehadoop-2.7.3.tar.gz2、安装JDKjdk-8u112-windows-x64.exe双击安装配置环境变量:JAVA_HOME:D:\DevApp\Java\jdk1.8

1、MySQL安装    MySQL下载地址：http://www.mysql.com/downloads/1.1 Windows平台　　1）准备软件　　MySQL版本：mysql-5.5.21-win32.msi　　2）安装环境：　　操作系统：Windows 7旗舰版　　3）开始安装　　第一步：双击"msi"安装文件，出现如图1.1

1）Cygwin相关资料　　（1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案　　地址：http://blog.163.com/pwcrab/blog/static/16990382220107267443810/　　（2）windows2003+cygwin+ssh　　地址：http://wenku.baidu.com/view

目录安排：　　1）Hadoop集群_第1期_CentOS安装配置_V1.0　　2）Hadoop集群_第2期_机器信息分布表_V1.1　　3）Hadoop集群_第3期_VSFTP安装配置_V1.0　　4）Hadoop集群_第4期_SecureCRT使用_V1.0　　5）Hadoop集群_第5期_Hadoop安装配置_V1.1　　6）Hadoop集群_第

1）Hadoop学习总结　　（1）HDFS简介　　（2）HDFS读写过程解析　　（3）Map-Reduce入门　　（4）Map-Reduce的过程解析　　（5）Hadoop的运行痕迹　　（6）Apache Hadoop 版本 2）Hadoop-0.20.0源代码分析　　（1）Hadoop-0.20.0源代码分析（01）　　地址

1、准备安装 1.1 系统简介　　CentOS 是什么？ 　　CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 CentOS 会定期（大概每六个月）更新一次，以便支持新

1、分布式环境搭建　　采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 　　其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档的采集。2、集群机器详细信息2.1

1、VSFTP简介　　VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。　　安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。　　在速度方面，使用ASCII代码的模式下载数据时，VSFTP的速度是Wu-FTP的两

1、SecureCRT简介 　　SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRTTelnet客户机的所有特点，包括：自动注册、对不同主机保持不同的特性、打印功能

1、集群部署介绍 1.1 Hadoop简介 　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。　　对于H

1、Linux配置java环境变量 1.1 原文出处    地址：http://blog.youkuaiyun.com/jiedushi/article/details/6672894 1.2 解压安装jdk　　在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录，执行命令 ./jdk-6u14-linux-i586.bin 这时会出

1、MapReduce理论简介 1.1 MapReduce编程模型　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job

1、Hadoop开发环境简介1.1 Hadoop集群简介　　Java版本：jdk-6u31-linux-i586.bin　　Linux系统：CentOS6.0　　Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介　　Java版本：jdk-6u31-windows-i586.exe　　Win系统：Window

1、HDFS简介　　HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理

1、数据去重　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述　　对数据文件中的数据进行去重。数据文件中的每行都是一个数据。　　样例输入如下所示：     1）file1： 

1、MySQL安装    MySQL下载地址：http://www.mysql.com/downloads/1.1 Windows平台　　1）准备软件　　MySQL版本：mysql-5.5.21-win32.msi　　2）安装环境：　　操作系统：Windows 7旗舰版　　3）开始安装　　第一步：双击"msi"安装文件，出现如图1.1

超详细记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、Hadoop启动。Hadoop欢迎页面：集群规划：主机名/hostnameIP角色master19