weixin_51341142的博客

本文介绍了部分linux命令。

产生原因我们在配置hadoop中的hdfs时，会设置元数据的存储位置，如图所示要想解决此问题，先停止所有启动的服务stop-all.sh然后删除上图画出来的配置文件，这里三台机器都要删，最后进入hadoop目录删除logs就可以重新格式化了...

1. 准备1台虚拟机master，配置好jdk，hadoop2、克隆两台虚拟机slave0、slave1，分别配置ip地址cd /etc/sysconfig/network-scripts vi ifcfg-ens33 BOOTPROTO=static ONBOOT=yes IPADDR=192.168.47.10 *三台虚拟机ip地址不能相同* GATEWAY=192.168.47.2 *网关* NETMASK=255.255.255.0 *子

在Hadoop全分布构建中，常常会出现以下错误[root@Hadoopc1 hadoop]# start-all.shStarting namenodes on [192.168.13.245]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.Starting datanodesERROR..

1.3云计算的发展现状亚马逊的云计算称为AWS，它率先在全球提供了弹性计算云EC2和简单的存储服务S3，为企业提供计算和存储服务。收费的服务项目包括存储空间，带宽，CPU资源及月租费。AWS服务的种类非常齐全，其全球用户数量已经超过100万。谷歌是最大的云计算技术的使用者，谷歌搜索引擎就建立在200多个站点，超过100万台的服务器的支撑上，而且这些设施的数量正在迅猛增长。Microsoft微软于2008年10月推出了Windows Azure操作系统。Azure（蓝天）是继Windows取代DOS之后

第一章 大数据与云计算#1.1大数据时代何为大数据？：海量数据或巨量数据，其规模巨大到约不通过目前主流的计算机系统在合理时间内获取，存储，管理，处理并提炼以帮助使用者决策大数据具有的特征（4V+1C）数据量大（Volume），多样性（Variety）快速（Velocity） 价值密度低（Value）复杂度（Complexity）1.2云计算------大数据的计算委员会主任怀进鹏院士用一个公式描述了大数据与云计算的关系：G＝f(x)x是大数据，f是云计算，G是我们的目标*

1.2.2软件工程的概念，特点和目标#1.软件工程的概念软件工程的基本思想主要是强调在软件开发过程中利用工程化标准准则，技术，方法和管理及文档与应用的重要性.1968年,FritzBauer在NATO会议上将软件工程定义为:建立并使用完善的工程化原则，以较经济的手段获得能在实际机器上有效运行的可靠软件的一系列方法。1983年,IEEE在《IEEE软件工程标准术语》中的定义是:软件工程是开发、运行、维护和修复软件的系统方法,其中**“软件”的定义为:计算机程序、方法、规则、相关的文档资料以及在计事机上

软件工程基础 第一章#1.1.1软件工程危机概述软件工程危机的概念和特征软件危机是指20世纪60年代在计算机软件的研发，运行，维护和管理过程中，出现一系列严重问题的现象软件危机的特征主要体现在7个方面（1）在软件系统运行过程中，经常出现功能，性能等严重问题或故障（2）软件产品的质量，可靠性和安全等方面，时常不能达到标准要求。软件产品质量难以保证，甚至在开发过程中被迫中断（3）软件开发管理差，对成本和进度难以估计（4）系统时常出现无法维护，升级或更新的问题（5）开发效率低，无法满足应用快速