阿里云轻量级服务器dd更换系统

Update:

1.2019.9.25更新支持centos8

当我们需要重装VPS/云平台/独立服务器操作系统时,通常可以通过服务商模板和ISO挂载的方式重新安装。

从今天开始,你将拥有了一个全新的方式,通过网络一键式重新安装纯净操作系统,无需CD-ROM,无需VNC/IPIM/KVM。

无论是Linux,还是Windows,都可以通过网络一键式完成安装,通过简单的两行命令开启美妙的体验。

现实需求
为什么我们需要重装纯净系统?

  1. 服务商提供的系统模板可能会内置一些软件,甚至和我们即将安装的软件产生冲突,导致安装失败。

  2. ISO挂载并不是所有服务商都提供的服务,一些IPIM/KVM传输速度过于缓慢,安装效率较差。

  3. Linux/Windows在使用中可能遇到一些找不到问题的莫名错误。相信你一定深有体会!

你需要了解

  1. 所有系统除特殊说明外,安装完毕的默认密码是cxthhhhh.com,为了防止暴力破解,你必须在安装完毕立刻修改默认密码!

  2. 因硬件配置和网络环境不同,安装全程需要15-60分钟,请耐心等待。安装完成即可通过IP:22(Linux SSH)/IP:3389(Windows RDP)进行连接。

  3. 为了稳定性和安全性,我建议所有网站管理员/开发者/公司使用最新的系统,同时我只为最新的系统提供技术支持。

  4. 一些没有DHCP的VPS/云平台/独立服务器,安装后无法访问网络,你需要登陆VNC/IPIM/KVM后手动进行网卡IP配置。

如遇无法下载,请切换本站备用下载节点,节点目录请参考 https://www.815494.com/announcement/1357.html
重装系统前环境需求

  1. 当前已安装任意由GRUB or GRUB2引导Linux系统(RedHat/CentOS/Debian/Ubuntu/Etc.)

  2. 安装重装系统的前提组件

①. RedHat/CentOS:

yum install -y xz openssl gawk file
②. Debian/Ubuntu:

apt-get install -y xz-utils openssl gawk file
关于CENTOS8

  1. CentOS 8 官方要求安装和运行内存不低于2GB,推荐4GB以上。

  2. 通过DD网络重装方案,目前测试通过可在512MB内存机器上运行。

  3. 但是使用低于官方要求的配置,那卡顿可能也属正常,建议使用高配机器。

  4. 前CentOS 8还处于8.0版本,配套环境不够稳定,如供您需要在生产环境使用,

  5. 建议等待CentOS 8.1/8.2版本发布,再上线使用,预计1年内新版8.1/8.2发布。

  6. 目前线上环境建议使用CentOS 7,C8目前尝鲜还行,线上使用等待小版本1或2再用。

让我们开始吧

  1. 下载SHELL脚本(通过root用户运行)
    wget –no-check-certificate http://shell.p1e.cn/reinstall/Network-Reinstall-System-Modify.sh && chmod a+x Network-Reinstall-System-Modify.sh

  2. 安装系统(任选其一)
    【安装Linux系统】

①. 一键网络重装纯净 CentOS 8(推荐)

bash Network-Reinstall-System-Modify.sh -CentOS_8
②. 一键网络重装纯净CentOS 7

bash Network-Reinstall-System-Modify.sh -CentOS_7
③. 一键网络重装纯净CentOS 6

bash Network-Reinstall-System-Modify.sh -CentOS_6
④. 一键网络重装纯净Debian 9(推荐)

bash Network-Reinstall-System-Modify.sh -Debian_9
⑤. 一键网络重装纯净Debian 8

bash Network-Reinstall-System-Modify.sh -Debian_8
⑥. 一键网络重装纯净Debian 7

bash Network-Reinstall-System-Modify.sh -Debian_7
⑦. 一键网络重装纯净Ubuntu 18.04(推荐)

bash Network-Reinstall-System-Modify.sh -Ubuntu_18.04
⑧. 一键网络重装纯净Ubuntu 16.04

bash Network-Reinstall-System-Modify.sh -Ubuntu_16.04
⑨. 一键网络重装纯净Ubuntu 14.04

bash Network-Reinstall-System-Modify.sh -Ubuntu_14.04
【安装Windows系统】

*警告:你需要购买来自Microsoft或其合作伙伴正版系统授权并激活系统使用。继续安装即代表您知悉并已经购买正版授权。

①. 一键网络重装纯净Windows Server 2019(推荐)

bash Network-Reinstall-System-Modify.sh -Windows_Server_2019
②. 一键网络重装纯净Windows Server 2016

bash Network-Reinstall-System-Modify.sh -Windows_Server_2016
③. 一键网络重装纯净Windows Server 2012 R2

bash Network-Reinstall-System-Modify.sh -Windows_Server_2012R2
④. 一键网络重装纯净Windows Server 2008 R2

bash Network-Reinstall-System-Modify.sh -Windows_Server_2008R2
⑤. 一键网络重装纯净Windows 7

bash Network-Reinstall-System-Modify.sh -Windows_7_Vienna
⑥. 一键网络重装纯净Windows Server 2003

bash Network-Reinstall-System-Modify.sh -Windows_Server_2003
【安装DD系统】

*如果您不了解这意味着什么,请不要进行操作。%ULR%应该替换为您自己的映像地址。

bash Network-Reinstall-System-Modify.sh -DD “%URL%”
恭喜,你已经完成了系统重装,享受当下的美好
当您执行完上面的2行命令,你的服务器将开始网络重装纯净系统。在完成安装前,您将无法进行连接管理。

因硬件配置和网络环境不同,安装全程需要15-60分钟,请耐心等待。安装完成即可通过IP:22(Linux SSH)/IP:3389(Windows RDP)进行连接。

原创文章,作者:admin,如若转载,请注明出处:https://www.huiyingwu.com/910/

<think>我们正在阿里云2核4G服务器上搭建伪分布式CDH 6.3.2环境。由于资源有限,需要特别注意资源配置优化。以下是详细步骤: ### 一、环境准备 1. **服务器规格** - 阿里云ECS实例:2 vCPU, 4 GiB内存 - 操作系统:**CentOS 7.9**(最小化安装)[^3] - 磁盘:40GB系统盘 + 100GB数据盘(挂载至`/data`) 2. **基础配置** ```bash # 关闭防火墙 systemctl stop firewalld && systemctl disable firewalld # 禁用SELinux sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config setenforce 0 # 配置主机名解析 echo "127.0.0.1 hadoop01" >> /etc/hosts hostnamectl set-hostname hadoop01 ``` 3. **磁盘格式化** ```bash # 格式化数据盘(假设为/dev/vdb) mkfs.xfs /dev/vdb mkdir -p /data/{dfs,nn,dn,yarn} mount /dev/vdb /data echo "/dev/vdb /data xfs defaults 0 0" >> /etc/fstab ``` --- ### 二、安装CDH 6.3.2 1. **下载Parcel** ```bash mkdir -p /opt/cloudera/parcel-repo cd /opt/cloudera/parcel-repo # 下载主Parcel(CentOS 7) wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha # 重命名 # 下载manifest.json wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json ``` 2. **安装Cloudera Manager(简化版)** 由于资源限制,我们使用Cloudera Manager的**单节点嵌入式模式**: ```bash wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm # 安装依赖 yum install -y java-1.8.0-openjdk-devel mysql-connector-java # 安装RPM包 rpm -ivh cloudera-manager-daemons-6.3.1*.rpm rpm -ivh cloudera-manager-agent-6.3.1*.rpm rpm -ivh cloudera-manager-server-6.3.1*.rpm ``` --- ### 三、配置伪分布式集群 1. **内存优化配置(关键!)** 在2核4G环境下,需严格限制内存使用: | 服务 | 最大堆内存 | 配置路径 | |------------|------------|------------------------------| | **NameNode** | 512 MB | HDFS配置 → Java堆栈大小 | | **DataNode** | 256 MB | DataNode高级配置 | | **NodeManager** | 384 MB | YARN配置 → 容器内存 | | **ResourceManager** | 384 MB | ResourceManager高级配置 | > **注意**:剩余内存留给操作系统和Cloudera Manager进程 2. **HDFS配置** - NameNode数据目录:`/data/nn` - DataNode数据目录:`/data/dn` ```xml <!-- hdfs-site.xml --> <property> <name>dfs.replication</name> <value>1</value> <!-- 伪分布式设为1 --> </property> ``` 3. **YARN配置** ```xml <!-- yarn-site.xml --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> <!-- 总可用内存1GB --> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>256</value> <!-- 最小容器内存256MB --> </property> ``` --- ### 四、启动集群 1. **初始化数据库(嵌入式PostgreSQL)** ```bash /opt/cloudera/cm/schema/scm_prepare_database.sh postgresql scm scm scm_password ``` 2. **启动Cloudera Manager** ```bash systemctl start cloudera-scm-server systemctl start cloudera-scm-agent ``` 3. **通过Web UI部署** 访问 `http://<阿里云公网IP>:7180`,按向导操作: - 选择 **"Parcel"** → 本地存储库路径:`file:///opt/cloudera/parcel-repo` - 集群模板选择:**"单节点伪分布式"** - 应用步骤三的优化配置 --- ### 五、验证安装 1. **检查服务状态** ```bash # 所有服务应显示正常 hdfs dfsadmin -report yarn node -list ``` 2. **运行测试任务** ```bash hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-examples-*.jar pi 2 10 ``` > **资源不足时的应急方案**: > 若内存溢出,可临时添加1GB交换空间: > ```bash > dd if=/dev/zero of=/swapfile bs=1M count=1024 > mkswap /swapfile && swapon /swapfile > ``` --- ### 相关问题 1. 如何调整HDFS的块大小以适应小规模环境? 2. 伪分布式模式下如何启用Hive? 3. 如何监控CDH 6.3.2的资源使用情况? 4. 阿里云安全组需要开放哪些端口? 5. 如何备份伪分布式集群的元数据? [^1]: How To Install Apache Hadoop Pseudo Distributed Mode [^2]: CDH 6.2.1版本验证示例 [^3]: CDH5.14配置分发操作 [^4]: CDH5.15单机安装路径 [^5]: DolphinScheduler下载地址</think>### 阿里云2核4G服务器搭建伪分布式CDH 6.3.2指南 由于资源有限(2核4G),需精简配置。以下是关键步骤: --- ### 一、环境准备(关键优化) 1. **操作系统配置** ```bash # 关闭防火墙和SELinux systemctl stop firewalld && systemctl disable firewalld setenforce 0 sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config # 配置主机名解析(伪分布式需映射到127.0.0.1) echo "127.0.0.1 hadoop01" >> /etc/hosts hostnamectl set-hostname hadoop01 ``` 2. **资源限制调整**(防止OOM) ```bash # 增大最大进程数和文件描述符限制 echo "* soft nproc 65535" >> /etc/security/limits.conf echo "* hard nofile 65535" >> /etc/security/limits.conf ``` 3. **磁盘优化** ```bash # 为HDFS单独挂载高性能云盘(推荐ESSD) mkfs.xfs /dev/vdb # 假设vdb是新数据盘 mkdir /data mount /dev/vdb /data ``` --- ### 二、CDH 6.3.2安装流程 1. **下载必要组件** ```bash # CDH Parcel(核心组件) wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel # Cloudera Manager(管理工具) wget https://archive.cloudera.com/cm6/6.3.1/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm ``` 2. **Java环境配置** ```bash yum install -y java-1.8.0-openjdk-devel echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0" >> /etc/profile ``` 3. **安装Cloudera Manager** ```bash # 安装嵌入式PostgreSQL(轻量级数据库) yum install -y postgresql-server postgresql-setup initdb # 安装CM Agent rpm -ivh cloudera-manager-agent-*.rpm ``` --- ### 三、伪分布式关键配置 1. **HDFS配置** (`hdfs-site.xml`) ```xml <configuration> <!-- 单节点复用本地目录 --> <property> <name>dfs.namenode.name.dir</name> <value>file:///data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///data/datanode</value> </property> <!-- 关闭副本冗余 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 2. **YARN配置** (`yarn-site.xml`) ```xml <configuration> <!-- 严格控制内存使用 --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>3072</value> <!-- 保留1GB给系统 --> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> <!-- 最小容器内存 --> </property> </configuration> ``` 3. **MapReduce配置** (`mapred-site.xml`) ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!-- 限制Map任务内存 --> <property> <name>mapreduce.map.memory.mb</name> <value>512</value> </property> </configuration> ``` --- ### 四、启动与验证 1. **格式化HDFS** ```bash hdfs namenode -format ``` 2. **启动所有服务** ```bash # 启动HDFS start-dfs.sh # 启动YARN start-yarn.sh ``` 3. **资源验证** ```bash # 检查节点状态 hdfs dfsadmin -report # 运行测试任务 hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 2 10 ``` --- ### 五、资源节省技巧 1. **禁用非必要服务** ```bash # 在Cloudera Manager中关闭: - HBase - Impala - Oozie ``` 2. **配置Linux SWAP**(防OOM) ```bash # 添加2GB交换空间 dd if=/dev/zero of=/swapfile bs=1M count=2048 mkswap /swapfile swapon /swapfile ``` --- ### 相关问题 1. 如何监控CDH 6.3.2的资源使用情况? 2. 伪分布式环境下如何调试YARN任务失败? 3. CDH 6.3.2与Apache Hadoop 3.x的兼容性差异? 4. 如何为CDH 6.3.2配置TLS/SSL加密? 5. 小内存环境下Hive的最佳配置参数是什么? > **注意**:2核4G环境仅适合开发测试,生产环境需至少8GB内存[^2][^4]。若安装失败,检查`/var/log/cloudera-manager-installer`日志定位问题。 [^1]: 伪分布式安装参考 [^2]: CDH 6.2.1版本验证 [^3]: 配置文件分发示例 [^4]: CDH单机部署路径
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值