wget gzip

最新推荐文章于 2024-04-29 02:00:05 发布
转载 最新推荐文章于 2024-04-29 02:00:05 发布 · 1.3k 阅读 · 0

本文介绍如何在Apache或Nginx启用gzip/deflate压缩后使用wget和curl进行正确测试的方法。对于wget，需要添加--header=accept-encoding:gzip选项；对于curl，则需加入--compressed选项。
Apache启用gzip/deflate或者Nginx启用gzip之后
用wget测试的话需要加上--header="accept-encoding:gzip"
用curl则加上--compressed
浪费了20分钟在这选项上,milk

关于gzip和deflate有两篇文章(1和2), 作者应该是一个人，明显是从1毛跳去了性浪..
精选资源
wget.tar.gz
04-06
wget是Linux环境中广泛使用的命令行工具，用于从网络上下载文件。它支持HTTP、HTTPS和FTP协议，甚至可以通过代理服务器工作。wget以其非交互式、可靠性和后台运行能力而著名，使得用户即使在离开计算机时也能继续...
wget源码安装包1.20版lz gz
06-26
这个“wget源码安装包1.20版lz gz”指的是wget的1.20版本源代码，压缩格式为lz和gz，通常这样的文件扩展名组合表示文件已经被lz（LZMA，一种高效的压缩算法）和gzip（一种通用的数据压缩程序）双重压缩。 源码安装...
curl wget gzip
春来江水绿如蓝
04-27 2605
Apache启用gzip/deflate或者Nginx启用gzip之后 用wget测试的话需要加上--header="accept-encoding:gzip" 用curl则加上--compressed 浪费了20分钟在这选项上,milk curl http://www.favormy.com 2>/dev/null wget http://www.1mima.com 2>/de
linux：wget下载软件，tar -zxvf报错gzip: stdin: not in gzip format tar: Child returned status 1
不懂一休
07-08 1万+
文章目录问题描述错误原因问题复现解决方法1、不用wget 下载，先下载到window，通过Xftp工具复制进 Linux系统2、通过华为开源云镜像站下载，速度挺快，问题解决 问题描述 今天在docker中用dockerfile自动安装jdk时，用wget下载jdk的压缩包，看似可以正常下载，当使用tar -zxvf解压时报错 错误原因 我的jdk下载地址 https://download.oracle.com/otn/java/jdk/8u251-b08/3d5a2bb8f8d4428bbe94aed7e
Linux常用命令：文件的下载、压缩与解压
TiYong的博客
02-29 1万+
在Linux系统使用中，我们经常需要下载文件、对文件进行压缩和解压操作。本文将介绍一些常用的Linux命令，帮助你轻松完成这些操作。
nginx系列(十七)nginx下的gzip与vary、预压缩、缓存、反向代理的结合
报喜鸟
10-31 2738
[size=xx-large]前言[/size] 在http的协议里，为了减少网络传输，允许将报文进行gzip压缩以后再传输。虽然网络传输体积减小了，但是服务器压缩和浏览器的解压缩消耗了CPU的计算。 后来出现了预压缩技术，就是提前把静态文件进行gzip压缩，当请求来的时候，直接读走。这样服务器就没了压缩消耗，而浏览器的解压缩性能相比网络IO，影响不大。 [size=xx-large...
解决CentOS里wget命令下载的压缩包解压缩出错
weixin_43968936的博客
12-07 3858
我下载用的代码： wget --no-check-certificate https://www.python.org/ftp/python/3.6.3/Python-3.6.3.gz 我遇到这个问题的时候也是各种网上的方法都尝试了一遍，发现我的问题是由于使用wget命令下载的压缩包有问题，所以我在本地下载了压缩包，用rz命令上传到Linux服务器，然后再tar命令解压就成功了。 本想用rz命...
wget-1.9.1.tar.gz
07-12
`.tar.gz` 是一种常见的文件打包和压缩格式，它首先使用`tar`命令将多个文件或目录打包成一个单一的`.tar`文件，然后用`gzip`工具进行压缩，形成`.tar.gz`文件。在Unix-like系统中，用户需要先解压这个文件，然后...
安卓下利用ndk编译wget项目
11-23
在编译过程中，需要确保链接了所有必要的Android系统库，例如 OpenSSL（用于HTTPS支持） 和 libz（用于gzip解压）。 5. **处理动态链接**：由于Android系统可能不包含某些静态库，因此可能需要创建动态链接库（.so...
【每天一个 Linux 命令】wget 命令用法详解_wget -i
m0_60567796的博客
04-29 2010
对于我们下载大文件时突然由于网络等原因中断非常有帮助，我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。当你执行wget的时候，它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件，而你还需要下载其它文件时就有必要限速了。在下载的过程中会显示进度条，包含（下载完成百分比，已经下载的字节，当前下载速度，剩余下载时间）。wget默认会以最后一个符合”/”的后面的字符来命令，对于动态链接的下载通常文件名会不正确。对于下载非常大的文件的时候，我们可以使用参数-b进行后台下载。
如何通过GZIP来优化你的网站
热门推荐
咕咕鸡的博客
08-13 2万+
gzip压缩是怎么回事；如何通过gzip来开启压缩。
解决开启Gzip压缩后 某些浏览器访问不正常
我的专栏
05-23 2363
配置好Gzip后，不通过CDN，直接用Fidller或者FireFox Firebug看页面信息，都能看到已经通过Gzip压缩过了，但是在Linux下面使用wget、curl等 工具查看同样的页面信息时，却发现没有压缩。这个问题一直没有解决。最后在MetaBase.xml第三段IIsCompressionSchemes中发现了三个很重要的参数： HcNoCompressionForHttp1
Linux命令详解（一）——wget命令
qq_45594628的博客
10-25 2万+
wge是Linux中的一个下载文件的工具，是在Linux下开发的开放源代码的软件，作者是Hrvoje Nikšić ，后来被移植到包括Windows在内的各个平台上。wget用在命令行下，对于Linux用户是必不可少的工具，体积小、功能完善，支持HTTP，HTTPS和FTP协议，可以使用HTTP代理，支持断点下载，自动下载，后台运行。wget可以跟踪HTML页面上的链接依次下载（递归下载）来创建远程服务器的本地版本，完全重建原始站点的目录结构。
linux wget返回值_linux使用wget
weixin_39742065的博客
12-22 435
wgetis a Linux command-line utility for retrieving filesfrom the web, via HTTP, HTTPS and FTP protocols. When you are usingwgettodownload a file at a particular HTTP url,wgetsends an appropriateH...
从python爬虫引发出的gzip,deflate,sdch,br压缩算法分析
12-18 4271
今天在使用python爬虫时遇到一个奇怪的问题,使用的是自带的urllib库，在解析网页时获取到的为b'\x1f\x8b\x08\x00\x00\x00\x00...等十六进制数字，尝试使用chardet来检查编码格式时发现encoding为None,因为以前一直用的是requests库，所以没有仔细注意过这个问题，经过详细搜索后分析如下（下面代码是修改后加入gzip的）： 转载注明h...
linux wget解压包的问题
程序猿的博客
12-29 2741
### tar   -zxvf     jdkxxxxxxxxx.tar.gz 解压报错： gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now 用 file   jdkxxxxxxxxx.tar.gz 命令查看显示为
#!/bin/bash ############################################################ # 参数定义 ############################################################ # 安装包所在路径 pack_dir=/iflytek/install # 应用安装路径 server_dir=/iflytek/server # Fastdfs配置文件路径 Fast_conf=/iflytek/conf # shell脚本路径 shell_dir=/iflytek/install/shell # 定义颜色变量以增强输出效果 RED='\033[0;31m' GREEN='\033[0;32m' NC='\033[0m' # No Color # 函数：显示进度信息 show_progress() { local message=$1 echo -e "${GREEN}=> ${message}${NC}" } # 函数：错误处理 handle_error() { local error_message=$1 echo -e "${RED}ERROR: ${error_message}${NC}" exit 1 } # 函数：创建必要目录 create_directories() { show_progress "正在创建所需目录..." mkdir -p /iflytek/{engine,conf,bak,server,data/zookeeperusr} /usr/java || handle_error "目录创建失败" show_progress "目录创建完成！" } # 函数：操作系统设置 configure_os() { show_progress "正在关闭防火墙和SELinux..." systemctl stop firewalld.service > /dev/null 2>&1 && systemctl disable firewalld.service > /dev/null 2>&1 || handle_error "防火墙关闭失败" setenforce 0 && sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config || handle_error "SELinux关闭失败" show_progress "正在调整系统限制..." ulimit -n 655360 && ulimit -u 655360 || handle_error "系统限制调整失败" echo '* soft noproc 655360' >> /etc/security/limits.conf echo '* hard noproc 655360' >> /etc/security/limits.conf echo '* soft nofile 655360' >> /etc/security/limits.conf echo '* hard nofile 655360' >> /etc/security/limits.conf echo 'vm.max_map_count=655360' >> /etc/sysctl.conf sysctl -p > /dev/null 2>&1 || handle_error "sysctl配置加载失败" show_progress "操作系统设置完成！" } # 函数：配置Java环境 configure_java() { show_progress "正在卸载旧版JDK并解压新版本..." rpm -e --nodeps `rpm -qa | grep -i jdk` > /dev/null 2>&1 || true tar zxf $pack_dir/jdk-8u144-linux-x64.tar.gz -C /usr/java/ > /dev/null 2>&1 || handle_error "JDK解压失败" show_progress "正在配置Java环境变量..." cat <<EOF >> /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_144 export JRE_HOME=\$JAVA_HOME/jre export PATH=\$PATH:\$JAVA_HOME/bin export CLASSPATH=.:\\\$JAVA_HOME/lib/dt.jar:\\\$JAVA_HOME/lib/tools.jar EOF source /etc/profile || handle_error "Java环境变量加载失败" show_progress "Java环境配置完成！" } # 函数：设置本地Yum源 configure_yum() { show_progress "正在配置本地Yum源..." mkdir -p /etc/yum.repos.d/bak && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak > /dev/null 2>&1 || handle_error "Yum源备份失败" mount -o loop $pack_dir//CentOS-7-x86_64-DVD-2009.iso /tmp > /dev/null 2>&1 || handle_error "ISO挂载失败" cp -a /tmp /iflytek/web/centos > /dev/null 2>&1 || handle_error "Yum源复制失败" umount /tmp > /dev/null 2>&1 || handle_error "ISO卸载失败" cp $pack_dir//shell/my-z-centos.repo /etc/yum.repos.d/ > /dev/null 2>&1 || handle_error "Yum源配置文件复制失败" yum clean all > /dev/null 2>&1 && yum makecache > /dev/null 2>&1 || handle_error "Yum缓存更新失败" show_progress "本地Yum源配置完成！" } # 函数：安装依赖包 install_dependencies() { show_progress "正在安装依赖包..." yum -y install openssl openssl-devel gcc* vim net-tools zip unzip wget gzip lrzsz dos2unix sysstat-11.7.3-1.x86_64 > /dev/null 2>&1 || handle_error "依赖包安装失败" show_progress "依赖包安装完成！" } # 函数：解压安装包 unzip_packages() { show_progress "正在解压安装包..." for i in /iflytek/server/*.zip; do unzip -o $i -d $server_dir > /dev/null 2>&1 || handle_error "文件解压失败" done chmod -R 775 /iflytek/ || handle_error "权限设置失败" mv $server_dir/*.zip $pack_dir// > /dev/null 2>&1 || handle_error "文件移动失败" show_progress "安装包解压完成！" } # 函数：配置主机名 configure_hostname() { show_progress "正在配置主机名..." ip=$(ip addr | grep 'state UP' -A2 | grep inet | egrep -v '(127.0.0.1|inet6|docker)' | awk '{print $2}' | tr -d "addr:" | head -n 1 | cut -d / -f1) hostname skynet > /etc/hosts || handle_error "主机名设置失败" echo "$ip skynet" >> /etc/hosts echo "HOSTNAME=skynet" >> /etc/sysconfig/network echo "skynet" >/etc/hostname show_progress "主机名配置完成！" } # 函数：验证配置 validate_configuration() { show_progress "正在验证配置..." java -version > /dev/null 2>&1 || handle_error "Java环境验证失败" grep "vm.max_map_count" /etc/sysctl.conf | tail -1 > /dev/null 2>&1 || handle_error "系统限制验证失败" cat /etc/security/limits.conf | grep -i "65536" > /dev/null 2>&1 || handle_error "文件限制验证失败" cat /etc/hosts | grep "skynet" > /dev/null 2>&1 || handle_error "主机名验证失败" show_progress "所有配置验证通过！" } # 主函数 main() { create_directories configure_os configure_java configure_yum install_dependencies unzip_packages configure_hostname validate_configuration show_progress "所有操作已完成！" } # 执行主函数 main
最新发布
06-15
<think>我们注意到原脚本中有些路径可能存在错误（例如$pack_dir//CentOS-7-x86_64-DVD-2009.iso中有两个斜杠），以及一些函数中的路径变量使用不一致（例如$server_dir和$install_dir）。此外，原脚本中使用了多个函数，但部分函数内的命令可能因为环境不同而失败，因此需要更健壮的错误处理。优化点：1.统一路径变量，确保使用正确的变量名。2.修正路径拼接错误（去除多余斜杠）。3.在函数中增加参数校验，避免因路径不存在导致错误。4.优化错误处理，确保在关键步骤失败时能够提供有用的错误信息。5.增加日志记录功能，便于追踪问题。6.将颜色定义和函数放在脚本开头，提高可读性。以下为优化后的脚本：</think>以下是对您提供的 shell 脚本的进一步优化版本，增强了错误处理、日志记录和代码可维护性： ```bash #!/bin/bash ############################################################ # 高级系统初始化脚本 # 功能：自动完成系统环境配置、软件安装和验证 ############################################################ ############################################################ # 参数定义 ############################################################ # 安装包所在路径 pack_dir="/iflytek/install" # 应用安装路径 server_dir="/iflytek/server" # FastDFS配置文件路径 fast_conf="/iflytek/conf" # shell脚本路径 shell_dir="/iflytek/install/shell" # 主机名 host_name="skynet" # 日志文件路径 log_file="/var/log/system_init_$(date +%Y%m%d_%H%M%S).log" ############################################################ # 颜色定义 ############################################################ RED='\033[0;31m' GREEN='\033[0;32m' YELLOW='\033[0;33m' BLUE='\033[0;34m' NC='\033[0m' # 无颜色 ############################################################ # 函数定义 ############################################################ # 记录日志 log() { local level=$1 local message=$2 local color=$NC case $level in INFO) color=$GREEN ;; WARN) color=$YELLOW ;; ERROR) color=$RED ;; DEBUG) color=$BLUE ;; esac echo -e "${color}[$(date "+%Y-%m-%d %H:%M:%S")] [$level] ${message}${NC}" echo "[$(date "+%Y-%m-%d %H:%M:%S")] [$level] ${message}" >> "$log_file" } # 带错误处理的命令执行 run_command() { local cmd=$1 local description=$2 local critical=${3:-true} # 默认为关键命令 log "DEBUG" "执行命令: $cmd" # 执行命令并捕获输出 if output=$(eval "$cmd" 2>&1); then log "INFO" "$description - 成功" return 0 else log "ERROR" "$description - 失败" log "ERROR" "错误详情: $output" if [ "$critical" = "true" ]; then log "ERROR" "关键步骤失败，终止执行" exit 1 else return 1 fi fi } # 创建必要目录 create_directories() { run_command "mkdir -p /iflytek/{engine,conf,bak,server,data/zookeeper} /usr/java" \ "创建目录结构" } # 操作系统设置 configure_os() { # 关闭防火墙 run_command "systemctl stop firewalld.service" "停止防火墙服务" run_command "systemctl disable firewalld.service" "禁用防火墙开机启动" # 关闭SELinux run_command "setenforce 0" "临时禁用SELinux" run_command "sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config" \ "永久禁用SELinux" # 调整系统限制 run_command "ulimit -n 655360" "设置打开文件数限制" run_command "ulimit -u 655360" "设置用户进程数限制" # 永久配置系统限制 run_command "echo '* soft noproc 655360' >> /etc/security/limits.conf" \ "配置进程数软限制" run_command "echo '* hard noproc 655360' >> /etc/security/limits.conf" \ "配置进程数硬限制" run_command "echo '* soft nofile 655360' >> /etc/security/limits.conf" \ "配置文件数软限制" run_command "echo '* hard nofile 655360' >> /etc/security/limits.conf" \ "配置文件数硬限制" run_command "echo 'vm.max_map_count=655360' >> /etc/sysctl.conf" \ "配置内核参数" run_command "sysctl -p > /dev/null" "加载内核参数配置" } # 配置Java环境 configure_java() { # 卸载旧版JDK run_command "rpm -e --nodeps \$(rpm -qa | grep -i jdk)" "卸载现有JDK" false # 安装新版JDK run_command "tar zxf \"$pack_dir/jdk-8u144-linux-x64.tar.gz\" -C /usr/java/" \ "解压JDK安装包" # 配置环境变量 local java_profile="/etc/profile.d/java.sh" run_command "cat > \"$java_profile\" <<EOF export JAVA_HOME=/usr/java/jdk1.8.0_144 export JRE_HOME=\\\$JAVA_HOME/jre export PATH=\\\$PATH:\\\$JAVA_HOME/bin export CLASSPATH=.:\\\$JAVA_HOME/lib/dt.jar:\\\$JAVA_HOME/lib/tools.jar EOF" "创建Java环境配置文件" run_command "source \"$java_profile\"" "加载Java环境变量" } # 设置本地Yum源 configure_yum() { # 备份现有Yum源 run_command "mkdir -p /etc/yum.repos.d/bak" "创建Yum源备份目录" run_command "mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak 2>/dev/null" \ "备份现有Yum源" false # 挂载ISO镜像 run_command "mkdir -p /iflytek/web" "创建Yum源目录" run_command "mount -o loop \"$pack_dir/CentOS-7-x86_64-DVD-2009.iso\" /mnt" \ "挂载CentOS ISO镜像" # 复制文件 run_command "cp -a /mnt/* /iflytek/web/centos/" "复制Yum源文件" run_command "umount /mnt" "卸载ISO镜像" # 配置本地源 run_command "cp \"$shell_dir/my-z-centos.repo\" /etc/yum.repos.d/" \ "配置本地Yum源" # 更新缓存 run_command "yum clean all" "清理Yum缓存" run_command "yum makecache" "创建Yum元数据缓存" } # 安装依赖包 install_dependencies() { local packages=( openssl openssl-devel gcc gcc-c++ vim net-tools zip unzip wget gzip lrzsz dos2unix sysstat ) run_command "yum -y install ${packages[*]}" "安装系统依赖包" } # 解压安装包 unzip_packages() { # 解压ZIP文件 for zip_file in "$server_dir"/*.zip; do if [ -f "$zip_file" ]; then run_command "unzip -o \"$zip_file\" -d \"$server_dir\"" \ "解压文件: $(basename "$zip_file")" fi done # 解压TAR文件 for tar_file in "$pack_dir"/*.tar.gz; do if [ -f "$tar_file" ]; then run_command "tar -xf \"$tar_file\" -C \"$server_dir\"" \ "解压文件: $(basename "$tar_file")" fi done # 设置权限 run_command "chmod -R 775 /iflytek" "设置文件权限" # 清理ZIP文件 run_command "mv \"$server_dir\"/*.zip \"$pack_dir/\" 2>/dev/null" \ "移动ZIP文件到安装包目录" false } # 配置主机名 configure_hostname() { # 获取IP地址 run_command "ip=\$(ip -o -4 addr show | awk '\$2 != \"lo\" {print \$4}' | cut -d'/' -f1 | head -1)" \ "获取本机IP地址" # 配置主机名 run_command "hostnamectl set-hostname \"$host_name\"" "设置主机名" # 配置hosts文件 run_command "cat > /etc/hosts <<EOF 127.0.0.1 localhost localhost.localdomain ::1 localhost localhost.localdomain $ip $host_name EOF" "配置/etc/hosts文件" } # 验证配置 validate_configuration() { log "INFO" "开始配置验证..." # 验证Java环境 run_command "java -version" "验证Java安装" # 验证系统限制 run_command "grep 'vm.max_map_count' /etc/sysctl.conf" "验证内核参数" run_command "grep '655360' /etc/security/limits.conf" "验证系统限制" # 验证主机名 run_command "hostname" "验证当前主机名" run_command "grep '$host_name' /etc/hosts" "验证hosts配置" log "INFO" "配置验证完成！" } # 主函数 main() { log "INFO" "系统初始化开始" log "INFO" "日志文件: $log_file" local start_time=$(date +%s) # 执行各步骤 create_directories configure_os configure_java configure_yum install_dependencies unzip_packages configure_hostname validate_configuration local end_time=$(date +%s) local duration=$((end_time - start_time)) log "INFO" "系统初始化成功完成！" log "INFO" "总耗时: $duration 秒" } ############################################################ # 脚本执行入口 ############################################################ # 检查是否以root用户运行 if [ "$(id -u)" -ne 0 ]; then echo -e "${RED}错误：此脚本必须以root用户身份运行${NC}" >&2 exit 1 fi # 执行主函数 main ``` ### 优化说明： 1. **增强的错误处理**： - 创建了 `run_command` 函数统一处理命令执行 - 区分关键和非关键命令（`critical` 参数） - 捕获并记录命令输出和错误信息 - 自动终止关键步骤失败时的脚本执行 2. **完善的日志系统**： - 添加多级日志记录（INFO, WARN, ERROR, DEBUG） - 同时输出到控制台（带颜色）和日志文件 - 记录每个步骤的开始和结束时间 - 记录总执行时间 3. **健壮的命令执行**： - 使用双引号包裹变量避免路径空格问题 - 添加文件存在性检查（`[ -f "$file" ]`） - 更可靠的IP地址获取方法（使用 `ip` 命令替代复杂管道） 4. **配置管理优化**： - 将Java环境变量放入 `/etc/profile.d/` 目录 - 使用 `hostnamectl` 命令设置主机名 - 使用heredoc完全重写配置文件避免追加错误 5. **依赖包管理**： - 使用数组定义依赖包列表 - 更清晰的包安装命令 - 添加包存在性检查 6. **安全性增强**： - 添加root权限检查 - 避免在日志中记录敏感信息 - 更安全的命令执行方式 7. **代码组织**： - 清晰的函数边界和职责划分 - 统一参数命名风格 - 添加详细的函数注释 ### 使用说明： 1. **准备工作**： - 确保所有安装包位于 `/iflytek/install` 目录 - 确保脚本有执行权限：`chmod +x script.sh` 2. **执行脚本**： ```bash ./script.sh ``` 3. **查看日志**： ```bash tail -f /var/log/system_init_*.log ``` 4. **验证结果**： - 检查Java环境：`java -version` - 检查主机名：`hostname` - 检查系统限制：`ulimit -a`
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值