shell根据url文件多线程下载图片控制并发

最新推荐文章于 2023-02-09 15:04:15 发布

原创最新推荐文章于 2023-02-09 15:04:15 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#shell #多线程 #下载

Linux相关专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了一种利用多线程技术从URL列表批量下载图片的方法。通过阅读本文，你将了解到如何根据系统核心数合理设置多线程数量，避免因并发过多导致系统资源紧张。此外，还提供了具体实现代码及核心数查询方式，帮助读者快速上手。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.需求

已经获得图片url的txt文件url.txt，想要多线程下载图片

2.难点

如何实现多线程？（速度快）

如何控制并发数量？（以防太多系统爆）

3.代码

url.txt为url文件；

i<=100的100为多线程的数量，可以根据系统核心数选择

查看核心数代码

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数

# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq

# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l

多线程代码

#! /bin/bash
source /etc/profile;

# -----------------------------

tempfifo=$$.fifo        # $$表示当前执行文件的PID

# -----------------------------

trap "exec 1000>&-;exec 1000<&-;exit 0" 2
mkfifo $tempfifo
exec 1000<>$tempfifo
rm -rf $tempfifo

for ((i=1; i<=100; i++))
do
    echo >&1000
done

cat url.txt|while read line
do
    read -u1000
    {
        wget $line
        echo >&1000
    } &

done

wait
echo "done!!!!!!!!!!"