centos7服务器端配置普通用户自己的aria2+webUI下载器
本人小硕一枚,最近因为研究需要,要下载数据集。但使用网站自己提供的下载工具后,还是不能很好的下载。因为下载源不稳定以及数据量确实太大,所以下载进程经常挂掉。苦于服务器没有权限,就自己尝试去搭建属于自己的下载器。基于centos7。
Aria2
Aria2 是一个多平台轻量级,支持 HTTP、FTP、BitTorrent 等多协议、多来源的命令行下载工具。Aria2 可以从多个来源、多个协议下载资源,最大的程度上利用了你的带宽。Aria2 有着非常小的资源占用,在关闭磁盘缓存的情况下,物理内存占用通常为 4M(正常 HTTP/FTP 下载的情况下),BitTorrent 下载每秒2.8M/S的情况下,CPU 占有率约为 6%。Aria2 支持 JSON-RPC 和 XML-RPC 接口远程调用。
下载Aria2和web并配置
因为没有root权限和密码,服务器又不能关机,所以使用这样的方式去配置自己的下载器。
1.使用命令yumdownloader aria2
下载aria2的rpm包。
2.使用 rpm2cpio aria2.rpm | cpio -idvm
提取文件,这是已经编译好的二进制文件。解压后文件夹名字是usr,可以改成 aria2.。我们对其进行冲命名,命令 mv usr aria2
3.打开 .bashrc
文件,配置aria2的PATH。
4.在aria2文件夹下创建aria2.conf文件,用vim打开配置文件。大概内容如下:
#用户名
#rpc-user=user
#密码
#rpc-passwd=passwd
#上面的认证方式不建议使用,建议使用下面的token方式
#设置加密的密钥
#rpc-secret=token
#允许rpc
enable-rpc=true
#允许所有来源, web界面跨域权限需要
rpc-allow-origin-all=true
#允许外部访问,false的话只监听本地端口
rpc-listen-all=true
#RPC端口, 仅当默认端口被占用时修改
rpc-listen-port=6800
#最大同时下载数(任务数), 路由建议值: 3
max-concurrent-downloads=5
#断点续传
continue=true
#同服务器连接数
max-connection-per-server=5
#最小文件分片大小, 下载线程数上限取决于能分出多少片, 对于小文件重要
min-split-size=10M
#单文件最大线程数, 路由建议值: 5
split=10
#下载速度限制
max-overall-download-limit=0
#单文件速度限制
max-download-limit=0
#上传速度限制
max-overall-upload-limit=0
#单文件速度限制
max-upload-limit=0
#断开速度过慢的连接
#lowest-speed-limit=0
#验证用,需要1.16.1之后的release版本
#referer=*
#文件保存路径, 默认为当前启动位置
dir=/root/downloads
#文件缓存, 使用内置的文件缓存, 如果你不相信Linux内核文件缓存和磁盘内置缓存时使用
#disk-cache=0
#另一种Linux文件缓存方式
#enable-mmap=true
#文件预分配, 能有效降低文件碎片, 提高磁盘性能. 缺点是预分配时间较长
file-allocation=prealloc
5.启动测试:
aria2c --conf-path=aria2
的配置文件地址(等号两边没有空格)。
启动后可能会有警告,这个不用管。
6.使用 命令git clone https://github.com//ziahamza/webui-aria2
下载webUI。
7.使用 ps -ef |grep httpd 查看有没有httpd服务。一般情况下是都是有的。
下面的步骤和网上说的就不一样了。
先在后台运行aria2。命令如下aria2 --conf-path=aria2.conf
的地址。
8.进入webUI目录(我的在自己的home路径下)cd webui-aria2/docs
找到index.html文件。
9.使用liunx自带的浏览器Firefox打开。命令:firefox index.html
10.进去webui后,选择“设置”——>“链接设置”。在ip中填写自己的ip。不知道ip的话可以使用ifconfig查看。
11.个人建议在 aria2.conf中填写自己的 username 和 password。在“链接设置”中填写自己的username和password。点击确定。
12.配置成功。