wget [OPTION]... ...

功能

wget 是一个从网络上自动下载文件的自由工具。它支持 HTTP ， HTTPS 和 FTP 协议，可以使用 HTTP ***.

描述

所谓的自动下载是指， wget 可以在用户退出系统的之后在后台执行。这意味这你可以登录系统，启动一个 wget 下载任务，然后退出系统， wget 将在后台执行直到任务完成，相对于其它大部分浏览器在下载大量数据时需要用户一直的参与，这省去了极大的麻烦。

wget 可以跟踪 HTML 页面上的链接依次下载来创建远程服务器的本地版本，完全重建原始站点的目录结构。这又常被称作"递归下载"。在递归下载的时候， wget 遵循 Robot Exclusion 标准(/robots.txt)。 wget 可以在下载的同时，将链接转换成指向本地文件，以方便离线浏览。

wget 非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败， wget 会不断的尝试，直到整个文件下载完毕。如果是服务器打断下载过程，它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

选项：

(1)启动时

  • -V , --version 显示 wget 的版本后退出
  • -h , --help 打印语法帮助
  • -b , --background 启动后转入后台执行
  • -e , --execute=COMMAND 执行 .wgetrc 格式的命令， wgetrc 格式参见 /etc/wgetrc 或~ /.wgetrc

(2)记录和输入文件

  • -o , --output-file=FILE 把记录写到 FILE 文件中
  • -a , --append-output=FILE 把记录追加到 FILE 文件中
  • -d , --debug 打印调试输出
  • -q , --quiet 安静模式(没有输出)
  • -v , --verbose 冗长模式(这是缺省设置)
  • -nv , --non-verbose 关掉冗长模式，但不是安静模式
  • -i , --input-file=FILE 下载在 FILE 文件中出现的 URLs
  • -F , --force-html 把输入文件当作 HTML 格式文件对待
  • -B , --base=URL 将 URL 作为在 -F -i 参数指定的文件中出现的相对链接的前缀
  • --sslcertfile=FILE 可选客户端证书
  • --sslcertkey=KEYFILE 可选客户端证书的 KEYFILE
  • --egd-file=FILE 指定 EGD socket 的文件名

(3)下载

  • --bind-address=ADDRESS 指定本地使用地址(主机名或 IP ，当本地有多个 IP 或名字时使用)
  • -t , --tries=NUMBER 设定最大尝试链接次数( 0 表示无限制)。
  • -O --output-document=FILE 把文档写到 FILE 文件中
  • -nc , --no-clobber 不要覆盖存在的文件或使用.#前缀
  • -c , --continue 接着下载没下载完的文件
  • --progress=TYPE 设定进程条标记
  • -N , --timestamping 不要重新下载文件除非比本地文件新
  • -S , --server-response 打印服务器的回应
  • --spider 不下载任何东西
  • -T , --timeout=SECONDS 设定响应超时的秒数
  • -w , --wait=SECONDS 两次尝试之间间隔 SECONDS 秒
  • --waitretry=SECONDS 在重新链接之间等待 1...SECONDS 秒
  • --random-wait 在下载之间等待 0...2*WAIT 秒
  • -Y , --proxy=on/off 打开或关闭***
  • -Q , --quota=NUMBER 设置下载的容量限制
  • --limit-rate=RATE 限定下载输率

(4)目录

  • -nd --no-directories 不创建目录
  • -x , --force-directories 强制创建目录
  • -nH , --no-host-directories 不创建主机目录
  • -P , --directory-prefix=PREFIX 将文件保存到目录 PREFIX/...
  • --cut-dirs=NUMBER 忽略 NUMBER 层远程目录

(5) HTTP 选项

  • --http-user=USER 设定 HTTP 用户名为 USER.
  • --http-passwd=PASS 设定 http 密码为 PASS.
  • -C , --cache=on/off 允许 / 不允许服务器端的数据缓存 (一般情况下允许).
  • -E , --html-extension 将所有 text/html 文档以 .html 扩展名保存
  • --ignore-length 忽略 Content-Length 头域
  • --header=STRING 在 headers 中插入字符串 STRING
  • --proxy-user=USER 设定***的用户名为 USER
  • --proxy-passwd=PASS 设定***的密码为 PASS
  • --referer=URL 在 HTTP 请求中包含 Referer: URL 头
  • -s , --save-headers 保存 HTTP 头到文件
  • -U , --user-agent=AGENT 设定***的名称为 AGENT 而不是 Wget/VERSION.
  • --no-http-keep-alive 关闭 HTTP 活动链接 (永远链接) 。
  • --cookies=off 不使用 cookies.
  • --load-cookies=FILE 在开始会话前从文件 FILE 中加载 cookie
  • --save-cookies=FILE 在会话结束后将 cookies 保存到 FILE 文件中

(6) FTP 选项

  • -nr , --dont-remove-listing 不移走 .listing 文件
  • -g , --glob=on/off 打开或关闭文件名的 globbing 机制
  • --passive-ftp 使用被动传输模式 (缺省值).
  • --active-ftp 使用主动传输模式
  • --retr-symlinks 在递归的时候，将链接指向文件(而不是目录)

(7)递归下载

  • -r , --recursive 递归下载－－慎用!
  • -l , --level=NUMBER 最大递归深度 ( inf 或 0 代表无穷).
  • --delete-after 在现在完毕后局部删除文件
  • -k , --convert-links 转换非相对链接为相对链接
  • -K , --backup-converted 在转换文件 X 之前，将之备份为 X.orig
  • -m , --mirror 等价于 -r -N -l inf -nr.
  • -p , --page-requisites 下载显示 HTML 文件的所有图片

(8)递归下载中的包含和不包含( accept/reject )

  • -A , --accept=LIST 分号分隔的被接受扩展名的列表
  • -R , --reject=LIST 分号分隔的不被接受的扩展名的列表
  • -D , --domains=LIST 分号分隔的被接受域的列表
  • --exclude-domains=LIST 分号分隔的不被接受的域的列表
  • --follow-ftp 跟踪 HTML 文档中的 FTP 链接
  • --follow-tags=LIST 分号分隔的被跟踪的 HTML 标签的列表
  • -G , --ignore-tags=LIST 分号分隔的被忽略的 HTML 标签的列表
  • -H , --span-hosts 当递归时转到外部主机
  • -L , --relative 仅仅跟踪相对链接
  • -I , --include-directories=LIST 允许目录的列表
  • -X , --exclude-directories=LIST 不被包含目录的列表
  • -np , --no-parent 不要追溯到父目录

举例

已知将要下载的文件的网址，将文件下载到当前目录

$wget http://ibus.googlecode.com/files/ibus-chewing-1.2.0.20091211-Source.tar.gz

这里，会在指定的网址下载相应的文件到当前目录中,并且会显示进度的。如果之前中断过，那么再次运行这个命令的时候，可能会另存为 ibus-chewing-1.1.0.20091211-Source.tar.gz.1 等等并且有点类似续传。

上次下载的文件在当前目录中继续下载

$wget -c http://ibus.googlecode.com/files/ibus-chewing-1.2.0.20091211-Source.tar.gz

这里，会继续原先下载的进度开始续传，不会生成另外的 *.1 类的文件。

已知将要下载的文件的网址，将文件下载到指定目录

$wget -P test http://ibus.googlecode.com/files/ibus-hangul-1.2.0.20091031.tar.gz

这里，会将文件下载到目录 ./test 中，并且如果 test 不存在则会自动创建。

已知将要下载的文件的网址，将文件下载文件名为 test.zip 

$wget http://sourceforge.net/projects/peerguardian/files/PeerGuardian%20Linux/PG%20linux%201.5beta/ipcop-pglinux-1.5beta.zip/download -O test.zip

这里，使用 -O 选项指定要另存的文件名字。

下载的时候将***限制为 10k 

$wget --limit-rate=10k http://sourceforge.net/projects/peerguardian/files/PeerGuardian%20Linux/PG%20linux%201.5beta/ipcop-pglinux-1.5beta.zip/download

这样，下载的速度限制为 10k ，这在网络带宽有限的情况下非常有用。默认单位字节，可以加上 k , m 表示 k 和兆。

从有帐户的 ftp 上面下载单个文件

$wget --user=quietheart --password=123 ftp://10.1.14.235/EBookReader/K1/doc/EBook_K1_RTM.xls

这里需要指定用户和密码.

从有帐户的 ftp 上面下载指定的多个文件

$wget --user=quietheart --password=123 -B ftp://10.1.14.235/EBookReader/K1/doc/ -i filelist

这里，用 filelist 来指定将要下载的文件, filelist 的内容是：

K1_SoftwareBehavioralSpecification-EmbeddedLinux_v0.0.2.pdf 
EBook_K1_RTM.xls 
UISpec/K1_Spec_V0_1/add highlight-2.bmp 
UISpec/K1_Spec_V0_1/wait.bmp

所以，下载的就是 filelist 中指定的四个文件。

注意：

  • wget 命令 -B 指定的目录前缀最后要有 / 如 doc/
  • filelist 文件中的文件名称中如果有空格不用转义,如 add highlight-2.bmp 。

从有帐户的 ftp 上面下载文件和目录

$wget --user=quietheart --password="123" -m ftp://10.1.14.235/User_Temp/lvkai/download/test1

或

$wget --user=quietheart --password="123" -r ftp://10.1.14.235/User_Temp/lvkai/download/test1

这里,需要使用 -m 或者 -r ,下载之后在当前目录下生成一个 10.1.14.235 目录，然后会依次深入直到 test1 的内容。

用 -l 指定层次

$wget --user=quietheart --password="123" -r --level=2 ftp://10.1.14.235/User_Temp/lvkai/download/test1

这样，下载只递归两层， test1 下面的子目录以及内容都不会被下载了。

下载 qt4.5 网站上的在线文档

$wget \ 
--recursive \ 
--no-clobber \ 
--page-requisites \ 
--html-extension \ 
--convert-links \ 
--restrict-file-names=windows \ 
--domains doc.qt.nokia.com \ 
--no-parent \ 
http://doc.qt.nokia.com/4.5/

这样，大约从 16:45 下载，到 17:15 左右结束( 48M ),下下来的文件如果没有限制就和直接在网上看一样了。
每个项的含义：

  • --recursive :递归去下载(简写 -r )
  • --domains doc.qt.nokia.com :限制只下载那个域名(简写 -D ***)
  • --no-parent :不要下载这个目录上边的文件(简写 -np )
  • --page-requisites :下载页面所包括的一切对象(简写 -p )
  • --html-extension :把文件按 html 格式存放(简写 -E )
  • --convert-links :把页面中的连接转化为本地的连接(简写 -k )
  • --restrict-file-names=windows :格式化文件名使可以在 Windows 下查看．
  • --no-clobber :不要复盖任何文件(简写 -nc )

下载一个特定网站的子网站（例如自己的博客）

$wget \ 
--recursive \ 
--no-clobber \ 
--page-requisites \ 
--html-extension \ 
--convert-links \ 
--restrict-file-names=windows \ 
--domains blog.chinaunix.net \ 
--no-parent \ 
http://blog.chinaunix.net/u1/34500/

这样，就将自己的博客下载到本地机器上面了，相当于一个离线版本的备份。

其他

参考(未实践）： http://www.mysqlpub.com/redirect.php?tid=755&goto=lastpost

用 wget 做站点镜像

$wget -r -p -np -k [url]http://dsec.pku.edu.cn/~usr_name/

或者

$wget -m http://www.tldp.org/LDP/abs/html/

在不稳定的网络上下载一个部分下载的文件，以及在空闲时段下载

$wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &

或者从 filelist 读入要下载的文件列表

$wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log &

上面的代码还可以用来在网络比较空闲的时段进行下载。我的用法是:在 mozilla 中将不方便当时下载的 URL 链接拷贝到内存中然后粘贴到文件 filelist.txt 中，在晚上要出去系统前执行上面代码的第二条。

使用***下载

$wget -Y on -p -k https://sourceforge.net/projects/wvware/

***可以在环境变量或 wgetrc 文件中设定，如下：

在环境变量中设定***：

$export PROXY=http://211.90.168.94:8080/

在 ~/.wgetrc 中设定***：

http_proxy = http://proxy.yoyodyne.com:18023/ 
ftp_proxy = http://proxy.yoyodyne.com:18023/

问题

  • wget 各种选项分类列表
  • 在递归下载的时候，遇到目录中中文的时候， wget 创建的本地目录名会用 URL 编码规则处理。如"天网防火墙"会被存为 %CC%EC%CD%F8%B7%C0%BB%F0%C7%BD,这造成阅读上的极大不方便。