分享
 
 
 

wget——Linux下Web文件提取工具

王朝system·作者佚名  2008-05-18
窄屏简体版  字體: |||超大  

wget是一个Linux环境下用于从World Wide Web上提取文件的工具,这是一个GPL许可

证下的自由软件,其作者为Hrvoje Niksic <hniksic@srce.hr>。wget支持HTTP和FTP

协议,支持代理服务器和断点续传功能,能够自动递归远程主机的目录,找到合乎条

件的文件并将其下载到本地硬盘上;如果必要,wget将恰当地转换页面中的超级连接

以在本地生成可浏览的镜像。由于没有交互式界面,wget可在后台运行,截获并忽略

HANGUP信号,因此在用户推出登录以后,仍可继续运行。通常,wget用于成批量地下

载Internet网站上的文件,或制作远程网站的镜像。

语法:

wget [options] [URL-list]

URL地址格式说明:可以使用如下格式的URL:

http://host[:port]/path

例如:

http://fly.cc.fer.hr/

ftp://ftp.xemacs.org/pub/xemacs/xemacs-19.14.tar.gz

ftp://username:password@host/dir/file

在最后一种形式中,以URL编码形式为FTP主机提供了用户名和密码(当然,也可以使

用参数提供该信息,见后)。

参数说明:

wget的参数较多,但大部分应用只需要如下几个常用的参数:

-r 递归;对于HTTP主机,wget首先下载URL指定的文件,然后(如果该文件是

一个HTML文档的话)递归下载该文件所引用(超级连接)的所有文件(递归深度

由参数-l指定)。对FTP主机,该参数意味着要下载URL指定的目录中的所有文件,

递归方法与HTTP主机类似。

-N 时间戳:该参数指定wget只下载更新的文件,也就是说,与本地目录中的对

应文件的长度和最后修改日期一样的文件将不被下载。

-m 镜像:相当于同时使用-r和-N参数。

-l 设置递归级数;默认为5。-l1相当于不递归;-l0为无穷递归;注意,当递

归深度增加时,文件数量将呈指数级增长。

-t 设置重试次数。当连接中断(或超时)时,wget将试图重新连接。如果指

定-t0,则重试次数设为无穷多。

-c 指定断点续传功能。实际上,wget默认具有断点续传功能,只有当你使用别

的ftp工具下载了某一文件的一部分,并希望wget接着完成此工作的时候,才需要

指定此参数。

使用举例:

wget -m -l4 -t0 http://oneweb.com.cn/

将在本地硬盘建立http://oneweb.com.cn/的镜像,镜像文件存入当前目录下一个名为

oneweb.com.cn的子目录中(你也可以使用-nH参数指定不建立该子目录,而直接在当前

目录下建立镜像的目录结构),递归深度为4,重试次数为无穷(若连接出现问题,

wget将坚韧不拔地永远重试下去,知道任务完成!)

另外一些使用频率稍低的参数如下:

-A acclist / -R rejlist:

这两个参数用于指定wget接受或排除的文件扩展名,多个名称之间用逗号隔开。例如,

假设我们不想下载MPEG视频影像文件和.AU声音文件,可使用如下参数:

-R mpg,mpeg,au

其它参数还有:

-L 只扩展相对连接,该参数对于抓取指定站点很有用,可以避免向宿主主机

的其他目录扩散。例如,某个人网站地址为:http://www.xys.org/~ppfl/,使用

如下命令行:

wget -L http://www.xys.org/~ppfl/

则只提取该个人网站,而不涉及主机www.xys.org上的其他目录。

-k 转换连接:HTML文件存盘时,将其中的非相对连接转换成为相对连接。

-X 在下载FTP主机上的文件时,排除若干指定的目录

另外,下面参数用于设置wget的工作界面:

-v 设置wget输出详细的工作信息。

-q 设置wget不输出任何信息。

如果我们已经在一个HTML文档(或普通文本文档)中存储了所要提取的文件的连接,

可以让wget直接从该文件中提取信息,而不用在命令行中提供URL地址,参数格式为:

-i filename

地址文件也可以不是HTML文档,例如,一个普通的文本文件,其中有需要下载的URL列

表即可。

我们可以用以下技巧提高下载速度:由于Linux是一个多任务系统,我们可以同时运行

多个wget进程以提高下载速度,例如,先下载某主页文件(index.html),然后将该

文件所列出的所有地址分别用一个独立的wget进程进行下载。

至于其他的参数,可参考wget的man手册页,命令为:

man wget

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有