存档

文章标签 ‘robots.txt’

wget忽略robots.txt

2010年1月6日 2 条评论

wget默认会根据网站的robots.txt进行操作,如果robots.txt里是User-agent: * Disallow: /的话,wget是做不了镜像或者下载目录的,使用-e robots=off参数即可绕过该限制。

分类: 技术点滴 标签: , ,