存档

文章标签 ‘wget’

用squid给ftp加速 wget走代理

2014年2月4日 没有评论

偶尔需要去国外ftp拖点东西回来,速度太慢,文件还老出错,解决办法如下:

一、买个国外的vps,配置最低即可,反正要的只是带宽,入了个vps,把squid装上。

放开访问控制,换个默认端口,开启FTP直连,不cache。

二、wget走起代理

客户端处启用wget的代理,编辑/etc/wgetrc文件

wget走起,ifstat看看流量,有问题看日志。

分类: 技术点滴 标签: , , ,

wget应用cookie下载文件

2010年4月18日 2 条评论

前两天听了Symantec的销售介绍了下安全相关的产品线,据说sep 11 mr6出来了,想在服务器下回来瞧瞧,结果Y要验证cookie,折腾了一番。主要就是这个cookie.txt的来源,要从IE里导出才行,不能用自己去cookie目录copy一个出来的,折腾了好久,最后看man wget才发现这个奥义 -_-

wget -b -c –referer=http://www.symantec.com/offer?a_id=48182 –cookies=on –load-cookies=cookie.txt –keep-session-cookies –save-cookies=cookie http://esdownload.symantec.com/akdlm/CD/MTV/Symantec_Endpoint_Protection_11.0.6_Xplat_EN_DVD.zip

这才是我要的速度 :)

[root@xx tmp]# tail -f wget-log
403500K ………. ………. ………. ………. ………. 34% 1.78M 17m4s
403550K ………. ………. ………. ………. ………. 34%  906K 17m4s
403600K ………. ………. ………. ………. ………. 34%  660K 17m4s
403650K ………. ………. ………. ………. ………. 34% 3.49M 17m4s
403700K ………. ………. ………. ………. ………. 34% 1.90M 17m4s
403750K ………. ………. ………. ………. ………. 34%  906K 17m4s
403800K ………. ………. ………. ………. ………. 34%  692K 17m4s
403850K ………. ………. ………. ………. ………. 34% 3.37M 17m4s
403900K ………. ………. ………. ………. ………. 34% 1.32M 17m3s
403950K ………. ………. ………. ………. ………. 34% 1.09M 17m3s
404000K ………. ………. ………. ………. ………. 34%  695K 17m3s
404050K ………. ………. ………. ………. ………. 34% 3.69M 17m3s
404100K ………. ………. ………. ………. ………. 34%  848K 17m3s
404150K ………. ………. ………. ………. ………. 34%  610K 17m3s
404200K ………. ………. ………. ………. ………. 34% 2.61M 17m3s
404250K ………. ………. ………. ………. ………. 34% 2.15M 17m3s

分类: 技术点滴 标签: ,

wget忽略robots.txt

2010年1月6日 2 条评论

wget默认会根据网站的robots.txt进行操作,如果robots.txt里是User-agent: * Disallow: /的话,wget是做不了镜像或者下载目录的,使用-e robots=off参数即可绕过该限制。

分类: 技术点滴 标签: , ,