Wget 是一款免费且易于使用的命令行工具,可让用户通过 HTTP、HTTPS、FTP 和 FTPS 协议从互联网下载文件。它设计坚固耐用,即使在网络连接较差且不稳定的情况下,用户也可以下载文件。如果连接失败,该工具还会尝试从上次中断的地方继续下载。此外,它还具有递归下载功能,其工作方式类似于网络爬虫。它从 HTML 页面中提取文件并按顺序下载,直到提取完所有页面,或达到用户指定的递归深度。下载的页面保存在与远程服务器类似的结构中。此外,可以将链接调整为离线文件以进行网站镜像。Wget 对第三方库的依赖性也极小,并且易于移植,已移植到许多类 Unix 环境和系统,例如 Windows、CygWin 和 macOS。它也是一个原生的 Windows 软件包,运行时不需要太多用户交互。
那么为什么 Wget 需要代理呢?请继续阅读以找出答案。
为什么 Wget 需要代理?
使用代理可以大大改善您的 Wget 体验。要了解原因,让我们首先了解 Wget 的工作原理。例如,如果您使用 Wget 下载单个文件、多个文件、完成未完成的下载或进行网络抓取活动,它将被视为机器人活动,并且您的 IP 可能会被阻止。为了避免这种情况,您可以使用代理服务器。代理通过位于您的设备和您使用 Wget 访问的网站之间来掩盖您的 IP 地址。您使用的代理类型取决于您的需求。此外,如果您的下载速度很慢,更靠近下载服务器的代理可以减少节点数量并增加带宽和稳定性。快速的 Google 关键字搜索会显示许多类型的代理,但选择最佳代理可能很困难。
Wget 的最佳代理
在为 Wget 选择代理时,务必避免使用免费代理,因为它们不可靠,可能会危及您的数据。相反,建议使用高级代理提供商,例如 OneProxy。住宅代理和数据中心代理之间有一些优缺点需要考虑。住宅代理使用来自互联网服务提供商的真实 IP,使其可追踪且可靠。另一方面,数据中心代理使用通过云服务器虚拟生成的 IP,使其更容易被检测到,但它们提供更快的速度和更低的成本。OneProxy 是一家领先的高级代理提供商,在该领域拥有多年的经验,并可根据您的所有需求提供定制解决方案。
如何设置 Wget 代理
以下代码将帮助您为 Wget 设置代理。在文件 ~/.wgetrc 或 /etc/wgetrc 中添加以下行:
http_proxy = http://[代理服务器]:[端口]
https_proxy = http://[代理服务器]:[端口]
ftp_proxy = http://[代理服务器]:[端口]
在 shell 中手动设置代理变量:
$ 导出 http_proxy=http://[代理服务器]:[端口]
$ 导出 https_proxy=$http_proxy
$ 导出 ftp_proxy=$http_proxy
使用 env 命令验证变量:
$ 环境 | grep 代理
http_proxy=http://[代理服务器]:[端口]
https_proxy=http://[代理服务器]:[端口]
ftp_proxy=http://[代理服务器]:[端口]
最后,在文件 ~/.bash_profile 或 /etc/profile 中添加以下行:
#export http_proxy=http://[代理服务器]:[端口]
#export https_proxy=http://[代理服务器]:[端口]
#export ftp_proxy=http://[代理服务器]:[端口]
!= ” != ”