多注意下网站日志非常有用。在Nginx中添加如下配置：
if ($http_user_agent ~* (Wget|wget|curl|\xE2\x80\x98) ) {
return 403;
}
如果是宝塔面板的话，在网站配置的server中添加：
if ($http_user_agent ~* (Wget|wget|curl|\xE2\x80\x98) ) {
return 403;#或者使用444
}
选择403代码就是禁止访问，如果是444代码是Nginx服务器扩展的HTTP错误状态码,为非标准HTTP状态码。
至于它的作用是:服务器不向客户端返回任何信息,并关闭连接, 断开客户端和服务器的连接,防止恶意软件攻击威胁。
再使用wget抓取网站，就发现直接就结束了任务。
