feeddemon使用技巧（讲解FeedDemon RSS阅读器应用体验）

2年前 (2024-04-20)

最近有点忙,一段时间没管博客了,今天上来看了一下access.log,多了一些牛鬼蛇,之前因为博客访问量少,没怎么弄,看来是时候带一波节奏了。之前的做法以前就已经陆续发现一些恶意用户访问了,比如:– 认为后端是java对tomcat的/manager进行访问的,– 认为后端是php做一些eval或者爆破操作的,– 一些独狼/个人蜘蛛用户不分时段对网站进行大规模爬取的由于都是一些零散的访问,针对这些行为在nginx.conf同目录下创建了一个denyIpList.conf配置文件,内容形式如下:# 针对单个ip的形式deny 171.94.171.205;deny 115.29.166.101;deny 182.247.251.48;deny 61.147.89.17;# 针对网段的形式deny 66.249.227.0/24;然后在nginx.conf适的位置引入此配置文件:http {include mime.types;include denyIpList.conf;default_type application/octet-stream;...以下省略重启nginx后生效,这样,当这些ip/网段发起访问后,直接返回403;现在的做法现象今早上来看了一下访问记录后,发现了几组丧心病狂的内容:1. user-agent为 Baidu-YunGuanCe-SLABot(ce.baidu.com) 的访问;2. 来自美国66.249.*.*网段的访问;3. user-agent为 Mozilla/5.0 (compatible; MJ12bot/v1.4.7; … 的访问4. user-agent为空(正常浏览器访问不会为空的)分析其中个我刚开始以为是我配的百度云观测网站定期健康检查的访问记录,但是简单统计了一下,数量也太大了,而且不分时段都有,初步怀疑是有人闲着无聊借用百度云观测提供的工具对本站进行了友e情yi压测…即便不是,我也不需要云观测提供的特殊服务,准备直接ban掉;第二个,应该是谷歌的爬虫(ua判断),以前也看到过访问记录,频率比较低,直接deny访问地址的,但是最近访问的ip也太多了,根本ban不过来;第三个,MJ12bot比较常用的爬虫工具,访问ip也是来自世界各地;解决方案根据以上分析,发现大部分恶意请求可以通过user-agent来判断,因此,考虑通过nginx提供的一些内置变量进行配置:首先我们还是新建一个文件denyUaList.conf在nginx.conf同目录下;编写denyUaList.conf规则内容:#禁止常用工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient|Java)) {return 403;}#禁止指定UA及UA为空的访问if ($http_user_agent ~* "Baidu-YunGuanCe|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|Ahrefot|CrawlDaddy|CoolpadWebkit|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$" ){return 403;}tips:注意书写格式if和(之间有空格,|Ezooms|面有个|破折号,用于禁止空ua访问在nginx.conf中适的位置引入denyUaList.conf...以上省略server {listen 443 ssl;server_name exampl网站站点" rel="nofollow" />

随机文章