系统环境:centos7
一、nginx屏蔽恶意蜘蛛
# nginx屏蔽恶意蜘蛛 if ($http_user_agent ~ "hubspot|CCBot|VelenPublicWebCrawler|Konturbot|my-tiny-bot|eiki|webmeup|ExtLinksBot|Go-http-client|Python|ZoominfoBot|MegaIndex.ru|MauiBot|Amazonbot|ds-robot|intelx.io|coccocbot|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Barkrowler|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|DuckDuckGo|ClaudeBot|coccocbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|MJ12bot|DotBot|heritrix|Bytespider|BLEXBot|serpstatbot|Ezooms|JikeSpider|Barkrowler|InfoTigerBot|SemrushBot|DuckDuckGo-Favicons-Bot|ImagesiftBot|GPTBot|^$"){ return 403; }
二、nginx解决特殊字体不显示的问题
# 解决特殊字体不显示的问题 location ~ ^/(\.eot|\.ttf|\.ttc|\.otf|\.eot|\.woff|\.woff2|\.svg) { add_header Access-Control-Allow-Origin *; }
三、 nginx设置301重定向
如果你使用的是旧域名,或是从别人那里买回来的域名,在以前该域名建过网站且被搜索引擎收录过很多的文章信息,当然这些URL现在你是没有了,也打不开了,那么这些流量也可以拿来为自己服务,给新网站带来一些可观的流量也是必要的,那么我们就设置一下旧地址的转向,301转向到你的首页。
# 原来百度收录的文章 如: https://www.hao366.net/tags-etagid6584-0.html 或 https://www.hao366.net/tougao/xx.html 设置成能正常访问 if ($uri ~* "/tags-etagid|/tougao/|/wenda/|/post/"){ rewrite ^(/.*)$ https://$host permanent; }
如何知道旧域名上有多少网被收录 的网址呢?可以通过在搜索引擎上 site:www.hao366.net 域名改成你的域名,site:后有冒号,即可查询以前的包括现在收录的,可能有时候旧的被删除。