首页 Linux nginx屏蔽恶意蜘蛛及nginx解决特殊字体不显示及301重定向的问题

nginx屏蔽恶意蜘蛛及nginx解决特殊字体不显示及301重定向的问题

2024-09-03 09:46 编辑:  丽丽学习网

系统环境:centos7

一、nginx屏蔽恶意蜘蛛

    # nginx屏蔽恶意蜘蛛    if ($http_user_agent ~ "hubspot|CCBot|VelenPublicWebCrawler|Konturbot|my-tiny-bot|eiki|webmeup|ExtLinksBot|Go-http-client|Python|ZoominfoBot|MegaIndex.ru|MauiBot|Amazonbot|ds-robot|intelx.io|coccocbot|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Barkrowler|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|DuckDuckGo|ClaudeBot|coccocbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|MJ12bot|DotBot|heritrix|Bytespider|BLEXBot|serpstatbot|Ezooms|JikeSpider|Barkrowler|InfoTigerBot|SemrushBot|DuckDuckGo-Favicons-Bot|ImagesiftBot|GPTBot|^$"){        return 403;    }

二、nginx解决特殊字体不显示的问题

    # 解决特殊字体不显示的问题
    location ~ ^/(\.eot|\.ttf|\.ttc|\.otf|\.eot|\.woff|\.woff2|\.svg) {
        add_header Access-Control-Allow-Origin *;
    }

三、 nginx设置301重定向

如果你使用的是旧域名,或是从别人那里买回来的域名,在以前该域名建过网站且被搜索引擎收录过很多的文章信息,当然这些URL现在你是没有了,也打不开了,那么这些流量也可以拿来为自己服务,给新网站带来一些可观的流量也是必要的,那么我们就设置一下旧地址的转向,301转向到你的首页。

# 原来百度收录的文章 如: https://www.hao366.net/tags-etagid6584-0.html  或 https://www.hao366.net/tougao/xx.html 设置成能正常访问
    if ($uri ~* "/tags-etagid|/tougao/|/wenda/|/post/"){
        rewrite ^(/.*)$ https://$host permanent;
    }

如何知道旧域名上有多少网被收录 的网址呢?可以通过在搜索引擎上 site:www.hao366.net   域名改成你的域名,site:后有冒号,即可查询以前的包括现在收录的,可能有时候旧的被删除。