掌握这些技巧网站收录无需愁

网站所设置的关键词要想在SERP上获取好的名词，其首要前提是搜索引擎将其索引收录在内。网页没有收录，犹如脱水的鱼，最终也会因为无人问津而落得流量枯竭。没有了收录的网站，自然也就失去了网站在搜索引擎排名的机会了。所以，在网站优化的时候，网站的收录是推广的首要前提、也是给网站带来源源不断流量的前提，当你掌握了这些技巧，那网站收录无需愁。

robots.txt抓取障碍要去除

注意了，要是你的网站在百度或者谷歌都没有被收录的话，很大的原因可能是因为 robots.txt 存在着一些阻碍，导致你和搜索引擎之间的沟通发生错乱，让其误解了你的意思。首先进入你的 robots.txt 文件中去查看，是否有设置一些“拦路虎”，阻挡了网站与搜索引擎之间的联系？如果仅仅是因为网站的某个网页一直没有被收录，就要查看以下单个URL是否因为 robots.txt 没有被搜索引擎收录。

noindex标签设置要谨慎

确实，我们之前有教过大家，可以利用noindex标签阻止某个网页，不被它展现在SERP上。然而这个noindex标签并不能被随意滥用，很显然，如果你的网页一直被收录不上，可以率先查看一下该页面是否有被设置或者滥用noindex标签。因为，此标签就是用来告知搜索引擎，你并不想让它收录这个页面，自然，搜索蜘蛛也不会“自讨没趣”，它是不会将其编入索引的。

站点地图作用要重视

搜索引擎蜘蛛也是会在庞大的网站内迷路的，站点地图还能为网站的爬取做出一点辅助作用，通常我们设置站点地图就是为了告诉爬虫们：哪些网页是重要的，哪些是不重要的。通常情况下，尽管你的网站页面没有被容纳进去站点地图，爬虫们还是能够在你的网站中找到你的网页。但是站点地图也分为代码式和页面式，请注意，（我们说的是庞大的网站，不是普通的网站）庞大的网站要做齐全的xml网站地图推送。

canonical标签使用要深思

诚然，我们一般在使用到canonical标签来解决网址规范化的问题，告诉搜索引擎哪个网页才是正确的版本。在很多情况下，网站页面是没有canonical标签的，这也就意味着，告诉搜索引擎这个页面本来就是首选的网址版本，没有其他的了，希望此页面能够被索引。如果canonical标签错误使用了，那搜索引擎等分分钟就会误解你的意图，网址版本收录错误，那就并不能甩锅到爬虫身上了。

网站孤岛页面要常检查

所谓的孤岛页面就是那些网站中没有其他内部链接相连的页面，搜索引擎们在通过抓取网站链接去发现新内容时，那些完全与整个网站脱离轨道的孤岛页面，难以被网络爬虫们发现，访客也难以找寻这些内容。而这些孤岛页面尽管包含着很多的内容，但是往往在SERP上的排名并不高，也难以获得大量的用户点击；再加上这些低价值的孤岛页面会浪费网站的抓取预算。可以从以下的方法去解决这些孤岛页面的问题：

• 如果网站的孤岛页面很重要，在其他的网站页面内部链接起来；
• 如果该页面可有可无，那将其删掉或者移出站点地图也无可厚非。