我的站是9月初上线的,头一个礼拜我几乎一天刷十几次百度站长平台,盯着到底抓了几页。结果到第15天,索引量还是个0。我当时就急了——内容是自己一篇篇敲出来的,服务器也是正经花钱买的,怎么就不收?
后来一个坑一个坑地排查,前前后后折腾了47天,才收到头一个内页。把这些坑原原本本写出来,省得刚入行的朋友再把这条路走一遍。
第一个坑:robots.txt里那一行Disallow
我一开始是把测试站的 robots.txt 整个拷了过来,里头有一句 Disallow: /——本来是为了挡着测试环境被收录,上线的时候压根忘了删。结果百度蜘蛛每回来都看到一句"整站拒绝",来两趟就不肯再来了。
这个错是最高频也最低级的。我拿百度站长平台的"抓取诊断"工具一测,蜘蛛过来直接吃了个403,我才后知后觉。把那行删掉之后,第二天蜘蛛的访问频次就从0窜到了每天几十次。
第二个坑:全站title一模一样
我用的那套CMS,默认所有页面 title 都是"站名-副标题",一个字都不差。结果百度一看,这几百个页全是重复内容,就只肯收个首页。
改的时候我给每个页面模板补了个 title 字段,文章页用"文章标题_站名",分类页用"分类名_站名",前后大概改了两天。改完之后一周内,内页开始陆续被收,从原来只收首页,变成一天能收个三五页。
第三个坑:服务器凌晨总502
我图便宜,买了个小内存的虚拟主机。白天访问好好的,可凌晨两三点我翻监控,老撞见502。后来才想明白,蜘蛛是不睡觉的,它大半夜来抓的时候,我服务器偏偏正挂着,次数一多就给我降了权。
换了台稳当点的服务器之后,凌晨抓取成功率从60%一路涨到100%,收录速度也明显快了一截。说白了就是蜘蛛来敲门你不在家,敲两回没人应,它就懒得跑了。
第四个坑:sitemap写的是http,实际是https
我把站切到 https 之后,sitemap 里的 URL 还是 http 打头。站长平台倒是显示"提交成功",可实际上蜘蛛抓过去全是301跳转,等于白交一趟。
重新生成 sitemap,把所有 URL 换成 https 开头,再重新提交,一周内新提交的页面就被抓了。
第五个坑:测试环境的noindex带到了线上
这个坑我自己没踩,是朋友踩的——他为了挡测试环境被收录,在 head 里加了 <meta name="robots" content="noindex">,上线的时候忘了删。结果百度蜘蛛一来看到"不许索引",扭头就走。这事儿改起来就一行代码,可我朋友为了找到它,整整耗了两周。
47天之后的结果
上面五个坑挨个改完,大概又过了两周,百度索引量总算从0开始往上爬。第47天那天,我终于在站长平台瞅见头一个内页被收录的记录。那心情,跟等快递等了一个半月终于到手,一模一样。
后来我复盘,其实内容质量倒不是最大的坎,这五个技术坑占了80%。新手真别一上来就天天愁写什么内容,先把这些基础的东西挨个查一遍。
常见问题
问:新站一般多久能收录?
答:正常情况下1-2周会把首页收了,内页1个月内开始收。超过1个月一个内页都没有,基本就是哪儿配置错了,照着上面五项去查。
问:每天主动推送有用吗?
答:有用,但别指望一推就立马收。我当时把100多个页面一次性推过去,结果是过了三四天才开始陆续收,不是推完整包秒收。
问:需要找外链吗?
答:新站前一个月先别折腾外链,把站内这些基础问题搞对最要紧。外链,是收录稳住之后再琢磨的事。

