通过Googlebot抓取的错误分类就看知道是什么导致抓取错误的原因了。
一、HTTP的错误
当一个网站上的网页(例如，当用户在浏览器中访问您的网页或Googlebot抓取页面时)到您的服务器发出请求，服务器返回HTTP状态码响应请求。
如果出现403状态，可以不用理睬，这表明是你的。
二、Sitemap中的错误
Sitemap错误往往会造成
七、超时
网站超时也是出现抓取错误的原因之一，如果出现超时现象，Googlebot会停止抓取。超时的错误类型有：
1：DNS超时，可以使用Nslookup 命令检测DNS，出现DNS超时最大的因素是域名服务商的DNS服务器不稳定。
2：网址超时，在某一个特定页面，而不是整个域的错误。
3：robots.txt超时，如果你网站有robots.txt，但服务器超时，Googlebot会假定该文件不存在。
4：动态网页的响应时间过长而造成网页载入时间过长。
顶: 3 踩: 0
1楼
分析了404错误出现的方式,那解决方法呢?感觉没说出来啊
评论来自电脑端 时间:2018-03-28 10:02:13
2楼
过去几年了，那些404页面依然还在google的抓取错误里面。。。。无解 。。。
评论来自电脑端 时间:2017-02-07 21:25:20
3楼
"如果出现403状态，可以不用理睬，这表明是你的主机阻止了Googlebot抓取。"我的有好多，吓到我了。
评论来自电脑端 时间:2015-08-09 23:21:04
4楼
写得很不错，很详细，可以帮助我们解决问题的。
评论来自电脑端 时间:2014-11-18 21:49:16
5楼
google提示有抓取错误 返回的都是404 而后我在robots里将其禁止掉 之后总是提示这些错误，请问要如何处理？（当时查证那些网址、网页已经不存在了）
评论来自电脑端 时间:2014-06-25 08:20:28
6楼
写得真不错，刚好帮我解决了问题
评论来自电脑端 时间:2014-05-08 09:34:45
同样的问题 该怎么解决
跟帖来自电脑端 时间:2014-03-29 10:38:12
8楼
卢大神, 请问两个问题哈：1，站点地图里面的最后一次提交时间123是什么意思？
2网页错误无法追踪301 这个怎么解决？因为我以前的多余网页我把它删除了，这个对网站有没有什么影响？
先行谢过
评论来自电脑端 时间:2013-11-20 16:35:43
9楼
卢老师，我想问一下，我的网站并没有提交robotstxt文档，最近提醒我robotstxt无法抓取，这是什么原因？
评论来自电脑端 时间:2013-10-28 09:31:29
谷歌反链一直是0主要有两个原因,因为不能留外链,您到我的网站中查看吧,已经说得很清楚了!
跟帖来自电脑端 时间:2013-07-15 13:18:14
等下次Google更新后就好了
跟帖来自电脑端 时间:2012-06-15 21:39:58
本文不是说的很明白了吗？
跟帖来自电脑端 时间:2012-05-31 11:13:33
微调
跟帖来自电脑端 时间:2012-05-29 09:09:03
你老搜和谐的东西
跟帖来自电脑端 时间:2012-05-28 23:04:55
没关系 都姓卢而已
跟帖来自电脑端 时间:2012-05-29 09:38:12
你这个名字觉得挺熟的！
跟帖来自电脑端 时间:2012-05-28 20:43:27
Google反链少是正常的。百度反链容易
跟帖来自电脑端 时间:2012-05-28 17:31:26
松哥，建站两个月，谷歌反链一直是0，原因是什么啊？
跟帖来自电脑端 时间:2012-05-28 17:19:33
Google很糟糕？那说明问题很严重
跟帖来自电脑端 时间:2012-05-28 15:36:39
搜 Google 趋势
跟帖来自电脑端 时间:2012-05-28 13:25:57
21楼
google站长管理工具又打不开了，无意中路过，留下下印记
评论来自电脑端 时间:2012-11-12 18:40:19
22楼
老师：
我是新手，最近刚用谷歌管理员工具，遇到了一些问题，求指点;
通过“抓取错误“，发现存在4000多个网址错误（但我浏览器访问这些网址是可以访问的，站长工具中蜘蛛模拟访问返回404），另外，我在网站的日志中，也发现了大量的404
另外，我的”编入索引的网页总数“是0，是怎么回事阿？
我现在是一头雾水，请各位老师给指点下，怎么解决阿？
评论来自电脑端 时间:2012-10-04 10:23:50
顶: 0 踩: 0 回复 同样的问题 该怎么解决
跟帖来自电脑端 时间:2014-03-29 10:38:12
23楼
我的站好几个月了，友好的。提示了404错误，但是抓取错误却一直再，没有自动删除。和解
评论来自电脑端 时间:2012-08-01 17:35:33
24楼
请教下皇冠体育官网，GG总是爬行一些不存在的页面，有些页面是以前删除或改过title,产生大量的爬行错误404,怎么解决？
评论来自电脑端 时间:2012-07-24 15:57:22
25楼
我有个疑问哦,盼解答
我使用了站点管理后,出现了三个404错误,而显示的这三个错误是因为找不到网页,而网页的确是因为某种原因被我删了而这几个网页应该不会再出现
我该如何解决这三个网页的404呢?
我看谷歌帮助里面写说如果我选中这些网页选择已修复那么谷歌会再次检索,如果找不到还是会显示错误抓取
而且我好想也没找到删除链接的按钮?纠结
评论来自电脑端 时间:2012-06-15 21:08:05
顶: 0 踩: 0 回复 等下次Google更新后就好了
跟帖来自电脑端 时间:2012-06-15 21:39:58
26楼
呵呵，一直不知道什么意思，看了还是不怎么懂。。。。。
评论来自电脑端 时间:2012-06-13 14:44:28
27楼
Google网站管理员工具确实很强大
评论来自电脑端 时间:2012-06-11 19:29:21
28楼
问一下皇冠·体育(中国)官方网站-Crown Sports老师一个问题，着个问题我问了很多人都没人告诉我，我的网站百度快照没有，但排名却从第七页跑到第一页了，是找人优化的，可别的词还是没有变化，着是为什么呢？？？？？？
评论来自电脑端 时间:2012-06-09 00:25:03
29楼
卢老师分析的还是挺全面的，把这些可能影响的因素都列出来了，我们可以对照着检查一下自己的，看看有没有做重定向，还好本人都做了404的错误提示页面。对seo有好处的 都要多做。。
评论来自电脑端 时间:2012-06-08 11:10:13
30楼
谷歌管理员工具确实很强大呢，改天我也用用
评论来自电脑端 时间:2012-06-05 18:17:56
31楼
利用好谷歌的站长工具，有意想不到的结果，虽说谷歌退出中国市场，但是谷歌仍然提供中文搜索服务，所以我感觉做好谷歌还是很有必要的？
评论来自电脑端 时间:2012-06-05 15:37:55
32楼
一直都没用关注GG，不过能能找到网站问题的工具还是要熟悉下了
评论来自电脑端 时间:2012-06-03 09:37:39
33楼
有好的Sitemap在线抓取网站吗
评论来自电脑端 时间:2012-06-03 00:46:52
34楼
我们网站出现过抓取错误的情况
评论来自电脑端 时间:2012-06-01 10:08:36
35楼
之前在用，发现没什么大的作用就不用了
评论来自电脑端 时间:2012-05-31 19:19:47
36楼
google网站管理工具还是蛮强大的
评论来自电脑端 时间:2012-05-31 16:02:48
37楼
我皇冠体育官网很正常，没有问题~
评论来自电脑端 时间:2012-05-31 12:27:18
38楼
我的站最近也有这样的情况发生正需要解决呢 谢谢松哥
评论来自电脑端 时间:2012-05-31 11:57:51
39楼
卢老师分析的还是挺全面的，把这些可能影响的因素都列出来了，我们可以对照着检查一下自己的，看看有没有做重定向，有没有做404页面之类的，然后解决这些问题就好了。
评论来自电脑端 时间:2012-05-31 09:59:35
40楼
Googel的网站管理工具还没怎么用过。
评论来自电脑端 时间:2012-05-31 09:22:01
41楼
卢老师你好 我想问一下 出现错误的哪些网址怎么删除了 我重新提交了sitemap 为什么还是显示有错误出现啊 ？
评论来自电脑端 时间:2012-05-30 23:47:06
顶: 0 踩: 0 回复 本文不是说的很明白了吗？
跟帖来自电脑端 时间:2012-05-31 11:13:33
42楼
百度和谷歌没法比。
评论来自电脑端 时间:2012-05-30 21:24:07
43楼
谷歌虽然很强大，但始终是退出了中国，要做排名的话还是首选百度的好。
评论来自电脑端 时间:2012-05-30 16:34:48
44楼
抓取错误”是 Google网站管理员工具(Webmaster Tools)中最受欢迎的工具之一。高招
评论来自电脑端 时间:2012-05-30 15:36:42
45楼
谷歌的浏览器不是很喜欢
评论来自电脑端 时间:2012-05-30 15:34:50
46楼
百度要是也有这技术该多好啊，估计到时用狗狗的人更少了、
评论来自电脑端 时间:2012-05-30 14:27:24
47楼
GOOGLE很多很好的工具我都没有用起来，有空的时候研究下
评论来自电脑端 时间:2012-05-30 12:56:51
48楼
google老抓我以前的页面！
评论来自电脑端 时间:2012-05-30 12:43:30
49楼
很强大的工具，研究下！
评论来自电脑端 时间:2012-05-30 11:00:53
50楼
一直没有用这个工具呢，不过网站经常有DNS错误，估计是国外服务器的问题吧。
评论来自电脑端 时间:2012-05-30 09:00:25
51楼
这个工具太给力了啊。
评论来自电脑端 时间:2012-05-30 01:35:53
52楼
谷歌的站长工具不错的说。
评论来自电脑端 时间:2012-05-30 01:14:47
53楼
人气依然那么火爆，松哥分享的，一直都非常有价值的，不过好像谷歌竞价现在推出的是动态关键词了，后期百度也会玩这个的。
评论来自电脑端 时间:2012-05-30 00:29:55
54楼
过来看你的新文章了！为什么我的皇冠体育官网出现了严重的问题！
评论来自电脑端 时间:2012-05-29 23:53:13
55楼
网站好多死链，看来要处理一下了·
评论来自电脑端 时间:2012-05-29 23:44:29
56楼
一直都很喜欢谷歌的产品
评论来自电脑端 时间:2012-05-29 23:31:28
57楼
好像正有这样的错误，收下来慢慢看。
评论来自电脑端 时间:2012-05-29 22:59:06
58楼
新手一个，不是很懂，学习研究
评论来自电脑端 时间:2012-05-29 21:55:57
59楼
google网站管理值得大家去研究一下
评论来自电脑端 时间:2012-05-29 21:54:35
60楼
松松 你这皇冠体育官网算不算SEO皇冠体育官网呢
评论来自电脑端 时间:2012-05-29 20:14:35
61楼
谷歌的站长工具还是不错的，比百度的好多了
评论来自电脑端 时间:2012-05-29 17:51:22
62楼
使用起来非常方便，啊哈哈！
评论来自电脑端 时间:2012-05-29 17:48:33
63楼
文章分析的好有深度，谢谢卢老师
评论来自电脑端 时间:2012-05-29 16:57:13
64楼
没有用谷歌站长工具 改天有时间要好好的研究一下
评论来自电脑端 时间:2012-05-29 15:25:17
65楼
终于找到了解决的方法啦~
评论来自电脑端 时间:2012-05-29 15:01:10
66楼
我觉得百度的工具差不多够用了，而且现在也是针对百度做优化。。
评论来自电脑端 时间:2012-05-29 14:33:46
67楼
这些东西其实对优化的作用不是很大吧
评论来自电脑端 时间:2012-05-29 14:12:11
68楼
谷歌管理工具相对于百度工具来说，更强大
评论来自电脑端 时间:2012-05-29 13:50:15
69楼
我打的广告好像被卢老师给删了，悲催啊
评论来自电脑端 时间:2012-05-29 13:45:07
70楼
这个工具好像没有关注了
评论来自电脑端 时间:2012-05-29 13:42:18
71楼
还没有搞过SEO之类的。
评论来自电脑端 时间:2012-05-29 12:02:59
72楼
我是新手，看到google网站管理工具中抓取错误中，就是不知道怎么解决，
评论来自电脑端 时间:2012-05-29 11:59:38
73楼
总是会有一些记录出现
评论来自电脑端 时间:2012-05-29 11:29:58
74楼
都是用百度~没怎么研究谷歌
评论来自电脑端 时间:2012-05-29 11:26:59
75楼
不错的工具，只有准确的了解原因才能解决问题！
评论来自电脑端 时间:2012-05-29 11:21:33
76楼
谷歌的东西都挺好，太专业，有些都不太明白所表达的意思
评论来自电脑端 时间:2012-05-29 10:44:12
77楼
要好好利用这个工具
评论来自电脑端 时间:2012-05-29 10:15:40
78楼
Google网站管理员工具这么强大啊，看来啥时候研究一下吧
评论来自电脑端 时间:2012-05-29 10:14:18
79楼
还没有用过google网站管理员工具
评论来自电脑端 时间:2012-05-29 10:02:42
80楼
这就100回复啦。100楼抢不到了。
不过说回来谷歌的亲和度，对个人用品的推广，没多大帮助。
评论来自电脑端 时间:2012-05-29 09:33:12
81楼
只有发现了错误，改正，这样才能提高
评论来自电脑端 时间:2012-05-29 09:29:17
82楼
呃，一直没注重什么404错误，看来得研究下了
评论来自电脑端 时间:2012-05-29 09:25:09
83楼
工具很强大，但不太会用
评论来自电脑端 时间:2012-05-29 09:15:21
84楼
目前，我站对谷歌的亲和度比百度的要好。
评论来自电脑端 时间:2012-05-29 09:12:27
85楼
这种问题好像经常会遇到啊~！
评论来自电脑端 时间:2012-05-29 09:11:10
86楼
谷歌技术真是厉害，不想百度，依旧打击优化
评论来自电脑端 时间:2012-05-29 08:50:32
87楼
说实话，google、百度很多工具，我都没用到
评论来自电脑端 时间:2012-05-29 08:35:36
88楼
皇冠体育官网改版了？
评论来自电脑端 时间:2012-05-29 08:34:19
顶: 0 踩: 0 回复 微调
跟帖来自电脑端 时间:2012-05-29 09:09:03
89楼
工具还不太会用。
评论来自电脑端 时间:2012-05-29 08:26:55
90楼
GOOGLE网站管理员工具很强大呀！学习了！
评论来自电脑端 时间:2012-05-29 08:16:06
91楼
谷歌经常打不开广告联盟，对欲歌快没兴趣了，哎
评论来自电脑端 时间:2012-05-29 07:08:21
92楼
谷歌管理员工具功能确实很强大
评论来自电脑端 时间:2012-05-29 01:52:55
93楼
是时候研究下状态码了
评论来自电脑端 时间:2012-05-29 00:23:37
94楼
感觉这个工具经常会打不开，好久都没有用了
评论来自电脑端 时间:2012-05-28 22:25:54
顶: 0 踩: 0 回复 你老搜和谐的东西
跟帖来自电脑端 时间:2012-05-28 23:04:55
95楼
使用了谷歌管理员工具。但是老是说什么有警告，提示：上次检测到此错误的时间
评论来自电脑端 时间:2012-05-28 21:15:23
96楼
Google网站管理员工具，还没用过， 得好好学习啦！
评论来自电脑端 时间:2012-05-28 21:02:31
97楼
谷歌的都还没用过，一直用的百度，也不知道那个更方便些
评论来自电脑端 时间:2012-05-28 21:01:33
98楼
谷歌的没有怎么用过，估计是流量还不到。最近看到一个卢峰的皇冠体育官网个松松你的皇冠体育官网很像。不知到你俩有关系吗？
评论来自电脑端 时间:2012-05-28 20:48:15
顶: 0 踩: 0 回复 没关系 都姓卢而已
跟帖来自电脑端 时间:2012-05-29 09:38:12
99楼
说的很不错，之前换程序导致了很多404，伤不起啊
评论来自电脑端 时间:2012-05-28 20:35:26
100楼
百度也有相关的工具把
评论来自电脑端 时间:2012-05-28 20:31:42
