404 页面是用户尝试访问您网站中不存在的网页(由于用户点击了损坏的链接,网页已被删除或用户输入了错误的网址)时看到的页面。之所以称为 404 页面,是因为针对丢失网页的请求,网络服务器会返回 404 HTTP 状态代码,表明该网页未找到。
自定义404错误页面是增强用户体验的很好的做法,但在应用过程中往往并未注意到对搜索引擎的影响,譬如:错误的服务器端配置导致返回“200”状态码或自定义404错误页面使用Meta Refresh导致返回“302”状态码。正确设置的自定义404错误页面,不仅应当能够正确地显示,同时,应该返回“404”错误代码,而不是 “200”或“302”。虽然对访问的用户而言,HTTP状态码究竟是“404”还是“200”来说并没有什么区别,但对搜索引擎这则是相当重要的。
搜索引擎蜘蛛在请求某个URL时得到“404”状态回应时,即知道该URL已经失效,便不再索引该网页,并向数据中心反馈将该URL表示的网页从索引数据库中删除,当然,删除过程有可能需要很长时间;而当搜索引擎得到“200”状态码时,则会认为该url是有效的,便会去索引,并会将其收录到索引数据库,这样的结果便是这两个不同的url具有完全相同的内容,都显示自定义404错误页面的内容,这会导致出现复制网页问题。这一待遇搜索引擎很不友好,有可能被搜索引擎降权甚至K掉网站。