什么是 “蜘蛛陷阱” 及其对 SEO 的影响!-蓝天

点击次数:  更新时间: 2021-09-03   

  在搜索引擎优化工作中,搜索引擎优化人员每天都在处理内容和链接。从目前来看,他们知道独立原创内容对网站未来长远发展的重要性,但在这一切的开始,有一个前提,那就是避免 “蜘蛛陷阱”。

  简单理解 :蜘蛛陷阱 是一种技术策略,旨在满足程序的特定要求,但对搜索引擎不友好。最大的特点是,当蜘蛛抓取特定的URL时,它进入一个无限循环,只有一个入口,没有出口。

  这是一个常见的地方,容易出现 “蜘蛛陷阱”。当你试图在收音机上搜索某些关键词时,如果它是相似的呢?如果这些url被搜索引擎捕获和记录,很可能会产生大量无意义的搜索结果页面。

  如果您曾经经营过电子商务网站,那么您会遇到各种各样的产品。同一主题内容会根据不同的SKU生成多个 URL,导致内容大量重复页面,这也导致蜘蛛爬行频率的严重浪费。

  当然,还有一种类似于电子商务产品页面的特殊 “蜘蛛陷阱”,即动态内容插入,通常会导致蜘蛛陷入温和的陷阱。

  解决方案: 确保URL是标准化的。您可以尝试使用标签 rel=canonical 来解决类似的问题。

  为了满足用户的视觉体验,网站建设公司通常使用 Flash网站 为用户建立官方网站,看起来非常漂亮。但是,由于当前的搜索引擎无法很好地捕获和识别 flash 内容,因此网站排名通常很难提高。

  解决方案: 不要使用整个 flash,尝试嵌入 flash 到部分web内容。

  对于某些网站来说,为了吸引 粉丝,很多内容只能通过登录才能看到,尤其是一些强制性 cookie 操作,这会引诱和欺骗蜘蛛。很难识别内容并继续尝试获取该URL。

  解决方案: 对于网站建设,尽量避免使用这种策略来吸引用户。

  这对于识别 蜘蛛陷阱 的方法尤其容易。您需要做的就是阅读以下内容:

  (1) 网站日志: 使用此工具阅读当天蜘蛛爬行的网站内容。如果找到特殊的URL,也值得关注。

  (2) 抓取频率: 查看 百度 搜索资源平台中的抓取频率。如果有一天这个值特别大,它很可能会落入 蜘蛛陷阱。

  什么是 “蜘蛛陷阱” 及其对 SEO 的影响!文章摘要: 通常讨论 蜘蛛陷阱 包括网站框架,sessionid 和各种跳跃。本文仅简要介绍实际应用中常见的蜘蛛网诱捕器,仅供参考。