|
Post by hasmatullah on May 11, 2024 5:58:45 GMT
搜索引擎机器人最重要的任务之一是抓取和归档网站。如果您想阻止搜索引擎机器人访问网站的某些部分,Robots.txt文件是您可以用于此目的的方法之一。创建文件时必须非常小心,因为这个错误创建的文件可能会阻止搜索引擎访问您网站的重要部分,反之亦然,创建错误的目录,您的网站将不会被搜索引擎考虑到。搜索引擎,所有你不希望被抓取的目录都可能被抓取。SEO方面应该准备什么样的文件目录,需要考虑什么?我们一起来看看吧。 如何创建件必须按照一定的标准创建并添加到站点的根目录中。创建和准备目录时应注意以下几点: 这个文件; 位于您网站的根目录中 按照UTF-8字符编码编写 文件的 URL 和站点 相同 真的:创建一个新的文本文档并将其命名为 Robots.txt。 文件目录中将会有两个不同的变量。它们的含义如下: 用户 斯洛文尼亚电话号码数据 代理:搜索机器人将输入其名称的部分 允许:此命令用于指定要对站点上的哪些页面建立索引。 禁止:此命令用于指定您不想将站点上的哪些页面编入索引。 用户代理: * 禁止:/temp/ 上面的目录;它属于 文件,允许除 /temp 之外的所有代理访问网站上的所有内容。 用户代理:Googlebot 禁止:/图像/ 禁止:/temp/ 禁们看到已创建另一条记录,其中为 Googlebot 指定了更多限制性条款。当 Googlebot 开始读取您的此文件时,它将发现除 /temp/ 之外的所有文件夹中都允许所有用户代理(包括 Googlebot 本身)。这一点是 Googlebot 学习它需要知道的内容的地方,因此它不会从头到尾读取文件. 并认为您不希望它索引任何内容,包括 /temp/ – 包括 /images/ 和 /cgi-bin /。正如你所看到的,这个文件的结构很简单,但是仍然很容易陷入这样的逻辑错误,这种情况绝对应该避免。 埃杰姆·赫普切切克利 SR。搜索引擎优化主管 大家好,我是埃塞姆。我在 Mobitek 担任 SEO 专家。自 2015 年以来,我一直专注于 SEO,将本科教育的内容经验与技术 SEO 相结合。我很乐意在 Mobitek 博客上与您分享我迄今为止学到的 SEO 技巧。 链接 莫比泰克 地址 伊斯坦布尔商业区,B / D 座:16 34732 Kadıköy/伊斯坦布尔 电话
|
|