一般来说，阻止搜索引擎包含也可能成为一个搜索引擎优化问题，试图让搜索引擎捕获和索引更多的内容是搜索引擎优化经常头疼的问题，没有包含，索引不能谈论排名。特别是对于达到一定规模的网站来说，充分收录上海SEO网站是一项非常麻烦的SEO技术。当页面达到数十万时，无论网站架构如何设计和优化，都不可能100%收录，只能尽可能提高收录率。
但有时如何阻止搜索引擎的收集也可能成为一个问题，这已经成为一个越来越多的问题。有必要阻止包含的情况，如保密信息、复制内容、广告链接等。过去常用的阻止包含方法包括密码保护、将内容放在表格后面、使用JS/Ajax、使用Flash等。
几年前，Flash谷歌开始尝试捕捉Flash内容，可以捕获简单的文本内容。Flash中的链接也可以跟踪。谷歌蜘蛛也可以填写表格，也可以捕获POST请求页面。这可以从日志中看到。
JS/Ajax使用JS链接一直被视为非搜索引擎友好的方法，因此它可以防止蜘蛛爬行。然而，两三年前，我看到JS链接不能阻止谷歌蜘蛛爬行。不仅JS中的URL会被爬行，简单的JS也会被执行以找到更多的URL.