obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
内链：顾名思意就是在自己网站的内容中的相关文字加入链接，并且链接到网站内部的相关页面。合理的网站内空链接构造，能提高搜索引擎的收录与网站权重。相对外部链接，内部链接也很重要。传统方式以前我们做文章系统或新闻发布系统的时候，做文章内链（标签）的时候，通常是通过以下方式来实现的：数据库：article（文章表）字段（id， title， body， adddate， userid），keyword（内
301重定向是什么页面永久性移走（301重定向）是一种非常重要的“自动转向”技术。网址重定向最为可行的一种办法。当用户或搜索引擎向网站服务器发出浏览请求时，服务器返回的HTTP数据流中头信息(header)中的状态码的一种，表示本网页永久性转移到另一个地址。301永久重定向对SEO无任何不好的影响，而且网页A的的权重都会传达给网页B，对于搜索引擎优化、网站优化来说，给搜索引擎一个友好的信息，告诉它
网站误封Robots该如何处理robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！如果误封禁，请及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新。来源：百度搜索资源平台
我不确定你所指的“robots非标准扩展协议”是什么，因为Robot协议是Web爬虫标准协议之一，旨在告诉Web爬虫哪些页面可以爬取和哪些页面不应该被爬取。它是一个标准协议，而不是扩展协议。 如果您能提供更多信息，我可以尝试提供更详细的回答。
