robots文件结尾带/杠不带/杠问题

关于robots结尾带杠不带杠的问题


首先，两种写法效果是基本一致的，唯一不同的地方是不带杠的话会识别所有包含的目录与文件，例如设置为/adm，就会把/adm*.html及/adm*/* 的链接全部识别，星号代表任意字符。


举例说明：
/abc*   以abc开始且包含abc的任意链接，如/abc*、如/abc*.html、如/abc/*.html等
/abc/* 以abc/开始且包含abc/的任意链接，如/abc/*、如/abc/*.html、如/abc/a/*.html等



网上经常见到的一种说法，也是困扰了我很久的错误说法：
“带/是整个目录，不带/是这个目录里的指定文件”这句话的理解是非常不严谨的，不要往目录的方向上想，robots结尾带/不带/就是一个单纯的包不包含字符的识别问题。