
robots.txt文件生成器
-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
内容改写
帮您对一段内容进行改写,并保持语义不变。
感谢信
生成多种场景下的感谢信
朋友圈文案
根据主题帮你生成多种风格的朋友圈文案
内容缩写
缩写现有内容,减少信息量,明确内容表达。
浏览器信息查看
一款可以免费查看当前浏览器详细信息的在线小工具
车贷计算器
在线车贷计算工具
吸烟成本计算器
帮你估算吸烟的实际成本,更好的去戒烟
新能源汽车充电所需金额计算器
方便新能源车主在旅途中,计算充电所需要的金额
角度单位换算
角度单位在线换算工具
时间单位换算
时间单位在线换算工具
英文大小写转换
英文大小写转换/英文单词首字母大写/英文行首字母大写
HTML转JS工具
HTML转JavaScript处理工具
HTML/UBB互转工具
在线HTML与UBB代码转换工具
IP地址归属地查询
IP在线查询工具,查询本机IP
JS代码调试
JS在线运行调试工具
键盘按键测试
在线键盘按键失灵检测工具
姓名生成器
一款可以随机生成男生女生姓名的小工具
2048数字游戏
在线2048数字游戏
RSA公私钥生成、签名、加解密
在线RSA公私钥生成,签名,加密解密工具
十二时辰转换
在线将时间转为十二时辰
在线文本填充工具
在线对文本进行填充
在线网址批量提取工具
在线从一段文本中批量提取url地址
网站桌面快捷方式
给网站添加一个桌面快捷方式,方便网站访问
证件照片尺寸计算
在线将照片的尺寸单位转为毫米或厘米