robots.txt文件生成器
点击收藏-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
Base64转图片
在线Base64转图片工具
Chmod计算器
快速计算Linux文件权限的得力工具
立方(三次方)计算工具
在线立方(三次方)计算工具
长袖/短袖衬衫通用尺码表
在线男女长袖/短袖衬衫通用尺码表
在线投骰子
在线投骰子小工具
英文缩写工具
在线查询缩写英文的原有意思
番茄时钟
在线国际公认高效工作方法
零息国债收益计算器
在线零息国债收益计算器
黄金理财计算器
在线计算黄金买入卖出获益小工具
火星文转换工具
娱乐工具火星文在线转换工具
批量删除图片EXIF信息
在线批量删除图片中的EXIF信息
图片格式转换
一款安全,免费的在线图片格式转换工具
图片滤镜处理
一款在线的图片滤镜处理工具
随机头像生成器
一款可以生成随机头像的在线小工具
图片加水印
一键给图片添加水印
图片转Base64
在线图片转Base64工具
JS代码调试
JS在线运行调试工具
条形码生成器
多种条形码在线生成工具
PPT快捷键大全
汇集了Microsoft PowerPoint常用快捷键,帮助用户更快地完成PPT制作。
屏幕常亮工具
一款可以保持屏幕常亮阻止休眠的小工具
名人名言
在线名人名言工具
SVG转PNG图片
在线将svg图片转为png图片
视频翻转
在线将视频进行水平翻转或垂直翻转,并将翻转后的视频下载到本地。
五子棋小游戏
在线网页版AI五子棋对抗小游戏
























渝ICP备2023004906号-5
渝公网安备50011202504460号