robots.txt吧
关注: 129 贴子: 1,252

robots.txt协议意思、写法、禁止收录限制

  • 目录:
  • 个人贴吧
  • 1
    今天在“微波”上偶然发现有人叫“xx志愿者”,因为本人就是从事环保相关工作,这勾起了我的兴趣。 从他们宣传的图片中,有二维码,我发现二维码指向的位置是“https //gec green-entrepreneurship co/register html”【删掉了“:”、“.”】,请注意,这个域名的末尾是“CO”,一看就像不是正规组织机构网址。后来一查,果然是不正规的。 参考: 后来很惊讶地又发现一个叫钟洋的人,自建网站,告知大家这是骗局!真的难度得!
    dgqjj 4-20
  • 0
    我们忍无可忍神马搜索YisouSpider无视robots.txt,我们只能走法律程序 https://www.it171.cn/thread-67498.htm 关于屏蔽神马YisouSpider蜘蛛的通知 https://www.wulintang.cn/wulintang/1983.html
  • 2
    AI热之后,奇虎才低调上线了个360智脑 ,那么ta究竟有多智能?让我们一起看看: 果然,360猪脑是真的很给力,智商喂猪了呀。 智脑,亏你们想得出这个充满智慧的名字!
    dgqjj 9-23
  • 6
    发现一个不常见的蜘蛛SemrushBot,访问不正常的页面URL,我就觉得神奇了,怎么老是访问评论数据处理文件和一些错误处理文件,根本不是正常的蜘蛛。 那么要不要屏蔽+SemrushBot/1.2~bl呢,查看了网上的消息,也有其它人发现它的踪迹。 这是中文介绍。以下是官方简介: A bot, also known as a web robot, web spider or web crawler, is a software application designed to automatically perform simple and repetitive tasks in a more effective, structured, and concise manner than any human could ever do. The most commo
    董敬松 9-8
  • 6
    经常检查iis日志真的有惊喜哦,今天又发现一个The+Knowledge+AI蜘蛛,虽然不知道是干嘛的,但犀利了。 2018-04-18 01:08:43 W9SVC8596 *.*.*.* GET /robots.txt - 80 - 66.160.140.182 The+Knowledge+AI - 200 0 0
    dgqjj 7-30
  • 3
    扫了一年的后台入口: 2023-06-29 13:30:45 主机名 IP GET /login.php s=Admin/login 80 - 103.44.91.114 python-requests/2.31.0 404 0 2
    dgqjj 7-6
  • 13
    154.213.68.15扫dede程序的后门!!!!!
    dgqjj 7-6
  • 1
    发现几个ip经常访问/xxxxfsfsfsfadsafdafdfdaasffasf.txt的路径,不知道是什么意图呢,明知故意问一问哈
    dgqjj 6-18
  • 2
    每天都有几个ip访问“/adadaddadad”这样不存在的路径,不知道是为什么?某种程序?
    dgqjj 6-18
  • 2
    关于222.95.230.170这个ip段的访问日志如下: 2023-05-30 07:40:30 * * HEAD /index.html - 80 - 222.95.230.128 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http //www baidu com/search/spider.html 200 0 0 2023-05-30 07:40:30 * * POST /e/install/index.php enews=setdb&ok=1&f=5 80 - 222.95.230.128 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http //www baidu com/search/spider.html 404 0 3 2023-06-04 14:25:56 * * GET /index.html - 80 - 222.95.230.12 Mozilla/5.0+(Windows+NT+10.0;+Win64;+x64)+AppleWebKit/537.36+(KHTML,+like+Gecko) 2023-06-06 04:33:13 * * GET /index.html - 80 - 222.95.230.
    dgqjj 6-14
  • 0
    61.147.93.40,这个iP段61.147.93.0都会扫一些开源程序的入口
    dgqjj 6-12
  • 0
    访问轨迹(IIS日志): 2023-06-09 01:22:25 * * GET /index.html - 80 - 221.204.227.2 libcurl-agent/7.19.0 200 0 0
    dgqjj 6-10
  • 9
    每日大量ip搜/data/admin/allowurl.txt路径,不知是什么意图,难道通过确认是否存在allowurl.txt文件,从而确认是某程序,然后针对该程序的某个bug进行公鸡?
    dgqjj 6-9
  • 2
    上午记录了54.188.223.11的美国ip,对dede的搜索php文件进行大规模流量攻击
    dgqjj 6-8
  • 4
    8.134.98.183和116.62.105.182一直在扫入口,不知道是不是阿里云官方
    dgqjj 6-8
  • 3
    230510至今,113.142.61.47都在扫类似“/dedecms/login.php”的入口
    dgqjj 6-2
  • 5
    都扫了一年了,比如112.114.104.147、112.114.104.208等
    dgqjj 6-1
  • 6
    第一次来就封禁了,可惜呀
    dgqjj 5-23
  • 8
    关于:183.232.170.* 1、该ip段不断扫后门,已持续至少1年以上 2、该ip段的同ip服务器上绑定了几百个违规站点的域名(如菠菜)
    dgqjj 5-14
  • 0
    下午收到一封邮件,以“东莞国弘新材料”作为落款的“通知”,于是引起了我的注意。(因为我也有同样字号的公司名,估计诈骗团伙的人都搞错了) 然后附件里面,就是通知加群,虽然我已经有预感是诈骗,但我还想进去了解下什么情况。 904508163. 进群以后,果然不出所料,里面成员的姓名,就是上述企业的法人、股东的名字。并且要求我改备注。 然后,我就自取“叶映婷”的财务名字(和叶映雪名字相近,套近乎),让对方觉得我就是“财务
    dgqjj 5-8
  • 3
    经发现,171.115.221.*该IP段使用Msray程序采集URL,意图是发现开源程序的登陆入口,从而从该程序的漏洞进行渗入
    dgqjj 4-24
  • 5
    发现61.147.93.58、61.147.93.56等都陆续搜了一年多了,为什么会这样的?估计是机器人,不是真人。机器人为什么可以运行这么久
    dgqjj 4-16
  • 9
    根据现存记录,这个ip段从2022年初就开始定期扫后门(此前日志已删),有时候119.62.135.*还会冒充百度蜘蛛
    dgqjj 4-6
  • 0
    查询网站日志,发现大量从124.248.69.104 过来的扫描dede程序登陆入口的请求。 打开124.248.69.104显示是杭州优云科技的页面!
    dgqjj 3-21
  • 0
    可能是流量攻击,屏蔽啦
    dgqjj 3-21
  • 1
    已经屏蔽了lvshiting com 的ip,现在lvshiting 上显示403了
    dgqjj 3-21
  • 0
    头条搜索的ip字段总共涉及10个ip,具体字段如下: 110.249.201.0/24 110.249.202.0/24 111.225.148.0/24 111.225.149.0/24 220.243.135.0/24 220.243.136.0/24 220.243.188.0/24 220.243.189.0/24 60.8.123.0/24 60.8.151.0/24
    dgqjj 10-23
  • 0
    尊敬的用户,您好: 百度取证业务调整,将于2021年5月25日正式关闭套餐充值服务,已购买套餐不受影响,可以正常使用。 感谢信任。 特此公告 2021年5月10日
    dgqjj 7-5
  • 1
    PetalBot is an automatic program of the Petal search engine. The function of PetalBot is to access both PC and mobile websites and establish an index database which enables users to search the content of your site in Petal search engine. You can identify crawling from Petal by analyzing the User-agent field. 【petalbot 华为搜索Petal Search蜘蛛】 百度翻译:PetalBot是Petal搜索引擎的自动程序。PetalBot的功能是访问PC和移动网站,并建立索引数据库,使用户可以在Petal搜索引擎中搜索您网站的内容。通过分析用户代理字段,可以识别
    dgqjj 3-30
  • 1
    2014-08-07 20:50:41 GET /robots.txt - - 5.255.253.157 HTTP/1.1 Mozilla/5.0+(compatible;+YandexBot/3.0;++http://yandex.com/bots) - 301 475
  • 0
    http://www.sdkunrui.com求收录啊,赶紧收录吧
  • 3
    尊敬的*@aliyun,com: 截至2018-08-17 15:57:15,您的可用金余额为0.00元,根据您以往的消费情况预测,可能不足以支撑您未来3天的消费,请您尽快充值,以免影响使用!点此充值 您可以设置可用金余额预警阈值,当可用金余额少于设置值时,您将收到短信提醒。点此了解 阿里云计算有限公司
    12-11
  • 1
    居然在访问记录中找到一个叫“Qwantify”的爬虫,这个罕见的爬虫究竟是什么鬼?先看看iis日志: 2016-08-10
  • 5
    商务通访客来源,发现baiduboxapp占比特别大,但是百度浏览器的用户占比不可能这么多啊,百度浏览器应该是baidubrowers.那这个百度盒子是个什么东西,只要用百度搜索引擎就会算一个吗. 小白可能讲的不清楚,
  • 2
  • 0
    dgqjj 2021-05
    "IMG_20191214_162835.jpg" "IMG_20191218_170849.jpg" "IMG_20191217_170913.jpg" "IMG_20191215_173301.jpg" "IMG_20191215_154750.jpg" "IMG_20191215_154745.jpg" "IMG_20191215_154736.jpg" "IMG_20191215_154732.jpg" "IMG_20191215_154722.jpg" "IMG_20191215_154658.jpg" "IMG_20191215_154654.jpg" "IMG_20191215_154651.jpg" "IMG_20191215_154622.jpg" "IMG_20191215_151811.jpg" "IMG_20191214_162841.jpg"
    dgqjj 5-10
  • 0
    翻到一张旧图,显示Silverlight 终止支持。
    dgqjj 5-10
  • 16
    请各位把碰到YisouSpider的ip记录下来,以回帖的方式! 这样经过长期收集,大家就可以在robots中集中屏蔽了~! 我先发一个: 42.156.139.32
    dgqjj 5-6
  • 54
    近日站长检查iis日志时,发现了Bytespider这个新型爬虫。不过,其网上的所谓官网,介绍的是spiderbytes。 从翻译工具来看,对方还真是研究蜘蛛的......???、 懂英文的过来看看吧!最后,贴上这一个访问记录: 2019-05-25 00:00:42 我的目录 我的IP GET /kid/read.php id=1109 80 - 220.243.136.2 Mozilla/5.0+(iPhone;+CPU+iPhone+OS+11_0+like+Mac+OS+X)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/53.0.2404.1317+Mobile+Safari/537.36;+Bytespider - 200 0 0 后面再留意下,看看是啥情况
    AnWen238 5-1
  • 7
    发现日志里面很多冒充BaiduSpider的请求,不是冒充爬虫就是假的百度来路,百度真的这么好欺负? 2018-03-23 01:15:11 W9SVC8596 *.*.*.* GET /*.PHP pid=1 80 - 119.135.64.134 BaiduSpider - 200 0 0
  • 2
    大家碰到的google的爬虫,一般都会带有一个说明文档的链接。然而,我发现这个Googlebot-Image居然不带说明的。太惊讶了。 2018-04-11 00:18:24 W9SVC8596 *.*.*.* GET /w/9/8.jpg - 80 - 203.208.60.186 Googlebot-Image/1.0 - 304 0 0
  • 0
    应该是什么测试之类的
    dgqjj 3-17
  • 3
    网站https://www.mppstore.com/2个月了只收了一个首页 这是个什么情况
  • 1
    刚在微信上复制一个IP的网址(http开头),然后在华为手机浏览器的地址栏粘贴,居然变成了“UCFP:……”
    dgqjj 10-12

  • 发贴红色标题
  • 显示红名
  • 签到六倍经验

赠送补签卡1张,获得[经验书购买权]

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频!

本吧信息 查看详情>>

会员: 站长

目录: 个人贴吧