源码网商城,靠谱的源码在线交易网站 我的订单 购物车 帮助

源码网商城

PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径

  • 时间:2021-01-25 09:17 编辑: 来源: 阅读:
  • 扫一扫,手机访问
摘要:PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径
我在服务器上有每天切割nginx日志的习惯,所以针对每天各大搜索引擎来访,总能记录一些404页面信息,传统上我只是偶尔分析下日志,但是对于很多日志信息的朋友,人工来筛选可能不是一件容易的事情,这不我个人自己慢慢研究了一点点,针对谷歌、百度、搜搜、360搜索、宜搜、搜狗、必应等搜索引擎的404访问生成为一个txt文本文件,直接上代码test.php。
[u]复制代码[/u] 代码如下:
<?php //访问test.php?s=google $domain='http://www.1sucai.cn'; $spiders=array('baidu'=>'Baiduspider','360'=>'360Spider', 'google'=>'Googlebot','soso'=>'Sosospider','sogou'=> 'Sogou web spider','easou'=>'EasouSpider','bing'=>'bingbot');   $path='/home/nginx/logs/'.date('Y/m/').(date('d')-1).'/access_www.txt';   $s=$_GET['s'];   if(!array_key_exists($s,$spiders)) die(); $spider=$spiders[$s];   $file=$s.'_'.date('ym').(date('d')-1).'.txt'; if(!file_exists($file)){     $in=file_get_contents($path);     $pattern='/GET (.*) HTTP\/1.1" 404.*'.$spider.'/';     preg_match_all ( $pattern , $in , $matches );     $out='';     foreach($matches[1] as $k=>$v){         $out.=$domain.$v."\r\n";     }     file_put_contents($file,$out); }   $url=$domain.'/silian/'.$file; echo $url;
好就这样了。没有什么高深的技术,只有动手写的过程。
  • 全部评论(0)
联系客服
客服电话:
400-000-3129
微信版

扫一扫进微信版
返回顶部