最近在做公司的SEO推广，公司的服务器是自己安装的，没有配置访问日志记录文件。进行seo优化过程对蜘蛛来访记录进行统计分析是很重要的，没有能怎么办，那么就用php写一个简单的专门抓取搜索引擎蜘蛛来访的文件，在访问的时候记录到日志中，不是蜘蛛访问的话就不记录，免得占用空间。目的是为了分析蜘蛛来访记录，以及访问页面时间等，以便进一步优化网站和SEO运营。下面直接来代码：
<?php
if(!defined('RUOYWCOM')){
exit('Access Denied!');
}
//搜索引擎蜘蛛爬行日志保存
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Google';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baidu';
}
if (strpos($useragent, 'msnbot') !== false){
return 'Bing';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoo';
}
if (strpos($useragent, 'sosospider') !== false){
return 'Soso';
}
if (strpos($useragent, 'sogou spider') !== false){
return 'Sogou';
if (strpos($useragent, 'yodaobot') !== false){
return 'Yodao';
}
return false;
}
function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="/log/__SXX.spider_log.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
fclose($data);
}
?>
以上记录，主要针对蜘蛛进行记录，其他来访则返回false。