站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

昨日分析了站长派近一个月的网站日志数据,发现通过日志可以帮助站长很好的优化网站,接下来就直奔主题。

一、如何下载网站日志

1、虚拟主机下载网站日志的办法

如果你使用的是虚拟主机,一般日志都会按天保存在站点根目录的wwwlogs或者logs文件夹中,大家可以通过FTP工具进行下载。
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

2、宝塔面板下载网站日志的办法

方法同虚拟机下载网站日志类似,不过是需要先登录宝塔面板,然后在文件-根目录-wwwlogs中下载,如下图:
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?


二、如何分析网站日志?

下载后的网站日志是需要经过处理才能看到数据的,这里站长派使用的是爱站的网站日志分析工具,大家可以下载爱站SEO工具包,里边有日志分析工具。
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

具体使用方法就是进入日志分析工具后,导入要分析的网站日志,然后点击分析就可以根据需要查看蜘蛛数据。
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

例如蜘蛛抓取概要,目录抓取数据,页面抓取数据,ip排行等,这里站长派最关注的是页面抓取数据,具体操作步骤如下:
选择查看页面抓取数据-只看百度蜘蛛-点击查询-导出数据
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

因为导出的数据是文本文档,为了更方便查看数据,我们将它导入到表格中进行处理,如图。
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

页面:指的是被搜索引擎抓取过的页面
总抓取量:指的是当前页面被所有蜘蛛抓取过的总量
蜘蛛抓取量:指的是百度蜘蛛抓取过的量


三、分析网站日志能做什么?

接下来是最关键的部分,那就是根据网站日志数据优化网站,站长派分析网站日志经常关注的两点:

(一)对比被抓取页面和sitemap中的url
(二)处理无效抓取数据

(一):对比被抓取页面和sitemap中的url

步骤一、使用&组合出被抓取页面的完整url,如下图
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

步骤二、通过网站sitemap文件导出目前网站所有url
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

步骤三、使用VLOOKUP,对比目前网站sitemap中的url哪些没有被抓取到。通过对比被抓取页面和sitemap中的url时,如果有sitemap的url中有没有被抓取的页面,可以将这些数据重新提交百度站长平台。
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

通过对比发现sitemap中所有url都被百度蜘蛛抓取过。

因为站长派每次发布文章后都会提交百度站长平台,通过站长后台也不难发现百度蜘蛛对网站的抓取频率还是可以的。
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

那么问题来了,站长派定期发布文章,提交的数据百度蜘蛛也会抓取,但是站长派只有2条收录。
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

原因是什么呢?

一般来说这种情况下不收录有两种原因,第一就是从搜索引擎抓取页面到页面收录需要一个缓冲期;第二种就是文章质量不行,百度蜘蛛抓取后认为没有被收录的必要性。

步骤四、这个时候再次使用VLOOKUP,在被抓取url表格中对比sitemap中的url,然后看抓取时间及抓取次数。
站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

通过数据发现很多发布时间比当前被收录文章要早,抓取次数也比他要多的页面有很多,但是这些页面也都没有被收录,所以当前网站收录少最主要的原因和文章质量有很大关系。

(二):处理无效抓取数据

在日志表格中对抓取过sitemap中的url做标记,然后筛选出其他url,通过筛选可以整理出一组数据,近期百度蜘蛛对网站的抓取总量是3743,对整个sitemap中url,根目录,robots文件的抓取总量是1463,对其他页面抓取总量是2280。

也就是说有百分之61的蜘蛛抓取了其他页面,那这些页面都是做什么的呢?又该如何处理呢?

1、大部分url都是404页面,也就是说这些页面都是打不开的。
2、这些页面路径各不相同,无法统一使用通配符在robots中屏蔽

于是站长派用了最笨但是也最有效的方法,那就是直接将这些url全部加入robots中。

站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?

到此为止,站长如何下载网站日志?如何分析网站日志?分析网站日志能做什么?希望对大家有所帮助。

本文作者:站长派,如若转载,请注明出处:https://zhanzhangpai.com/?p=572

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(0)
上一篇 2022年1月27日 上午10:42
下一篇 2022年1月27日 下午3:26

相关推荐