站长如何下载网站日志？如何分析网站日志？分析网站日志能做什么？
昨日分析了站长派近一个月的网站日志数据，发现通过日志可以帮助站长很好的优化网站，接下来就直奔主题。
一、如何下载网站日志
1、虚拟主机下载网站日志的办法
如果你使用的是虚拟主机，一般日志都会按天保存在站点根目录的wwwlogs或者logs文件夹中，大家可以通过FTP工具进行下载。
2、宝塔面板下载网站日志的办法
方法同虚拟机下载网站日志类似，不过是需要先登录宝塔面板，然后在文件-根目录-wwwlogs中下载，如下图：
二、如何分析网站日志？
下载后的网站日志是需要经过处理才能看到数据的，这里站长派使用的是爱站的网站日志分析工具，大家可以下载爱站SEO工具包，里边有日志分析工具。
具体使用方法就是进入日志分析工具后，导入要分析的网站日志，然后点击分析就可以根据需要查看蜘蛛数据。
例如蜘蛛抓取概要，目录抓取数据，页面抓取数据，ip排行等，这里站长派最关注的是页面抓取数据，具体操作步骤如下：
选择查看页面抓取数据-只看百度蜘蛛-点击查询-导出数据
因为导出的数据是文本文档，为了更方便查看数据，我们将它导入到表格中进行处理，如图。
页面：指的是被搜索引擎抓取过的页面
总抓取量：指的是当前页面被所有蜘蛛抓取过的总量
蜘蛛抓取量：指的是百度蜘蛛抓取过的量
三、分析网站日志能做什么？
接下来是最关键的部分，那就是根据网站日志数据优化网站，站长派分析网站日志经常关注的两点：
（一）对比被抓取页面和sitemap中的url
（二）处理无效抓取数据
（一）：对比被抓取页面和sitemap中的url
步骤一、使用&组合出被抓取页面的完整url，如下图
步骤二、通过网站sitemap文件导出目前网站所有url
步骤三、使用VLOOKUP，对比目前网站sitemap中的url哪些没有被抓取到。通过对比被抓取页面和sitemap中的url时，如果有sitemap的url中有没有被抓取的页面，可以将这些数据重新提交百度站长平台。
通过对比发现sitemap中所有url都被百度蜘蛛抓取过。
因为站长派每次发布文章后都会提交百度站长平台，通过站长后台也不难发现百度蜘蛛对网站的抓取频率还是可以的。
那么问题来了，站长派定期发布文章，提交的数据百度蜘蛛也会抓取，但是站长派只有2条收录。
原因是什么呢?
一般来说这种情况下不收录有两种原因，第一就是从搜索引擎抓取页面到页面收录需要一个缓冲期；第二种就是文章质量不行，百度蜘蛛抓取后认为没有被收录的必要性。
步骤四、这个时候再次使用VLOOKUP，在被抓取url表格中对比sitemap中的url，然后看抓取时间及抓取次数。
通过数据发现很多发布时间比当前被收录文章要早，抓取次数也比他要多的页面有很多，但是这些页面也都没有被收录，所以当前网站收录少最主要的原因和文章质量有很大关系。
（二）：处理无效抓取数据
在日志表格中对抓取过sitemap中的url做标记，然后筛选出其他url，通过筛选可以整理出一组数据，近期百度蜘蛛对网站的抓取总量是3743，对整个sitemap中url，根目录，robots文件的抓取总量是1463，对其他页面抓取总量是2280。
也就是说有百分之61的蜘蛛抓取了其他页面，那这些页面都是做什么的呢？又该如何处理呢？
1、大部分url都是404页面，也就是说这些页面都是打不开的。
2、这些页面路径各不相同，无法统一使用通配符在robots中屏蔽
于是站长派用了最笨但是也最有效的方法，那就是直接将这些url全部加入robots中。
到此为止，站长如何下载网站日志？如何分析网站日志？分析网站日志能做什么？希望对大家有所帮助。
文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=572
免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com
