新闻

网站SEO优化必备技能:网站日志文件分析

SEO营销学院 2020-12-2 15:53:58 | 阅读:
很多做网站SEO优化的工程师,都会去分析网站日志文件,从而得到一些数据去调整优化策略,但具体是如何分析的,通过什么工具或方法,绝大多数SEO工程师是不会告诉你的!

今天万广互联小编就详细为大家讲解下,是如何具体去分析日志文件:

首先,我们需要知道分析日志文件的目的是什么?

通过分析网站日志Log文件我们可以看到用户和搜索引擎蜘蛛访问网站的行为数据,这些数据能让我们分析出用户和蜘蛛对网站的偏好以及网站的健康情况。在网站日志分析中,我们主要需要分析的是蜘蛛行为。

在蜘蛛爬取及收录过程中,搜索引擎会给特定权重网站分配相应的资源量。一个搜索引擎友好型的网站应该充分利用这些资源,让蜘蛛可以迅速、准确、全面的爬取有价值、用户喜欢的内容,而不浪费资源在无用的、访问异常的内容上。

一,日志文件如何获得,以阿里云云主机为例

登录你的阿里云云主机管理控制面板,可找到如下图:

把日志文件下载到本地


二、下载专业的SEO日志文件分析工具

在这里给大家推荐:光年日志分析工具或web log exploer,今天以光年日志分析工具为例:点击下载,安装好工具之后,新建任务导入下载的日志文件,然后点击执行,如下图:



三、分析日志文件


真正的干货在这里--网站日志数据分析解读:

1、访问次数、停留时间、抓取量

从这三项数据中我们可以得知:平均每次抓取页面数、单页抓取停留时间和平均每次停留时间。

平均每次抓取页面数=总抓取量/访问次数

单页抓取停留=每次停留/每次抓取

平均每次停留时间=总停留时间/访问次数

从这些数据我们可以看出蜘蛛的活跃程度、亲和程度、抓取深度等,总访问次数、停留时间、抓取量越高、平均抓取页面、平均停留时间,表明网站越受搜索引擎喜欢。而单页抓取停留时间表明网站页面访问速度,时间越长,表明网站访问速度越慢,对搜索引擎抓取收录较不利,我们应尽量提高网页加载速度,减少单而立停留时间,让爬虫资源更多的去抓取收录。

另外,根据这些数据我们还可以统计出一段时间内,网站的整体趋势表现,如:蜘蛛访问次数趋势、停留时间趋势、抓取趋势。


通过日志分析我们可以看到网站哪些目录受蜘蛛喜欢、抓取目录深度、重要页面目录抓取状况、无效页面目录抓取状况等。通过对比目录下页面抓取及收录情况,我们可以发现更多问题。对于重要目录,我们需要通过内外调整增加权重及爬取;对于无效页面,在robots.txt中进行屏蔽。

另外,通过多日日志统计,我们可以看到站内外行为给目录带来的效果,优化是否合理,是否达到了预期效果。对于同一目录,以长期时间段来看,我们可以看到该目录下页面表现,根据行为推测表现的原因等。


3、页面抓取

在网站日志分析中,我们可以看到具体被蜘蛛爬取的页面。在这些页面中,我们可以分析出蜘蛛爬取了哪些需要被禁止爬取的页面、爬取了哪些无收录价值页面、爬取了哪些重复页面url等,为充分利用蜘蛛资源我们需要将这些地址在robots.txt中禁止爬取。

另外,我们还可以分析未收录页面原因,对于新文章,是因为没有被爬取到而未收录抑或爬取了但未放出。对于某些阅读意义不大的页面,可能我们需要它作为爬取通道,对于这些页面,我们是否应该做Noindex标签等。但从另一方面讲,蜘蛛会弱智到靠这些无意义的通道页爬取页面吗,蜘蛛不懂sitemap?【对此,笔者有疑惑,求分享经验】


4、蜘蛛访问IP

曾经有人提出过通过蜘蛛的ip段来判断网站的降权情况,笨鸟感觉这个意义不大,因为这个后知性太强了。而且降权更多应该从前三项数据来判断,用单单一个ip段来判断意义不大。IP分析的更多用途应该是判断是否存在采集蜘蛛、假蜘蛛、恶意点击蜘蛛等。


5、访问状态码

蜘蛛经常出现的状态码如301、404等,出现这些状态码要及时处理,以避免对网站造成坏的影响。


6、抓取时间段

通过分析对比多个单日蜘蛛小时爬取量,我们可以了解到特定蜘蛛对于本网站在特定时间的活跃时段。通过对比周数据,我们可以看到特定蜘蛛在一周中的活跃周期。了解这个,对于网站内容更新时间有一定指导意义,而之前所谓小三大四等均为不科学说法。


7、蜘蛛爬取路径

在网站日志中我们可以跟踪到特定IP的访问路径,如果我们跟踪特定蜘蛛的访问路径则能发现对于本网站结构下蜘蛛的爬取路径偏好。由此,我们可以适当的引导蜘蛛的爬取路径,让蜘蛛更多的爬取重要、有价值、新更新页面。其中爬取路径中我们双可以分析页面物理结构路径偏好以及url逻辑结构爬取偏好。通过这些,可以让我们从搜索引擎的视角去审视自己的网站。


非常感谢您有耐心的读完万广互联的这篇文章:"网站SEO优化必备技能:网站日志文件分析",仅为提供更多信息供用户参考使用或为学习交流的方便。我们公司不仅提供:网站建设、网站制作、seo网站优化、网站推广、小程序开发、商城开发、快速排名、网页设计、建网站等服务,而且利用互联网营销手法,多平台,多样化进行品牌内容铺设,营造企业正面形象,诚挚为您服务,欢迎您的到来。
COPYRIGHT © 2009-2020 万广互联 深圳网站建设 品牌网站建设. All rights reserved. 粤ICP备13078054号
立即咨询
微信客服
深圳万广互联科技有限公司