絕大多數(shù)收費(fèi)主機(jī)都提供原始訪問日志,網(wǎng)站服務(wù)器會(huì)把每一個(gè)訪客來訪時(shí)的一些信息自動(dòng)記錄下來,保存在原始訪問日志文件中,如果你的主機(jī)不提供日志功能,建議你到期后還是換主機(jī)吧。日志中記錄了網(wǎng)站上所有資源的訪問信息,包括圖片、CSS、JS、FLASH、HTML、MP3等所有網(wǎng)頁(yè)打開過程載入的資源,同時(shí)記錄了這些資源都被誰訪問了、用什么來訪問以及訪問的結(jié)果是什么等等,可以說原始訪問日志記錄了主機(jī)的所有資源使用情況。
分析網(wǎng)站日志有什么作用?
1、我們可以比較準(zhǔn)確的定位搜索引擎蜘蛛來爬行我們網(wǎng)站的次數(shù),可以屏蔽偽蜘蛛(此類蜘蛛多以采集為主,會(huì)增加我們服務(wù)器的開銷)點(diǎn)此識(shí)別Baiduspider真?zhèn)?;
2、通過分析網(wǎng)站日志,我們可以準(zhǔn)確定位搜索引擎蜘蛛爬行的頁(yè)面以及時(shí)間長(zhǎng)短,我們可以依次有針對(duì)性的對(duì)我們的網(wǎng)站進(jìn)行微調(diào) ;
3、http返回狀態(tài)碼,搜索引擎蜘蛛以及用戶每訪問我們的網(wǎng)站一次,服務(wù)器端都會(huì)產(chǎn)生類似301,404,200的狀態(tài)嗎,我們可以參照此類信息,對(duì)我們出現(xiàn)問題的網(wǎng)站進(jìn)行簡(jiǎn)單的診斷,及時(shí)處理問題。
網(wǎng)站日志文件存放在什么地方?
一般的虛擬主機(jī)都提供日志文件,但是不同的虛擬主機(jī)系統(tǒng)會(huì)提供不同的LOG文件存儲(chǔ)文件名,筆者使用的是美橙的虛擬主機(jī),日志文件存儲(chǔ)在weblog文件夾下。
如何分析網(wǎng)站日志中的內(nèi)容?
1、注意那些被頻繁訪問的資源
如果在日志中,你發(fā)現(xiàn)某個(gè)資源(網(wǎng)頁(yè)、圖片和mp3等)被人頻繁訪問,那你應(yīng)該注意該資源被用于何處了!如果這些請(qǐng)求的來源(Referer)不是你的網(wǎng)站或者為空,且狀態(tài)碼(Http Code)為200,說明你的這些資源很可能被人盜鏈了,通過 Referer 你可以查出盜鏈者的網(wǎng)址,這可能就是你的網(wǎng)站流量暴增的原因,你應(yīng)該做好防盜鏈了。
2、注意那些你網(wǎng)站上不存在資源的請(qǐng)求
如果某些請(qǐng)求信息不是本站的資源,Http Code不是403就是404,但從名稱分析,可能是保存數(shù)據(jù)庫(kù)信息的文件,如果這些信息讓別人拿走,那么攻擊你的網(wǎng)站就輕松多了。發(fā)起這些請(qǐng)求的目的無非就是掃描你的網(wǎng)站漏洞,通過漫無目的地掃描下載這些已知的漏洞文件,很可能會(huì)發(fā)現(xiàn)你的網(wǎng)站某個(gè)漏洞哦!通過觀察,可以發(fā)現(xiàn),這些請(qǐng)求所使用的Agent差不多都是Mozilla/4.0、Mozilla/5.0或者libwww-perl/等等非常規(guī)的瀏覽器類型,以上我提供的日志格式化工具已經(jīng)集成了對(duì)這些請(qǐng)求的警報(bào)功能。我們可以通過禁止這些Agent的訪問,來達(dá)到防止被掃描的目的,具體方法下面再介紹。
3、觀察搜索引擎蜘蛛的來訪情況
通過觀察日志中的信息,你可以看出你的網(wǎng)站被蜘蛛訪問的頻率,進(jìn)而可以看出你的網(wǎng)站是否被搜索引擎青睞,這些都是SEO所關(guān)心的問題吧。日志格式化工具已經(jīng)集成了對(duì)搜索引擎蜘蛛的提示功能。
4、觀察訪客行為
通過查看格式化后的日志,可以查看跟蹤某個(gè)IP在某個(gè)時(shí)間段的一系列訪問行為,單個(gè)IP的訪問記錄越多,說明你的網(wǎng)站PV高,用戶粘性好;如果單個(gè)IP的訪問記錄希希,你應(yīng)該考慮如何將你的網(wǎng)站內(nèi)容做得更加吸引人了。通過分析訪客的行為,可以為你的網(wǎng)站建設(shè)提供有力的參考,哪些內(nèi)容好,哪些內(nèi)容不好,確定網(wǎng)站的發(fā)展方向;通過分析訪客的行為,看看他們都干了些什么事,可以揣測(cè)訪客的用意,及時(shí)揪出惡意用戶。
常用網(wǎng)站日志分析軟件有哪些?
筆者試用過很多網(wǎng)站日志分析工具,常用的并且功能又比較全面的大概有三款:光年SEO日志分析系統(tǒng)、逆火網(wǎng)站日志分析器、Web Log Explorer。