項目介紹

Project Introduction

當前網絡技術的應用在給人們帶來巨大(dà)便利的同時,也讓人們處在網絡安全隐患威脅當中(zhōng)。尤其是随着計算機技術和網絡技術應用範圍的不斷擴大(dà),網絡安全方面存在的漏洞越來越多。在大(dà)數據時代,爲了滿足人們從互聯網上快速,便捷地獲取信息的需求但不被惡意應用,反爬蟲系統能夠在網絡安全維護方面起到十分(fēn)積極的作用。鑒于此,對大(dà)數據時代的數據爬取問題進行了分(fēn)析,并對惡意爬蟲進行了解決。

産品功能

Product Features

Web防護
CC防護
防掃描
一(yī)鍵關停
漏洞防護
實時告警

訪問數據獲取

數據獲取是做好反爬蟲系統的關鍵。
采集用戶的訪問數據，用來做爬蟲分(fēn)析的數據源。
爬蟲封禁

當找到爬蟲後，想辦法去(qù)阻斷它後續的訪問。反爬蟲最後的生(shēng)效，需要靠合理的封禁模式：基于iptables的方案，依賴少，可以通過簡單配置linux就能達到效果。
爬蟲分(fēn)析

要能精确的分(fēn)析爬蟲，需要強大(dà)的數據分(fēn)析平台和規則引擎，來分(fēn)析這個IP/設備/用戶分(fēn)别在短時間區間/長時間範圍裏的行爲特征和軌迹，這裏涉及到複雜(zá)的數據系統開(kāi)發。
強化數據源、規則引擎和模型

通過流量獲得全量數據。目前爬蟲等網絡攻擊逐漸轉向業務密切相關的部分(fēn)，所以需要更多的業務數據去(qù)支撐，而不僅僅是訪問日志(zhì)。考察更多用戶行爲的特征。