技术领域
[0001] 本实用新型涉及服务器技术领域,尤其是涉及一种爬虫入侵监控提醒系统。
相关背景技术
[0002] 随着互联网应用的发展,爬虫技术越来越普及,对于一个内容型驱动的网站来说,受到网络爬虫的光顾是不可避免的。智能搜索引擎爬虫的爬取频率比较合理,对网站资源消耗比较少,但是很多糟糕的网络爬虫,对网页爬取能力很差,经常并发几十上百个请求循环重复抓取,这种爬虫对中小型网站往往是毁灭性打击,特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强,造成的网站访问压力会非常大,会导致网站访问速度缓慢,甚至无法访问。
[0003] 恶意的或设计实现较差的爬虫,会产生大量占用服务器资源、泄露隐私数据等负面问题,影响网站服务访问速度。重要的是一些非法爬虫会窃取宝贵的版权数据,尤其是数据时代,数据经常会是一个公司的核心竞争力。因此,反爬虫成为网站管理者的一项重要课题,开发反爬虫系统具有十分重要的作用和意义。实用新型内容
[0004] 针对以上技术问题,本实用新型的目的在于提供一种爬虫入侵监控提醒系统,能够针对占用大量服务器资源的爬虫进行分析、筛选和信息提示,并通过对服务器的远程管理,保证服务器稳定。
[0005] 为达到上述目的,本实用新型提供如下技术方案:
[0006] 一种爬虫入侵监控提醒系统,所述的爬虫入侵监控提醒系统主要包括应用服务器、访问客户端、网络交换机、爬虫分析服务器和远程控制客户端,其中 ,所述的应用服务器上设有远程访问管理卡,网络交换机设有通讯端口A、通讯端口B、通讯端口C和镜像端口,通讯端口A和通讯端口B为双工连接,通讯端口B和通讯端口C为双工连接,通讯端口C和镜像端口为单工连接,访问客户端与通讯端口A相连,应用服务器与通讯端口B相连,爬虫分析服务器和通讯端口C和镜像端口相连,爬虫分析服务器通过网络和远程控制客户端相连;爬虫分析服务器包括流量采集模块、http 协议分析模块、Request报文分析模块、Response 报文分析模块、行为分析模块、日志条件检查模块和网站日志保存模块;所述流量采集模块、http 协议分析模块、Request 报文分析模块、Response 报文分析模块、行为分析模块、日志条件检查模块和网站日志保存模块顺序连接。
[0007] 进一步的,所述的远程访问管理卡为iDRAC卡远程控制卡,所述远程访问管理卡通过以太网网络与PC客户端相连,通过GPRS网络与手机客户端相连,手机客户端包括手机app客户端或手机短信系统。
[0008] 进一步的,所述的应用服务器为单个WINDOWS应用服务器、LINUX应用服务器、MAC OS应用服务器或几种服务器组成集群。
[0009] 进一步的,所述的远程控制客户端包括手机客户端和PC客户端。
[0010] 进一步的,所述的手机客户端包括手机app客户端或手机短信系统。
[0011] 进一步的,所述的远程访问管理卡与应用服务器的BMC模块相连。
[0012] 本实用新型的有益效果:
[0013] 本实用新型利用爬虫分析服务器和网络交换机对用户访问数据进行镜像数据采集,并对采集到数据进行爬虫分析,将占用服务器资源的恶意爬虫的客户端信息发送至分析结果与邮件或短信的形式通知远程控制客户端,实现对占用大量服务器资源的爬虫进行分析、筛选和信息提示,并通过对服务器的远程管理,保证服务器稳定,从而保证网站服务访问速度,确保网站的正常运行。