其实python监控的问题并不复杂,但是又很多的朋友都不太了解如何用Python监控系统状态,因此呢,今天小编就来为大家分享python监控的一些知识,希望可以帮助到大家,下面我们一起来看看这个问题的分析吧!
本文目录
有一个API,注册后,文件发生变动,它会自动通知你。另外还有一个办法,似乎是以特定方式,打开文件,当有人修改这个文件时,你会获得通知。还有监控目录的办法。最笨的办法当然是定时轮询。不需要什么技巧,定时检查文件和目录的修改时间,如果时间发生变化就是变动了。
我遇到过和题主一样的问题,其实每种数据库都能找到一些方法去监控数据的变化,比如mysql可以通过配置my.ini将数据库操作日志写到文本文件中,然后通过分析文本去获取变化。但是这样处理实在缺少Python精神:一是你的代码同特定数据库深度耦合,如果后续会迁移到其它数据库问题很多;二是这种代码安装部署很麻烦,需要系统管理员去配合修改mysql设置,而且对mysql的性能影响也需要测试人员进行深度测试。
最终,我选择了一种看起来有点笨,但却非常通用,而且对数据库的性能影响也能预估的方法:使用sql语句去监控数据表的变化。
这种方法具有以下优点:
只使用sql语句,很容易移植到其它数据库系统中使用。定义好轮询间隔时间,可以有效的控制对数据库系统的资源占用。安装配置非常简单,无需修改数据库系统的设置。设计思路非常简单,每隔固定间隔检查一下数据表,如果有新的记录触发回调函数。通常的业务需要两种监控模式,一是新增记录监听(我称之为listen),二是监控已有记录的变化(称之为moniter)。
新增记录的监听所有待监听的表需要有一个自增的字段id,只要判断上一次轮询后有没有新的id出现即可。你需要将上一次处理的最后一个id存储下来,这里我只用了一个变量去存储,你可能需要把它持久存在磁盘或数据库里。代码原型如下:
#!/usr/bin/python#-*-coding:UTF-8-*-importthreadingclassBaseListener(object):#使用一个线程启动监听def__init__(self):self.checkpoint=0self.listen_thread=threading.Thread(name="Listener",target=self.do_listen)self.listen_thread.start()defstart(self):self.stop_flag=Falsedefstop(self):self.stop_flag=Truedefset_checkpoint(self,v):#设置监听的断点,如果需要可以持久存储在磁盘上self.checkpoint=vdefget_checkpoint(self):returnself.checkpointdefdo_listen(self):whileTrue:ifnotself.stop_flag:#监听用sql语句,应当以id倒排,需要使用WHEREid>{CHECK_POINT}进行筛选,如sql="SELECT*FROMaWHEREid>{CHECK_POINT}ORDERBYidDESC"checkpoint=self.get_checkpoint()sql_listen=sql.replace("{CHECK_POINT}",checkpoint)#fetchall为读取全部记录的语句recs=self.fetchall(sql_listen)forrecinrecs:rec_id=rec.get('id')self.callback(rec)self.set_checkpoint(rec_id)#根据情况设置轮询时间time.sleep(1)defcallback(self,dictdata):#这是do_listen调用的一个回调函数,把数据传过来处理,在子类中实现print"Shouldbeimplementedinsubclasses!"已有记录是否变化为了更加通用,我们可以抽象为,某一个sql语句查询结果是否有变化。查询结果通常是一个结构体,在Python里面无法有效的比较一个结构体是否有变化,我们可以使用讨巧的办法:将这个结构体序列化后去做比较,我选择了pickle去做序列化操作,它比json更加高效和稳定一些。很明显,这里的一个关键是你需要存储上一次查询得到的数据才能和最近一次查询做比较。代码原型如下:
#!/usr/bin/python#-*-coding:UTF-8-*-importthreadingimportpickleclassBaseMonitor(object):"""监听数据变化的基类"""def__init__(self):self.prev_data=Noneself.stop_flag=Trueself.monitor_thread=threading.Thread(name="Monitor",target=self.do_monitor)self.monitor_thread.start()defstart(self):self.stop_flag=Falsedefstop(self):self.stop_flag=Truedefdo_monitor(self):whileTrue:ifnotself.stop_flag:self.execute(self.extra_sql)data=self.fetchall(self.base_sql)ifdata:str_data=pickle.dumps(data)ifstr_data!=self.prev_data:self.callback(data)self.prev_data=str_datadefcallback(self,dictdata):#这是do_monitor调用的一个回调函数,把数据传过来处理,在子类中实现print"Shouldbeimplementedinsubclasses!"如何使用使用这两个类,只需要继承它们,并实现callback函数就好。如:
classListenTest(BaseListener):defcallback(self,dictdata):print"LISTEN:",dictdataif__name__=="__main__":ad=ListenTest()ad.start()希望上面的思路或多或少能帮到你。
可以考虑下Selenium的方法进行截图并保存截取的图片。
如下这是使用webdriver进行截图的方法:
祝楼主好运,可以尝试下,这里因为篇幅愿意,只提供一个思路出来。
本人主要用shell,结合工作经验,给出如下常用功能:
1.制作定时任务,可以获得系统状态,然后截取系统状态,发送至故障监控平台或短信平台,实现故障的自动预警。
2.提取数据,形成文本,处理文本,得到规格化的数据,提供给相关部门使用。
3.制作shell交互式菜单,提供给其他运维值班人员使用,用以手工监控系统各种状态4.版本升级、系统变更等操作需要使用。
PythonIdle是Python编程语言的集成开发环境(IDE),它是一个用于编写、测试和调试Python程序的桌面应用程序。Python是一种流行的编程语言,而PythonIdle作为一个IDE,可以提供强大的编辑和调试功能,以帮助程序员更轻松地编写和测试Python程序。除了PythonIdle之外,还有许多其他的PythonIDE可供选择,例如PyCharm、Spyder和VisualStudioCode等,每个IDE都有其独特的功能和优点。同时,Python也可以在命令行下运行,因此可以使用文本编辑器编写代码,再在终端中运行程序。
好了,本文到此结束,如果可以帮助到大家,还望关注本站哦!
搜浪信息科技发展(上海)有限公司 备案号:沪ICP备17005676号