关于大数据运维能力的一些思考

作者简介：王保强，20年IT工作经验，曾在华为、HP、移动、电网等国表里知名IT企业任职；存眷范畴包罗证券、航空、制造、电信、电网等。在数据库斥地和优化、数据仓库、系统架构、大中型项目治理、部门治理、数据挖掘和剖析、数据治理、大数据方面有必然研究。

早在2011年的时候，收到一个义务，就是自研一套运维治理..，其时基于硬件（CPU、内存、硬盘、收集）的开源运维..业已成熟，但为什么要自研呢？

1、2010年前后已经起头了虚拟化的历程，只不外不像如今这么成熟这么多选择，其时的考虑更多的照样资源治理问题，虚拟化导致主机、虚拟机和资源之间显现了混搭状况，常用的开源运维..已无法治理。

2、硬件设备和应用的关系跟着虚拟机的显现，显现了多对多的接见关系，确定设备和应用的互相制约互相影响关系对构建快速响应机制极为主要。

3、硬件设备、应用和办事的关系，一样来说应用大于办事，办事或者是一个端口，也或者是一个或多个办事接口，虚拟化发生了分布式，分布式发生了多对多，多又对多的关系。

资源治理是运维治理的根蒂，为认识决上述问题，还特意看了一段时间ITIL（IT根蒂架构库），也做了好几版的资源治理设计文档，最后固然不了了之，也算可以抛开繁琐的细节从总体上思虑运维了。

基于运维根蒂做运维，平日会导致一叶障目不见泰山；离开运维根蒂谈运维，会导致过度幻想化，因为运维自己涉及到系统的方方面面，好比从手艺上存在分歧数据库、Hadoop、Redis、Kafka，没人能包管看懂所有手艺，不外手艺是讲分工的，每小我接触和运维一段时间，从架构角度、从运维角度去梳理各类KPI照样可行的；另一方面本人也算搞了三四年大数据了，对大数据的运维看在眼里痛在心中，有切身痛苦。

首先大数据..的运维较以往的运维从手艺上、难度上、复杂度上均提高了，这是不争事实。

其次大数据..的运维手段照样停留在最传统的剧本角度，上百台主机即使有了一些主动化收集剧本，但整体上还处于手工功课阶段，三四小我投入运维，忙死忙活，不见成绩。

再次对运维的认知上，还存在严重的不足，运维..的扶植不是为了增加运维人员的工作量，而是解放运维人员，把运维人员从繁琐的事务中解脱出来，处理更高级别和能力的事情，也能够在运维工作系统化过程中，提拔本身的认知和手艺能力。

最后，运维不光仅是硬软件的监控，也包罗运维对象选型，运维配套治理、运维交付物治理。运维对象选型当然主要，但却不是最主要的；尤其是配套治理，当然这里提到的更多的是数据仓库项目但也不满是，每种类型项目都需要元数据治理、主数据治理、数据质量治理、义务治理，并且更难的是把义务治理和配套治理整合在一路，这又是智能化运维治理的基石。