景安微信
右侧QQ联系不上,可以加我微信
您好,欢迎来到景安网络!
加盟景安
主页 >服务器技术 >海量数据的存储、分析和处理

海量数据的存储、分析和处理


来源:景安网络发表日期:2019-12-30浏览次数:Tags:数据
景安网络专业的数据中心服务商,长期提供数据中心托管服务,私有云,互联网解决方案,互联网增值服务。针对工信委大力实施“万企业上云”计划,景安以我所能,为你而+,推出上云特惠,核心云计算产品降幅达50%!!也欢迎来聊右侧qq
 
运维人员必须随时掌握服务器的运行状况,除常规的服务器配置、资源占用情况等信息外,业务在运行时会产生大量的日志、异常、告警、状态报告等,我们统称为“事件”。通常每台服务器每个时刻都会产生大量这样的“事件”,在有数万台服务器的场合下,每天产生的“事件”数量是数亿级的,存储量可能是TB级别的。
 
在过去,我们通常采用的方法是将日志保留在本地,当发现问题时,会登录  出问题的服务器查看日志、排查故障,通过sar、dmesg等工具查看历史状态;监控Agent或者脚本也会将部分状态数据汇报到类似于Zabbix这样的监控软件中,集中进行监控和告警。
 
 
当服务器规模越来越大时,如何统一、 自动化处理这些“事件”的需求就越来越强烈,毕竟登录服务器查看日志这种方式效率很低,而成熟的监控软件(比如Zabbix、Zenoss等) 只能收集和处理众多“事件”当中的一部分,当服务器数量多了以后,其扩展能力、二次开发能力也非常有限。在具体实践中,当监控指标超过百万级别时,就很少再使用这种单一-的解决方案了,而是组合不同的工具和软件,分类解决问题。
 
在通用设计方法中,有“大工具、小系统,小工具、大系统”的说法,这也符合UNIX的设计哲学,每个工具只做好一-件事,-堆小工具组合起来可以完成很复杂的工作。如果使用的是一些大工具或者系统,表面上看功能很多,但是当你想处理更复杂的业务时,就会发现每一个功能都不够用,而且还很难扩展,它能做多“大”事取决于它的设计,而不是你的能力。
 
一个由 典型的小工具组成的大系统,任何一-个部分都可以被取代,你完全可以用自己更熟悉的工具来做,而且对工具或者组件的替换,对整体没有太大影响。
 
一提到海量数据的存储、分析和处理,大家就会想到各种各样的大数据平台。是的,大数据平台确实是用来处理海量数据的,但反过来不见得成立,对海量数据的分析和处理,并不总是或者只依赖大数据平台。
 
“分类”这个词听上去朴实无华,然而处理复杂问题最基本的方法就是分类,甚至“分类方法”也是机器学习非常重要的组成部分。“海量数据处理”这是一个宏大的命题,听上去让人一头雾水,但当你对“事件”或者需要处理的问题分类后,每-部分看上去就是一个可以解决的问题了。
 
后面的章节会详细介绍如何对海量“事件”进行分类和处理。
 
1、实时数据和非实时数据。
 
2、格式化数据和非格式化数据。
 
3、需要索引的数据和只需要运算的数据。
 
4、全量数据和抽样数据。
 
5、可视化数据和告警数据。

      每一个分类都对应一种或多种数据处理、分析和存储方式。也可以说,当你对数据、需求完成分类后,基本的框架也就定了下来,剩下的工作就是集成这些工具。
0(好文)
0(太水)
版权声明:部分文章源于网络,如侵权请联系我们删除
买购快云Plus,云服务器折上折

专题页