运维人员必须随时掌握服务器的运行状况，除常规的服务器配置、资源占用情况等信息外，业务在运行时会产生大量的日志、异常、告警、状态报告等，我们统称为“事件”。通常每台服务器每个时刻都会产生大量这样的“事件”，在有数万台服务器的场合下，每天产生的“事件”数量是数亿级的，存储量可能是TB级别的。
在过去，我们通常采用的方法是将日志保留在本地，当发现问题时，会登录 出问题的服务器查看日志、排查故障，通过sar、dmesg等工具查看历史状态;监控Agent或者脚本也会将部分状态数据汇报到类似于Zabbix这样的监控软件中，集中进行监控和告警。
当服务器规模越来越大时，如何统一、 自动化处理这些“事件”的需求就越来越强烈，毕竟登录服务器查看日志这种方式效率很低，而成熟的监控软件(比如Zabbix、Zenoss等) 只能收集和处理众多“事件”当中的一部分，当服务器数量多了以后，其扩展能力、二次开发能力也非常有限。在具体实践中，当监控指标超过百万级别时，就很少再使用这种单一-的解决方案了，而是组合不同的工具和软件，分类解决问题。
在通用设计方法中，有“大工具、小系统，小工具、大系统”的说法，这也符合UNIX的设计哲学，每个工具只做好一-件事，-堆小工具组合起来可以完成很复杂的工作。如果使用的是一些大工具或者系统，表面上看功能很多，但是当你想处理更复杂的业务时，就会发现每一个功能都不够用，而且还很难扩展，它能做多“大”事取决于它的设计，而不是你的能力。
一个由 典型的小工具组成的大系统，任何一-个部分都可以被取代，你完全可以用自己更熟悉的工具来做，而且对工具或者组件的替换，对整体没有太大影响。
一提到海量数据的存储、分析和处理，大家就会想到各种各样的大数据平台。是的，大数据平台确实是用来处理海量数据的，但反过来不见得成立，对海量数据的分析和处理，并不总是或者只依赖大数据平台。
“分类”这个词听上去朴实无华，然而处理复杂问题最基本的方法就是分类，甚至“分类方法”也是机器学习非常重要的组成部分。“海量数据处理”这是一个宏大的命题，听上去让人一头雾水，但当你对“事件”或者需要处理的问题分类后，每-部分看上去就是一个可以解决的问题了。
后面的章节会详细介绍如何对海量“事件”进行分类和处理。
1、实时数据和非实时数据。
2、格式化数据和非格式化数据。
3、需要索引的数据和只需要运算的数据。
4、全量数据和抽样数据。
5、可视化数据和告警数据。
每一个分类都对应一种或多种数据处理、分析和存储方式。也可以说，当你对数据、需求完成分类后，基本的框架也就定了下来，剩下的工作就是集成这些工具。
每一个分类都对应一种或多种数据处理、分析和存储方式。也可以说，当你对数据、需求完成分类后，基本的框架也就定了下来，剩下的工作就是集成这些工具。
我要评论
网友评论
评论时间：2024-05-15 09:25:01
hdx目前hdx已经成为主流服务器mac地址怎么看 ，本地备份云主机 dx目前hdx已经成为主流，在国内hdx的市场份额超过90%以上
评论时间：2023-01-25 15:25:02
10.在购买IDC产品时应济宁云主机租用 服务器多大尺寸最好 10.在购买IDC产品时应特别注意以下几个方面：一是品牌、质量；二是价格；三是售后服务；四是能否满足客户需求；五是安全保障等
评论时间：2022-09-24 12:25:01
14.更改系统密租用一个服务器一年大概多少钱 码电脑怎么搭建服务器 更改系统密码
评论时间：2022-08-12 09:25:02
11、在确认无误后，在弹出服务器主机配置 的菜单中选择“属性->用户管理—>帐户/用户名”项，输入“密码”，勾选“启用登录服务”，点开后会弹出主界面云主机一年收费多少 务”，点开后会弹出主界面
最新文章
2023-12-25 22:44:35 admin
活动发布区版规2023-05-27 22:03:52 御风而行
容器、无服务器、虚拟机：安全性差...2023-05-27 20:43:39 1356
服务器宕机的造成原因和解决方法介...2023-05-27 20:43:25 qingym
别糊涂了！服务器与工作站的五大区...2023-05-27 19:08:41 小绵羊0123
科技巨头布局云端 服务器 网络硬...2023-05-27 18:17:46 姐姐的跟屁虫
钉钉因系统访问流量激增，宕机1小...热门阅读
2022-07-23 00:34:02 freeatom
常见ftp命令 FTP命令使用详...2022-07-21 02:17:02 ares
双硬盘组建Raid0磁盘阵列图文...2022-07-20 06:17:02 mankeung123
用友软件客户端连接不上服务器的解...2022-07-23 00:51:02 antonfxb
WebService实例2022-07-13 05:38:02 苯小孩
开发、运维不可不看的Linux调...2022-07-20 18:51:02 nightstone
如何使用Charles抓取Web...随机文章
2022-01-19 05:38:02 begin
服务器托管一定要避免的9种机房现...2022-01-26 05:38:02 zhg1
web服务器配置2022-02-05 05:38:02 中原一点红
基于域名的虚拟主机配置的两种方法2022-07-14 05:38:02 ok1818
常用的9款web开发者工具2022-07-19 09:51:02 99225
Squid代理服务器原理2022-07-19 16:51:02 小女巫
Linux常用命令：帮助命令热评文章
2022-07-19 20:17:02 dengyu0429
linux vi使用及详细介绍2022-07-20 01:00:05 激动的舌头
Linux视频教程：用户管理命令...2022-07-21 20:51:02 jessica-an
创建本地FTP站点2022-02-07 05:38:03 jasonkidd
WEB服务器配置详解2022-07-20 04:51:02 wolfssss
ACL权限-默认与递归(4)2022-07-22 15:00:05 淡水珊瑚
Linux下 Samba Ser...