| MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 |
加州大学圣地亚哥分校研究员Dionysios Logothetis，在日前举行的Usenix年度会议上表示，MapReduce可以在服务器上直接被用来分析日志数据，无需在各个集群上单独分析，也可以大幅缩短分析数据的时间。
MapReduce结构
利用该方法，“数据分析可以从专业集群上转移到日志服务器上，从而避免昂贵的数据迁移成本支出，”MapReduce首先是由谷歌公司推出来的，它越来越多地被用来分析跨服务器和节点的大规模数据。目前，它主要担当Hadoop数据处理平台的一个组成部分。
虽然MapReduce大部分都使用在专业集群上，但研究人士表示分析软件的框架版本也可以成为网络服务器的一部分。当前，商业网页关于用户的详细日志信息，可以为广告定位、网站安全监控和调试提供数据支持。
根据统计，为繁忙的电子商务网站提供服务的单个服务器，在每秒钟时间内能生成1MB至10MB有价值的日志数据。而在一天之内，它可以生成几十兆兆字节有价值的数据量。平均而言，1000台这样的服务器在一天之内能生成86TB容量的数据信息。比如著名的社交网站Facebook一天所产生的数据量为100TB。
通常来说，大型公司比如Facebook这样的站点都会收集不同服务器上的数据，然后载入到Hadoop集群并使用MapReduce分析其结果。
MapReduce实例
以往“先存储后查询”的方法具有诸多弊端。传输不同服务器上的数据会耗费大量的带宽资源，对网络构成巨大压力。在进行数据分析之前，Facebook会丢弃80%的日志数据。通过使用这种新技术，这些数据就无需再进行传输了，更不会发生数据丢失的严重问题。
MapReduce在未来的服务器上可能将会成为一种标准配备，它将对数据进行分析并将分析后的结果传达给中央数据采集点。研究人士将这一方法称之为“in-situMapReduce(iMR)”。
iMR旨在补充而不是取代传统的集群架构，它是为了完成分布式存储系统中的日志数据和其他数据后续分析。作为一项程序，iMR能复制所有的MapReduceAPIs，并执行MapReduce相类似的功能、对过滤的数据进行命名并汇集分析结果。不同之处在于，它能基于最新数据的基础上持续进行分析。
目前，研究员已经创建了一个iMR原型，通过iMR用户可以指定需要分析处理的数据范围，比如过去60秒钟收集的所有信息。此外，用户还可以设定多久提交一次分析结果并进行传送，比如可以指定每15秒钟分析一次等。
我要评论
网友评论
评论时间：2024-05-05 06:25:02
其中，企业IT开支是重要组成部分，占全社会信息化总预算比例接近40%，成为拉动信息虚拟主机注册教程 化投资的主要动力之一虚拟主机怎么登陆 拉动信息化投资的主要动力之一
评论时间：2023-11-13 06:25:01
13.为了避免云主机可以安装手机app IDC业务发展过快，必须建立专业的IT团队，这就意味着人员招聘和培训非常重要，同时还需配备相应的计算机硬件及软件工具，以便于处理各种复办公云主机哪个好 便于处理各种复杂的事务
评论时间：2023-10-31 18:25:02
基于上述分析，我们预计公司2云电脑和云主机的区别 021年全年营收约为4虚拟主机怎么创建第二个 公司2021年全年营收约为490亿人民币(下同)，同比增长20%;归母净利润约为20亿，同比增长25%
最新文章
2023-12-25 22:44:35 admin
活动发布区版规2023-05-27 22:03:52 御风而行
容器、无服务器、虚拟机：安全性差...2023-05-27 20:43:39 1356
服务器宕机的造成原因和解决方法介...2023-05-27 20:43:25 qingym
别糊涂了！服务器与工作站的五大区...2023-05-27 19:08:41 小绵羊0123
科技巨头布局云端 服务器 网络硬...2023-05-27 18:17:46 姐姐的跟屁虫
钉钉因系统访问流量激增，宕机1小...热门阅读
2022-07-23 00:34:02 freeatom
常见ftp命令 FTP命令使用详...2022-07-21 02:17:02 ares
双硬盘组建Raid0磁盘阵列图文...2022-07-20 06:17:02 mankeung123
用友软件客户端连接不上服务器的解...2022-07-23 00:51:02 antonfxb
WebService实例2022-07-13 05:38:02 苯小孩
开发、运维不可不看的Linux调...2022-07-20 18:51:02 nightstone
如何使用Charles抓取Web...随机文章
2022-01-05 05:38:03 kimpo
快来看用户评价香港机房那个好？2022-03-12 05:38:03 kutou
服务器的配置查看方法2022-07-08 05:38:02 cobain
cms是什么，常见的cms程序有...2022-07-19 10:51:03 zhg
网站运营常见问题2022-07-19 19:00:04 red2002
Windows2003系统配置I...2022-07-19 22:17:02 wu_wang
Linux视频教程：用户管理命令...热评文章
2022-07-19 20:17:02 dengyu0429
linux vi使用及详细介绍2022-07-20 01:00:05 激动的舌头
Linux视频教程：用户管理命令...2022-07-21 20:51:02 jessica-an
创建本地FTP站点2022-02-07 05:38:03 jasonkidd
WEB服务器配置详解2022-07-20 04:51:02 wolfssss
ACL权限-默认与递归(4)2022-07-22 15:00:05 淡水珊瑚
Linux下 Samba Ser...