视讯!大数据计算引擎MapReduce、Storm、Spark、Sparkstreaming、Flink到底哪家强?
自大数据的概念被提出以来,企业对于数据信息变为数据资产的诉求越来越
2023-06-28自大数据的概念被提出以来,企业对于数据信息变为数据资产的诉求越来越强烈,进而在技术领域出现了很多大数据计算引擎服务,最著名、使用最广的莫过于MapReduce、Storm、Spark、Sparkstreaming、Flink了。它们都是在不同的时代背景下所产生的,又是为了解决每个阶段所不能遇到的难题而新出现的解决方案,那么它们到底是什么呢?我们今天一一的来看看这些计算引擎宝贝们~
从处理的时间来看,我们可以把大数据计算引擎划分为离线计算、实时计算两类,离线计算一般是T+1的延迟,实时计算一般是秒级或毫秒级的延迟;从处理的数据量来看,我们可以把大数据引擎划分为流式计算、批量计算两类,流式计算是一次来一条处理一条,批量计算则是一次来多条处理多条。MapReduce、Spark属于离线计算、批量计算引擎,Storm、Sparkstreaming、Flink属于实时计算、流式与批量并存的计算引擎。
给计算引擎宝贝们分好类之后,我们一个个的来看看它们的绝技。MapReduce是大数据计算引擎的开山鼻祖,自Google著名的三篇论文发表之后,大数据处理开始流行起来,很多企业都使用Hadoop三件套MapReduce、HDFS、YARN来进行大数据的处理任务,所有的数据在进行处理前会划分成大小相同的数据,经过Map模型初次处理数据,得到中间结果,再经过Reduce模型二次处理中间结果数据,最后得到分析数据,存储在HDFS。在该模型中,存在两个问题:
(资料图)
1、模型简单,对于复杂的处理任务不好支持。对于复杂的统计分析任务,在MR模型中就需要经过多次转换成中间结果,尤其是人工智能、深度学习类需要多次计算的场景就更不好使了;
2、不能有效的利用内存,在MR模型中所生成的中间数据都是存储在磁盘中的,每次数据进入磁盘,再从磁盘读取出来,非常的耗费IO,时间延迟太长了。因此Spark出现了。
Spark是升级版的MapReduce计算引擎,在Spark中引入了RDD弹性分布式数据集(ResilientDistributedDatasets),在Spark中多个计算任务可以并在1个RDD里进行,假设我们的数据是存储在HDFS当中,当要进行数据处理时,我们先把数据划分成为多个大小相同的数据,一组任务是一个Stage,在Stage1阶段进行Map计算,产生中间结果(RDD1),在Stage2阶段进行Reduce计算,产生中间结果(RDD2),在Stage3阶段再将之前阶段的结果关联起来(RDD3),最后给到Actions将RDD计算结果给到业务呈现。
在Spark模型中,它支持复杂的计算模型(支持多个Stage),也优化了磁盘性能问题(每个数据集任务都被抽象成RDD进行计算,存储在内存中),以至于有人说Spark会取代MapReduce。在Spark模型流行了一段时间后,互联网企业们对于数据的要求变得越来越高了,他们希望更快的得到数据分析结果,所以实时计算应运而生。
最先出现的实时计算框架是Storm,在Storm中有spout管口、bolt处理器、tuple元组的概念,spout负责从数据源接收数据tuple,按照一定的规则下放给到bolt进行处理,处理结束之后由数据库存储相应的结果。Storm处理模型中存在高可用和数据准确性问题,所谓高可用指的是spout节点挂掉了,数据计算任务怎么办?
在MapReduce中数据挂掉了之后会重启Map模型,而在Storm中也有一个对应的ACK机制,bolt接收到数据之后返回确认,处理完数据后返回确认,数据库存储数据后返回确认,基本要三轮确认后整个处理任务才算完成了;所谓准确性指的是数据重复处理问题,比如在数据处理过程中,处理节点bolt1处理完数据之后,发送给了接收节点bolt1,但接收节点bolt1还没来得及确认,处理节点bolt1挂掉了,处理节点bolt2继续重复处理bolt1的数据,从而导致在整个任务中数据是有冗余的。在Sparkstreaming中针对这两个问题,提出了对应的解决方案。
Sparkstreaming是Spark的升级版本,在Sparkstreaming使用RDD模型将每次处理的数据转换成1个数据集进行处理,减少了每次ACK的开销,提高了效率,并通过exactlyone精准消费一次模型来保障数据的重复处理问题。它联同分布式消息队列Kafka(生产者消费者使用事务ACID模型来保障了数据消费和更新的原子性)在消息发送处、消息接收处实现了exactlyone。在Sparkstreaming中存在的问题是每次处理的数据量都是小批量的,如果我们想实现更小颗粒度的数据处理,就没有办法了,但这时候Flink应运而生。
Flink通过分布式快照snapshot快照模型来实现数据按条处理,在整个数据处理任务当中,snapshot快照模型对每次操作都进行拍照,记录当时处理现况,当处理发生故障时,Flink则停止当下处理,找到最近一次快照,把数据流恢复到当时的处理节点,让业务按照当时处理情况继续处理。并且为了更高效的处理任务,Flink还提供了Window窗口模型,支持用户自定义每个窗口需要处理的数据或时长。
在本文介绍了MapReduce、Storm、Spark、Sparkstreaming、Flink五款大数据计算引擎如何处理大数据计算任务,各自的特点,所解决的问题,其实并不是说能解决最多问题的就是最好的,在采用大数据计算引擎之前,应当结合自己的业务特点、数据诉求,综合开发成本、维护成本,再决定采用哪一款,最合适的才是最强的。
标签:
自大数据的概念被提出以来,企业对于数据信息变为数据资产的诉求越来越
2023-06-28本报记者李健河北省邢台市平乡县高度重视“三夏”生产工作,县委、县政
2023-06-28青春由磨砺而出彩,人生因奋斗而升华建林箴言(六十四)作者任建林推荐
2023-06-28伊朗国家天然气公司(NIGC)首席执行官马吉德?切格尼表示,随着与土库
2023-06-28出金率最高的箱子推荐,csgo租刀平台app哪个好?csgo开箱网站下载?以下
2023-06-28来为大家解答以上问题,xp系统下载纯净版64位,xp系统下载排行很多人还
2023-06-28四川新闻网-首屏新闻宜宾6月28日讯(记者乔永祯摄影报道)6月28日,成
2023-06-28原标题:【蓉火向前冲】火炬手冯喆:在成都领略体育之美,享受运动之乐
2023-06-28来为大家解答以上的问题。上边斌下边贝念什么,一个斌一个贝念什么这个
2023-06-28据《邮报》报道,安切洛蒂已经和埃弗顿俱乐部达成庭外和解。这位意大利
2023-06-281、太平鸟男装主要分为黑科技系2、列和IP联名系列,黑科技系列主要是在
2023-06-28近日,艺术家倪志琪个展《凝固、漂移与岛屿》在两江新区金山意库壹集正
2023-06-28宋士芳京胡音乐演奏会,关于宋士芳京胡音乐演奏会介绍这个很多人还不知
2023-06-28四川新闻网-首屏新闻成都6月27日讯(记者戴璐岭)6月26日,由蜀道集团
2023-06-28美国以“国际警察”自居,让别国遵守规则,实则从美国利益出发,不讲公
2023-06-282023年自动化上市公司概念有哪些?(6月28日),2023年自动化上市公司概
2023-06-28河南日报记者胡舒彤毕业季,对即将步入社会的高校毕业生来说,能享受哪
2023-06-28OpenAI发布了iOS版的ChatGPT应用,今日该应用又推出了一个新功能,即集
2023-06-281、发酵蛛眼(FermentedSpiderEye)是一种用于酿造拥有负面效果的药水材
2023-06-281、《标准化基础知识实用教程》是2010年10月1日中国标准出版社出版的图
2023-06-28原标题:这是个离“光”特别近的地方,仿佛伸手就能摸到太阳,一群人在
2023-06-28hello大家好,我是大学网网小航来为大家解答以上问题,最佳宝贝评选,
2023-06-282023成都中考成绩查询网站进不去怎么办?避开高峰期,错峰查询即可请选
2023-06-28“我们处在复杂变化的时期,当前的经济复苏不断受到诸多因素影响。同时
2023-06-271、合肥瑶海区蹦极:位于安徽省合肥市瑶海区胜利路光大国际广场;2、合
2023-06-27梦网科技:关于控股子公司拟实施股权激励计划的公告
2023-06-27伴随着国际油价重心的小幅走高,国内成品油零售限价也将迎来小幅上调。
2023-06-27据知情人士表示,谷歌正在为三星搭建软件操作系统,包括用于头显的安卓
2023-06-27科教新报 新湖南客户端讯(通讯员郭洪戎覃业彦)“好消息,好消息,我
2023-06-27南方财经6月27日电,创元科技公告称,公司参股公司创元期货基于资本市
2023-06-271、国外往国内寄东西,地址中英双语最好都要,英语为主中文为辅(主意下
2023-06-27什么是师德?每一个人都有不同的理解。6月25日,胜利大街小学四年级大
2023-06-27天风证券06月27日发布研报称,给予迪阿股份(,最新价:元)买入评级。
2023-06-276月27日,上海市人民检察院与上海市应急管理局联合通报2020年以来本市
2023-06-27浙江海宁,高考结束后,执勤辅警苏俊良在考场外和儿子温情拥抱。儿子高
2023-06-27脾胃虚弱有6个等级,快来看看你是哪一种?中医常说:脾胃乃是后天之
2023-06-272023年高考成绩陆续公布,各省份一分一段表也在陆续出炉,点击下方列表
2023-06-27售价3000元左右的某品牌面霜,用完后空瓶能卖300元左右。近日,记者调
2023-06-27仲夏六月,骊歌唱响;奔赴山海,梦想启航。6月,又是一年繁花盛开时,
2023-06-276月25日下午,衡阳开放大学举行“七一”表彰大会,该校党委书记尹军以
2023-06-271、根据目前关于退休的条件要求,该种情况是不能办理退休手续的:《社
2023-06-27开奖回顾:福彩双色球第2023072期奖号为:020610242533+09,红球三区比
2023-06-27为深化实施集团“1+9+3”战略规划体系,充分利用调查研究推动企业高质量
2023-06-276月19日至24日,第十八届世界青年蹼泳锦标赛在埃及开罗举行,16岁的吴
2023-06-27韩国政府声称日本核污染水排海被认为是最现实方案,网友斥责。
2023-06-27以下是紫天科技在北京时间6月27日10:46分盘口异动快照:6月27日,紫天
2023-06-27为期5天的第28届上海电视节日前落幕。中断了一年的上海电视节线下会展
2023-06-27根据晋安区委区政府全力做好安全工作的指示精神和安全生产管理工作要
2023-06-27转载请注明出处及微信号猪猪日部落微信号:SUBPIGClub猪猪日剧字幕
2023-06-271、01约会的时间要选择好,最好定在周末,大家都有空,一来不会一方临
2023-06-27技术进步、气候变化和地缘政治紧张局势改变了全球制造业格局。《制造业
2023-06-27当地时间26日晚,俄罗斯总统普京发表电视讲话,对全国民众和俄罗斯社会
2023-06-27北海是中国著名的海产品加工基地之一,出产的海味种类繁多,包括鱿鱼丝
2023-06-27联合国难民署26日发布的预测报告显示,2024年全球将有超过240万难民需
2023-06-27NLP发展史2001-Neurallanguagemodels(神经语言模型)Bengio等人在2001
2023-06-271、2017年的标志,30086T的排量车型,目前在二手市场上的价格大约是新
2023-06-271、《庄子·外物》:“庄周家贫,故往贷粟於监河侯。2、监河侯曰:‘诺
2023-06-27□朱子钰近期,一家主题乐园独辟蹊径,在激烈的市场竞争中杀出了一条爆
2023-06-266月17日以来我省出现了降雨集中期累计雨量大短时雨强大雷电活动频繁其
2023-06-261、最低0 27元开通文库会员,查看完整内容>原发布者:鲨堡故人参加面试
2023-06-26没有人喜欢总是有人看着他的肩膀,但是浏览一段时间然后偷看Cookies文
2023-06-26新款宝马X5此前已经发布,日前有网友拍到了一组新款宝马X5的海外实车。
2023-06-26正强股份:关于召开2023年第二次临时股东大会的通知
2023-06-26餐后血糖主要是指餐后2小时的血糖。从第一口到饭后第二小时正常值在7 8
2023-06-26井冈山茨坪革命旧址群,井冈山茨坪住宿这个很多人还不知道,现在让我们
2023-06-26有记者问近期美方以涉芬太尼问题为由宣布起诉部分中国企业请问中方对此
2023-06-26北京市气象台2023年6月26日16时55分发布高温黄色预警信号:预计,27日
2023-06-26生育医疗费和生育津贴一样吗?有什么区别的?随社保网小编来看看。生育
2023-06-262023珠海金湾区公办幼儿园招生报名情况一、报名情况2023年秋季金湾区公
2023-06-26忘记光猫管理密码怎么办?光猫是现代宽带接入的主要设备之一,在家庭和
2023-06-26刚刚,据甘肃省酒泉市金塔县公安局通报,6月26日8时许,金塔县一卤肉店
2023-06-26虽万般期待,寻子22年的雷武泽还是没能见上儿子川川一面。6月26日上午
2023-06-26以下是若羽臣在北京时间6月26日14:42分盘口异动快照:6月26日14点42分
2023-06-26与广东人的夏季关联最密切的水果必然是荔枝。三月红、妃子笑、白糖
2023-06-26房贷利率再降!首套低至3 6%,贷款百万比四年前少还14万,房价,贷款,买
2023-06-26来为大家解答以上问题。用手机怎么设置路由器怎么设置,用手机怎么设置
2023-06-261、孟楠和常磊不是夫妻。2、孟楠的丈夫是常。3、常磊是安徽的画家。本
2023-06-26海报新闻记者汤淼屈晨晨烟台报道“烟都戒不掉,更何况毒品。”“因为吸
2023-06-26《闪电侠》北美上映第二周,周末3天收1530万美元,较首周跌幅72 5%,是
2023-06-26制图 霍雨佳人民网北京6月25日电据湖南省教育考试院消息,今天,湖南省
2023-06-25SeeColors模式是针对色盲人士的画质校正功能,可以分三个阶段调节屏幕
2023-06-25请善待厨子,来自朱重八的一封信危机算是告一段落了,瓦格纳雇佣兵集团
2023-06-25“我们位于观景天桥上方,眼前是宏伟的青铜峡水利枢纽工程——拦河大坝
2023-06-25据日本共同社报道,日本总务省专家组表示将于今年内全面禁止销售合约手
2023-06-252022年10月,浙江省绍兴市公安局越城区分局根据自然资源部门移送案件,
2023-06-25前段时间,北京的女朋友跟我推荐一个著名舞团的现代舞表演,她赞不绝口
2023-06-25活动现场。董强摄6月24日下午,中建八局南方分公司融福路No 5-1标项目
2023-06-25端午小长假收官,文旅消费叠加暑期开启“升温”模式。
2023-06-25国瑞科技最新股东户数2 93万户,呈现连续4期上升,低于行业平均水平。
2023-06-251、O形圈的标准主要有国标GB1235-76,国标GB3452 1-92;日标PTYPE,GTYPE,STYPE
2023-06-25日前,在第21届CPHI展会天然提取物展区现场,成都欧康医药股份有限公司
2023-06-25卓创资讯棉花市场高级分析师刘杰【导语】随着高温、高湿的传统淡季到来
2023-06-25(王婷婷杨唐宁)由南京市六合区文化和旅游局、南京市六合区马鞍街道办事
2023-06-25你需要的东西大号长方形纸板箱工具刀方形纸板箱统治者铅笔喷涂底漆
2023-06-251、《有机磷农药膳食暴露风险评估生物学机制模型研究》是依托东南大学
2023-06-25IT之家6月25日消息,谷歌Chrome浏览器宣布升级内置的PDF阅读器,可以通
2023-06-25新华社北京6月24日电外交部发言人24日就美方以涉芬太尼问题逮捕和起诉
2023-06-251、1 秦岭—淮河是800毫米年等降水量线的界限。2、秦岭—淮河以南降水
2023-06-25官方:切尔西与17岁牙买加国脚理查兹签约,下赛季成年后正式加盟,国脚,
2023-06-25机构指出,除了人形机器人,更加看好“机器人+”时代到来——具身智能
2023-06-25Copyright © 2015-2022 大西洋水产网版权所有 备案号:沪ICP备2020036824号-2 联系邮箱: 562 66 29@qq.com