Kafka为什么会这么快

摘要:北京时间20200330关于【Kafka为什么会这么快】的具体情况和说明,让www.ncccsp.cn新闻频道的以图文形式为您慢慢道来。

在系统设计中,会用到消息中间件来做服务异步化,系统解耦,或者是做流量削峰,常用的消息中间件有rabbitMq,activeMq以及阿里的RocketMq等等,都各自有各自的优势,但是就吞吐量来说,kafka是其中的佼佼者。在单机情况下,网友做的对比如下:

性能对比

为什么kafka会这么快呢?发布订阅模式

一个普通的发布订阅模型如下图所示:

发布订阅模式

以kafka为例,生产者产生消息,并将消息Push到kafka集群,消费者主动去kafka集群Pull数据。这种模型有个好处,消费的速率完全由消费者控制,kafka集群类似于一个蓄水池,避免因生产者产生消息过快消费者来不及消费而导致消费者被压垮的现象。

kafka为什么快要从两方面分析,生产者产生的消息写入集群时快和消费者消费消息时从集群读取快。写入快

写入快主要是两方面原因:顺序写入和MMFile。

顺序写入

kafka将消息存储在硬盘,通常认为硬盘的读写是比较慢,但是为什么kafka快呢?平时所说的磁盘读写慢是指随机读写比较慢,因为磁盘每次随机读写都要物理寻址,这是非常耗时的操作,顺序读写的速度还是比较快的。如下图所示:

顺序写入

kafka每次收到新的消息之后都会将消息存储在尾部,按照顺序存储消息。但是消息一旦存储无法删除。

当消费者消费时也是顺序消费,每个消费者会有一个偏移量,记录当前消费的消息的位置。如下图所示:

顺序消费

MMFile

MMFile是指Memory Mapped Files,即内存映射技术。操作系统为了解决内存和硬盘读写速度之间的差异,采用了内存映射技术,内存被划分为若干页,每一页被映射到一块磁盘空间,因为内存是远远小于磁盘空间的,所以分页经常会按照一定的算法加载到内存,例如先进先出(FIFO),最近最少使用(LRU)等。内存中分页和磁盘空间对应,操作系统会在合适的时候将内存分页中的数据定时刷磁盘中去。这种方式为什么可以提高写入效率呢?通常CPU执行过程中为了安全分为内核态和用户态。只有内核态才能操作iO设备,内存空间分为内核空间和用户空间。通常内存中的数据写入到磁盘要以下几步:

write操作

数据会先从用户空间拷贝到内核空间,然后再由内核空间写入IO设备。而MMFile则省去了一次用数据从户空间到内核空间复制的开销。读取快

读取快主要是因为零拷贝(Zero Copy)技术。上面介绍到数据从内存空间写入磁盘的步骤,那么从磁盘读取数据刚好相反,具体过程如下:

read操作

数据先从磁盘读取到内核空间,然后再从内核空间复制到用户空间,然后再到Socket,最后传输到消费者。

Linux提供了一种sendFile系统调用,可以将数据直接由磁盘拷贝到内核空间。省去了一次数据从用户空间到内核空间的复制。这就是所谓的零拷贝技术。

上面从读写两个角度分析了为什么kafka吞吐量高,其实还有一个重要的原因。批量数据压缩

kafka不会对每个消息都做压缩,而是对一批消息压缩,然后将数据统一发送。将所有的消息变为一个批量文件,然后直接丢给消费者。

综上所述,kafka通过MMFile技术快速将数据顺序写入磁盘,在读取时通过零拷贝技术快速读取,然后通过批量数据压缩将数据传输到消费者。这就是kafka快的秘诀。然而鱼与熊掌不可兼得,速度和可靠性不可能同时满足,需要根据实际业务情况在二者之间作出取舍。例如当用kafka做日志聚合和网站用户行为分析时速度要比可靠性重要,而在某些消息不允许丢失的场景,可靠性可能是首选。


查看更多

实时推荐

呼和浩特市食品检验所完成检验检测机构资质认定扩项评审工作
推荐 2020-05-26 21:34 177 6981
泸州市江阳区赴凉山州盐源县送优质就业扶贫岗位
推荐 2020-05-26 21:34 292 7965
好生街道:全员发动齐上阵,攻坚克难助创城
推荐 2020-05-26 21:34 194 7767
吴君如不是很瘦?穿条薄纱裙选的加大码,身段完全被遮住了
推荐 2020-05-26 21:34 567 6592
安徽省淮北卫校2020年招生简章
推荐 2020-05-26 21:34 334 5447
开封市召开2019年度依法行政考核工作部署会
推荐 2020-05-26 21:34 126 9658
多地公布暑假放假时间!湖南这8个市州放假时间是…
推荐 2020-05-26 21:34 307 1305
秦惠公时期的中原,暴雨将至,天越沉闷
推荐 2020-05-26 21:34 472 7036
公交夏令时今日启用!部分线路调整
推荐 2020-05-26 21:34 411 5339
冷水江人大:积极开展消费扶贫活动
推荐 2020-05-26 21:34 101 7047
“爱成都 迎大运”成都市举办第五届525心理健康系列主题活动
推荐 2020-05-26 21:34 228 7928
又签一位国手,新疆女篮持续补强,有望冲击WCBA总冠军
推荐 2020-05-26 21:34 754 4959
县委书记黄波率队到六枝特区考察水产养殖、食用菌产业发展情况
推荐 2020-05-26 21:34 819 1667
恰逢少年都归来,策马扬鞭奋进时 ▏广东省肇庆市三、四年级学生顺利返校
推荐 2020-05-26 21:34 823 2739
原创 年少成名后父母双亡,千万遗产一夜散尽,精神失常的他如今怎样?
推荐 2020-05-26 21:33 762 8126
肖战与词牌名造型无争议!汪海林怼完肖战,又杠上蔡徐坤粉丝?
推荐 2020-05-26 21:33 124 1899
传闻中的陈芊芊被演活了?赵露思演技获得认可!
推荐 2020-05-26 21:33 646 5884
TVB绿叶演员以黑影客串《降魔的2》成焦点 直言不介意戏份少
推荐 2020-05-26 21:33 127 7839
桌游店推出"疫情主题"剧本杀 玩家当场泪崩
推荐 2020-05-26 21:33 127 794
这应该是《极限挑战》不更换施嘉宁的真正缘故吧
推荐 2020-05-26 21:33 477 1591
比格利亚:想看梅西带领阿根廷夺得世界杯冠军
推荐 2020-05-26 21:33 485 8074
帅位无忧!曼联高层力挺索肖 目标力争英超冠军
推荐 2020-05-26 21:33 153 9923
全长137公里,湖杭铁路力争2022年初全线铺轨
推荐 2020-05-26 21:33 166 4392
原创 刘昊然是一个温柔细心的男孩子,同时也是一个很努力的艺人
推荐 2020-05-26 21:33 403 7792
全省首家州(市)级“涉侨法律服务工作站”在楚雄挂牌成立
推荐 2020-05-26 21:33 916 7281
中铁建兰草坝项目规划公布,贵阳又一个城市综合体即将面市
推荐 2020-05-26 21:33 530 7955
威利斯版jeep自由侠亮相!专属涂装+1.4T动力,炫酷不输吉姆尼!
推荐 2020-05-26 21:33 496 5975
原创 “巴啦啦小魔仙”演员现状,严莉莉拍剧,凌美琪当网红,她搭档胡一天走红
推荐 2020-05-26 21:33 966 1834
《生命火花》范文芳演娇妻受辱惨死,关礼杰英雄痛不欲生
推荐 2020-05-26 21:33 287 9250
赵丽颖的《有翡》,冯绍峰的《山河明月》,你更期待哪一部?
推荐 2020-05-26 21:33 223 9895
在婚姻中,白羊座、处女座、水瓶座非常专一,是好男人
推荐 2020-05-26 21:33 856 547
市民举报路边种植罂粟! 警方调查原是乌龙一场
推荐 2020-05-26 21:33 806 9822
原创 这几部动漫都被名字给耽误了,JOJO居然也算,起个好名字难么?
推荐 2020-05-26 21:33 499 5998
胡歌最经典的六部电视剧,第一花落谁家?
推荐 2020-05-26 21:33 734 9834
原创 《跑男》最不后悔请的明星,图一舍不得,最后一个不会再参加
推荐 2020-05-26 21:33 551 7418
20年前,让赵薇集齐与小虎队合作的一部电视剧,你看过吗?
推荐 2020-05-26 21:33 300 8150
用上亿游艇博美人一笑?赌王之子疑恋港姐冠军,奚梦瑶都没这待遇
推荐 2020-05-26 21:33 264 5030
年报披露不真实 海越能源及有关责任人被通报批评
推荐 2020-05-26 21:33 763 4567
开放式婚姻,射手座、天蝎座双子座可以接受
推荐 2020-05-26 21:33 930 6261
滨州高速交警支队持续组织开展集中整治统一行动 净化交通环境
推荐 2020-05-26 21:33 329 3525
神木一大型矿井停产!煤价上涨16元/吨!神木19个煤管站将要撤销
推荐 2020-05-26 21:33 807 4123
人生赢家!23页情书,11万美金,乔丹情商不输球商!
推荐 2020-05-26 21:33 645 5545
难怪吴君如不爱穿露肩长裙,胳膊也太壮实了,驼背也有点明显!
推荐 2020-05-26 21:33 701 9347
中铁沈阳局:让特种设备坐专列去工地
推荐 2020-05-26 21:33 785 2613
咸亨国际拟A股IPO,主营业务毛利率呈逐年下滑趋势
推荐 2020-05-26 21:32 844 3294
原创 有种“整容”叫阿娇离婚,不再备孕专心减肥,瘦20斤美出新高度
推荐 2020-05-26 21:32 557 7659
原创 刘昊然的气场很强,很有礼貌,并且真的很幸运懂得珍惜
推荐 2020-05-26 21:32 805 9623
原创 杨紫并不需要任何人的保护,她比粉丝想象的更坚强
推荐 2020-05-26 21:32 375 5823
原创 只有老二的实力,却强行要当老大,搞得半个联盟都为他尴尬!
推荐 2020-05-26 21:32 782 8138
原创 虞书欣孟美岐同穿“线条衣”,效果却差3条街,买家秀和卖家秀的区别
推荐 2020-05-26 21:32 700 9767
《海角七号》表演指导“三金影帝”吴朋奉 26日传出逝世消息
推荐 2020-05-26 21:32 201 8652
5月份正式杀青的5部电视剧,你最想看的是哪部剧呢?
推荐 2020-05-26 21:32 605 6918
向太发文疑似承认儿媳妇郭碧婷怀孕,终于修成正果了
推荐 2020-05-26 21:32 219 8826
岁月匆匆而过,国民女神冯提莫不畏将来,依旧筹划美好未来
推荐 2020-05-26 21:32 422 5652
原创 在纷乱的娱乐圈中,杨紫依然保留初心,真诚低调努力,真的很难得
推荐 2020-05-26 21:32 210 3561
原创 《青春有你2》现最大黑马!排名超过许佳琪,但粉丝要求太卑微……
推荐 2020-05-26 21:32 574 747
明星追星哪家强?关晓彤熬出头,杨颖坐地不起,只有她嫁给了男神
推荐 2020-05-26 21:32 876 6415
原创 45岁李玟和佘诗曼同框,同龄人却像母女,网友:发际线惹的祸?
推荐 2020-05-26 21:32 449 4753
都说李宇春没有女人味,当李宇春换上低领短裙,这气质谁扛得住
推荐 2020-05-26 21:32 173 4971
原创 明星全靠一道光吧?叶璇离开打光好黑啊,全身上下看不到明星样!
推荐 2020-05-26 21:32 581 9943
【智慧检务】通许检察:“云”上监督出庭公诉 剑指开设赌场犯罪
推荐 2020-05-26 21:32 310 4762
无证驾驶!男子谎称尿急逃检查,还用副驾驶证件糊弄交警
推荐 2020-05-26 21:32 206 5682
郑爽新言论被批“毁三观”:成年人,请重视你低欲望的人生
推荐 2020-05-26 21:32 565 7285
阿克苏薄皮核桃树第二遍水多久放合适?
推荐 2020-05-26 21:32 874 1666
原创 还记得《搜神传》中的好彩妹吗?如今“过度发育”差点认不出,简直美到犯规
推荐 2020-05-26 21:32 703 5233
贵阳市人社局赴贵安新区调研就业扶贫工作
推荐 2020-05-26 21:32 478 2023
茶山举行百姓宣讲特训营:培育宣讲尖兵,讲好茶山故事
推荐 2020-05-26 21:32 134 5909
肖战保镖拦住一拨人,并不是所说的路人!
推荐 2020-05-26 21:32 932 4384
《向往的生活》开播,张子枫被吐槽没综艺感,你怎么看?
推荐 2020-05-26 21:32 595 5458
赵丽颖《有翡》已杀青,高颜值阵容必追,看到播出集数不淡定了
推荐 2020-05-26 21:32 575 9658
原创 肖战2万字采访杂志被疯狂抢购!内心世界独白,解读狂野不羁的他
推荐 2020-05-26 21:32 354 4511
原创 看完想锤导演的穿帮镜头,火凤凰没啥,马天宇吃泡面太过分了!
推荐 2020-05-26 21:32 870 3690
原创 “公司包装”有多强,蔡徐坤的变化小菜一碟,看到Lisa:佩服
推荐 2020-05-26 21:32 918 1000
地震来了 我不怕
推荐 2020-05-26 21:32 651 2161
8.8分《风筝》幕后:导演现场骂演员是混子,为省时坐马桶上吃饭
推荐 2020-05-26 21:32 154 1948
黄磊两个女儿风评差太多,妹妹涂指甲油反而被夸,多多干啥都是错
推荐 2020-05-26 21:32 105 1214
何猷君曾爆料家产早就分配好,何猷君能分到多少家产?5000亿财富谁获利最大?
推荐 2020-05-26 21:32 588 8414
爵爷也有走眼时 ? 曝亨利当年首选曼联 弗格森一口回绝
推荐 2020-05-26 21:32 805 2679
贝克汉姆一家颜值真高,儿子简单穿衣酷帅有型,小七肉嘟嘟忒可爱
推荐 2020-05-26 21:32 501 9633
原创 林志颖妻子陈若仪谈婚姻时委屈落泪:幸福婚姻的背后,冷暖自知
推荐 2020-05-26 21:32 221 5503
博泰斥资 2.5 亿打造智慧移动集市,和车联网有什么关系?
推荐 2020-05-26 21:32 130 7108
国足封闭热身仍被“偷看” 有人花费百元远眺观战
推荐 2020-05-26 21:32 766 2793
广西宜州,稔子花开艳山坡
推荐 2020-05-26 21:32 233 4288
骑行天池寺 赏游翠华山
推荐 2020-05-26 21:32 528 4721
王者荣耀:还在把项羽当辅助?对抗路项羽带飞教程来了!
推荐 2020-05-26 21:32 181 6774
对婚姻非常用心的四大星座
推荐 2020-05-26 21:32 237 7871
这件事近期已发生多起,家长们务必注意!
推荐 2020-05-26 21:32 588 2879
好吃的炸油饼——妈妈的味道
推荐 2020-05-26 21:32 847 7652
遍访五大洲试镜上千人,刘亦菲凭什么独占鳌头拿下《花木兰》?
推荐 2020-05-26 21:32 895 9827
熊熊喝喜酒穿搭颜色很有礼貌 顾到重要细节懂尊重新娘
推荐 2020-05-26 21:32 150 7902
原创 徐峥也管不住了?陶虹参加晚宴,“断崖式”礼裙让人不敢直视
推荐 2020-05-26 21:32 339 3769
原创 范丞丞加入风华秋实,成为了鹿晗同事,网友:怎么不去投靠他姐姐?!
推荐 2020-05-26 21:32 803 7876
法兰西之夏
推荐 2020-05-26 21:32 451 4803
私生活非议颇多,张雨绮仍渴望C位,网友:真不消停
推荐 2020-05-26 21:32 780 7046
时髦不是花枝招展,而是基本款也能穿出高级感!
推荐 2020-05-26 21:32 722 4257
让案件更有“温度”:债务纠纷起冲突,公开听证化干戈~
推荐 2020-05-26 21:32 170 4302
铜仁94万人走上茶业致富路
推荐 2020-05-26 21:31 919 5244
NBA有哪些贫民窟出来的巨星?詹姆斯艰难生存,艾弗森曾睡下水道
推荐 2020-05-26 21:31 740 8678
马绩效:伊卡尔迪还有很大成长空间,他会找到合适的球队
推荐 2020-05-26 21:31 834 2711
不超3%!青岛惠城环保大股东拟减持公司股份
推荐 2020-05-26 21:31 301 2171