首页 >原创文章 >技术应用 > >查看文章

K8s,Hadoop,Spark,Zookeeper,Elisticsearch,Kafka,Redis等等都是些什么?

所属分类:技术应用来源: 丁老师原创更新时间:2025-02-16 15:20IP属地: 重庆
点击阅读全文

有同学问到,在java程序员招聘时,常被问到什么k8s,hadoop,zookeeper,elisticsearch,kafka等等名词,什么乱七八糟的,根本不知道是些什么东西,这些到底是什么啊?今天丁老师来给你解答。

其实这些都是java的中间件,主要用于分布式计算、大数据等,并且即使在对应的领域(如分布式计算,也有不同的用途),具体如下:


K8s
k8s是Kubernetes的简称,其实就是一个容器管理工具,所谓的容器,就是不同的应用环境,k8s提供这些容器单独管理,互相可以通信,但谁也不妨碍谁,遇到故障也可以快速更新或替换容器。
一般大项目才用,中小项目用不到也不需要用。


Hadoop
hadoop主要用来处理大数据的,支持GB到PB,可以对大数据高校快速的处理,一般中小项目用不到。


Spark
spark和hadoop一样,也是主要用来处理大数据的,只不过中间结果存储在内存中,减少对磁盘的读写,处理速度比hadoop要快。但是过于依赖内存,处理小文件时,性能不如hadoop。大型项目才用的到。


Zookeeper
zookeeper是一个分布式协调管理员,帮助一群服务器一起高效有序的工作,主要是协调顺序、共享信息,用于分布式架构中,解决数据一致性和协调服务的问题。是Hadoop和Hbase的重要组件,一般中小项目用不到。


Elisticsearch
elisticsearch是大数据搜索引擎,可以用来对大数据进行搜索查询。实时查询、分布式、可扩展,并且支持文本、日期、数值等查询,还支持全文搜索、分词、排序、聚合等功能。一般中小项目用不到。


Kafka
kafka也是处理大数据的,只不过是处理实时数据流,支持高吞吐量的数据读写,和hadoop不是一种类型的系统,不过经常一起使用,以处理不同的数据。比如用kafka接受实时数据流,然后存储起来让hadoop进行处理。一般中小项目用不到。


Redis
redis是本地存储程序,常用作本地缓存、消息代理和实时分析,支持各种数据结构,是各种高吞吐高并发访问的必备缓存中间件,可以明显减少对数据库的查询和依赖,提升web性能,广泛应用于各种系统中。大中小项目必备。

dls6.jpg

相关文章

使用photoshop编辑文字时,弹出的文字...

今天有同学在群里提问,在使用photoshop编辑文字时,经常会弹出一个文字选择的面板如图:这时文字也无法输入,也无法取消和关闭,很是烦人,怎么取消这个功能呢?经过丁老师研究,方法很简单:1.打开photoshop菜单-编辑2.选择首选项-...

使用phpmailer的一些经验及注意事项

经常使用Phpmailer来发信,作为事件的通知渠道,遇到过各种情况的问题,总结了一些经验和注意事项分享给大家:1.phpmailer使用ssl发信,无需在服务器中开启任何端口,无需在防火墙中开启端口;2.出现SMTPError:Could...

解决Xcode 15在Mac Os Seq...

在开发苹果IOSAPP时,遇到了个问题。最近把我的macos更新到了Sequoia版本,然后xcode15居然不能用了(囧),查了很多资料,发现原来是Sequoia不支持xcode15,这可怎么办呢,没必要因为这个重装系统啊,在经过仔细研究...

mysql查询中文排序不准的问题解决

使用mysql在查询数据,涉及使用中文排序时,出现了排序结果不对的情况,如图:select * from area order by name asc;由上图可见,排序结果是乱的,并不是根据拼音ABCD按顺序排序的,引起这样的原因是为什么呢...

推荐文章

二维码可以存储多少个信息?

二维码码有三个参数:数据类型、大小(“像素”数)和纠错级别。能存储多少信息也取决于这些参数。例如,纠错级别越低,可存储的信息越多,但代码越难被读者识别。最大尺寸和最小纠错值如下:最大字符数7089个字符(纯数字)字母数字4296个字符(字母...

fontawesome所有图标class类名...

fontawesome所有图标class类名单,适用于4.7.0版本。总计有593个图标class类(包含别名):fa-500pxfa-address-bookfa-address-book-ofa-address-cardfa-addre...

windows11右键恢复经典模式的方法[亲...

windows11更新后,不管是桌面的右键,还是文件上点右键,都非常地别扭,而且也非常的卡顿。在网上找了一堆方法,都不管用,经过不懈努力,终于找到了真正能恢复经典版右键的方法。废话不多说,具体方法如下:1.以管理员方式运行CMD。打开后,在...

关闭edge浏览器自带image viewe...

挺不错的浏览器,强加入了edgeimageviewer图片浏览器,感觉不是那么好,对于开发者来说,更想要原生的东西。包括微信网页版里的表情图片,用edgeimageviewer打开的话,无法保存为gif格式,即使保存了,也只是第一帧静态的。...

QQ咨询微信咨询