欢迎来到飞鸟慕鱼博客,开始您的技术之旅!
当前位置: 首页知识笔记正文

分布式计算平台框架

墨初 知识笔记 155阅读

分布式计算框架的架构设计有什么好处?

对于三种分布式框架,虽然都是基于主从结构对框架展开的,但是在细节上不同分布式计算框架的结构还有不同的。 一个好的架构设计不仅会让框架后期更好维护,而且对于开发者来说也更容易对框架的运行机理更容易掌握,可以在性能上进行优化 [10] 。

未来分布式计算框架性能如何提升?

2) 在未来的分布式计算架构中,计算模式也会更加优化,从当今分布式计算框架可以看出从批量计算的Hadoop到流式计算Storm然后到函数式编程的Spark。 通过一个良好的计算模式,让开发框架上的应用程序更加容易、便利。 3) 分布式计算框架的基础架构也会一定程度上展开研究,用来支撑上层的分布式计算过框架。 在大数据计算中,分布在不同机器上的数据的传输花费较大的代价,所以基础架构的发展也会促进分布式计算框架性能上的提升。

什么是Storm分布式计算框架?

Storm分布式计算框架是由Twitter提出由类Lisp语言开发推出的一个用来处理实时的 大数据 的基于流式计算的分布式框架。 它的出现在一定程度上结局了Hadoop框架中的延迟比较大,后期程序运维复杂等特点,而且它还有Hadoop所不能支持的实时性、流式计算等特点。 对一些实时性的数据分析,Storm具有非常高的效率。 Storm相比较于Hadoop,Storm拥有更多的功能组件,但是其主要功能是基于Nimbus和Supervisor两个功能组件展开,通过Zookeeper对组件进行生命周期的监视。 Nimbus类似于Hadoop的JobTracker负责任务的分配与监视每个任务的状态;Supervisor是在每个工作机器上都部署,它负责监视这台机器并负责这台机器上工作进程启动。
声明:无特别说明,转载请标明本文来源!