flink和spark对比,spark比较

flink和spark对比,spark比较

1、技术理念不同：Spark的技术理念是使用微批来模拟流的计算，基于Micro-batch,数据流以时间为单位被切分为一个个批次，通过分布式数据集RDD进行批量处理，是一种两者大同小异。相较于Spark的SQL引擎的成熟，Flink还有不少的提升空间。

对比Flink和spark streaming的cluster模式可以发现，都是AM里面的组件(Flink是JM,spark streaming是Driver)承载了task的分配和调度，其他container承载了任务的执行(Flink是TM,spark1、Spark在运行时的主要角色包括：Master、Worker、Driver、Executor。2、Flink 在运行时主要包含：Jobmanager、Taskmanager和Slot。3.3 任务调度1、Spark S

1.Spark采用Scala开发实现，但Spark提供其他语言的API,比如：Java,Python等等。2.Flink采用Java开发实现，但Flink也提供了其它语法的API,比如也提供了Scala的API。Spark和Flink架构方面区别Spar所以，flink和spark的目标差别并不大，他们最主要的区别在于实现的细节。后面我会重点从不同的角度对比这两者。Apache Spark vs Apache Flink 1.抽象Abstracti

一、Spark与Flink几个主要项目的对比与分析1.性能对比测试环境：CPU:7000个内存：单机128GB 版本：Hadoop 2.3.0,Spark 1.4,Flink 0.9 数据：800MB,8GB,8TB 算法：K-means:以空间中Kspark依据宽依赖将各种transform划分为不同的stage,每个stage中的task组成taskset,一起调度执行。flink的operator可以组成任务链，任务链中的一组operator称为Task,被统一调度在某