智讯网 智能科技与电子数码

流处理和批处理的区别

流处理和批处理的区别 

流处理和批处理是两种不同的数据处理模式,适用于不同的应用场景

1. 批处理:适用于对大量静态数据进行处理,需要等到整个分析处理结束才能获得结果,即获得最终分析处理结果的延迟较大。一般应用于实时性要求不高,离线计算的场景下。在批处理模式下,数据被不断地采集,保存到数据库中,然后进行分析处理。这类系统可以存取已经入库的所有数据,可以对数据进行复杂深入的分析,分析处理的延迟以分钟或者小时计。

2. 流处理:适用于对每个新到达的(动态的)数据元素或者一个比较小的时间窗口内的数据元素进行计算,数据上的计算或者分析处理相对来讲是比较简单的,因此完成分析处理的时间非常迅速。一般应用于时效性要求比较高的场景。在流处理模式下,数据持续到达,系统及时处理新到达的数据,并不断产生输出。处理过的数据一般丢弃掉,当然也可以保存起来。

需要注意的是,流处理和批处理并不是相互取代的关系,而是根据具体的应用场景和需求选择适合的数据处理模式。

版权说明:文章均为账号作者发布,不代表本网站观点与立场,如有侵权请联系我们删除