Storm中的数据流划分有哪些策略
导读:在Apache Storm中,数据流划分有以下几种策略: 随机分组(Random Grouping):随机将数据流中的元组发送到下游的任务中,没有特定的规律。 字段分组(Fields Grouping):根据元组中指定的字段进行分组...
在Apache Storm中,数据流划分有以下几种策略:
-
随机分组(Random Grouping):随机将数据流中的元组发送到下游的任务中,没有特定的规律。
-
字段分组(Fields Grouping):根据元组中指定的字段进行分组,相同字段值的元组将被发送到同一个任务中。
-
散列分组(Shuffle Grouping):根据元组的散列值将元组发送到下游任务中,保证相同的元组会被发送到同一个任务中。
-
全部分组(All Grouping):将所有的元组都发送到所有的下游任务中。
-
全局分组(Global Grouping):将所有的元组发送到一个下游任务中,保证所有的元组都发送到同一个任务中。
-
本地分组(Local or Partial Key Grouping):根据元组中的某个字段进行分组,但是只在本地的工作进程中进行分组,不跨越工作进程。
-
分区分组(Partition Grouping):根据元组中的某个字段进行分组,但是只发送到指定的分区中。
-
自定义分组(Custom Grouping):根据自定义的分组策略将元组发送到下游任务中。
声明:本文内容由网友自发贡献,本站不承担相应法律责任。对本内容有异议或投诉,请联系2913721942#qq.com核实处理,我们将尽快回复您,谢谢合作!
若转载请注明出处: Storm中的数据流划分有哪些策略
本文地址: https://pptw.com/jishu/667592.html
