greenplum什么时候会开始支持f...
 
通知
清除全部

greenplum什么时候会开始支持flink,这个很期待


zixuedanxin
帖子: 9
Topic starter
青梅新星
已加入: 8月 前

greenplum什么时候会开始支持flink,这个很期待

5 回复
阿福
帖子: 46
Greenplum专家
青梅少侠
已加入: 8月 前

您指的支持flink是支持什么操作?

回复
2 回复
zixuedanxin
已加入: 8月 前

青梅新星
帖子: 9

@chris 像spark一样的connector

回复
阿福
Greenplum专家
已加入: 8月 前

青梅少侠
帖子: 46

@zixuedanxin 这个要看官方有没有遇到这种外围应用的case了 😀

回复
jasper
帖子: 16
Greenplum专家
青梅新星
已加入: 7月 前

flink从gp读数据?

是全量数据还是增量数据?全量数据的话,可以用externel web table + kafkacat,先把数据放到kafka里 

回复
parker-han
帖子: 2
初出茅庐
已加入: 2周 前

1. Flink->Kafka->GP vs Flink ->GP

结论:Flink通过Kafka桥接GP是必要的。

论据:

1.Flink本身是计算栈,其存储层依赖其它组件。
2.Kafka是久经考验的、可靠的、运维简单的队列组件。
3.若Flink直连GP, 出现GP加载时延波动时,会拖住Flink任务,增加RAM消耗时间,降低Flink吞吐量表现。

2. GP->Kafka -> Flink vs GP->Flink

结论:Flink可以直连GP

论据:

1. GP输出时延波动时,Flink任务进程会轮询或等待通知方式,等待GP输出:由于数据未到,RAM占用很少,CPU耗用可忽略不计,故而基本不会降低Flink吞吐量表现。
2. Flink直连GP指令管道,可减少一个第三方GP Query Controller组件,简化架构。

回复

关注微信公众号

Greenplum中文社区

Greenplum官方微信群

扫码加入我们的技术讨论,请备注“网站”