Flink 利器：开源平台 StreamX 简介
|
2019-05-17
StreamX 简介
StreamX 是 Flink & Spark 极速开发脚手架，开源的流批一体一站式大数据平台。
StreamX 支持 Flink 多版本，支持 Flink SQL WebIDE，支持 Flink SQL 校验。自2021年3月起开源，提供了一系列开箱即用的 Conncetor,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供 scala 和 java 两套api, 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案。
可以理解为是一个开源版本、简化版的阿里云实时计算 Flink 版或腾讯云流计算 Oceanus 平台。
架构图如下：
StreamX 功能特性：
开发脚手架
多版本Flink支持(1.11,x, 1.12.x, 1.13 )
一系列开箱即用的connectors
支持项目编译功能(maven 编译)
在线参数配置
支持Applicaion 模式, Yarn-Per-Job模式启动
快捷的日常操作(任务启动、停止、savepoint,从savepoint恢复)
支持火焰图
支持notebook(在线任务开发)
项目配置和依赖版本化管理
支持任务备份、回滚(配置回滚)
在线管理依赖(maven pom)和自定义jar
自定义udf、连接器等支持
Flink SQL WebIDE
支持catalog、hive
任务运行失败发送告警邮件
支持失败重启重试
从任务开发阶段到部署管理全链路支持
编辑：航网科技 来源：腾讯云 本文版权归原作者所有 转载请注明出处
关注我们
微信扫一扫关注我们
推荐阅读
