SparkSQL对于批流支持的特性及批流一体化支持框架的难点

2020-12-24 12:10

二、基于SparkSQL－Flow的

分析框架

何为 SparkSQL－Flow

1．一个由普元技术部提供的基于 SparkSQL 的开发模型；

2．一个可二次定制开发的大数据开发框架，提供了灵活的可扩展 API；

3．一个提供了对文件，数据库，NoSQL、流处理等统一的数据开发模式；

4．基于 SQL 的开发语言和 XML 的模板配置，支持 SparkSQL UDF 的扩展管理；

5．支持基于 Spark Standlone，Yarn，Mesos 资源管理平台；

6．支持多种平台Kerberos认证（开源、华为、星环）等平台统一认证；

SparkSQL Flow XML 概览

用户只需要定义 Source，Transformer，Target 几个核心组件：

1．Source 数据源：支持Data、DB、File、NoSQL、MQ 等众多源；

2．Transformer 为上述定义的数据源和已有的Transformer 间的组合操作，一般为SQL；

3．Target 为输出目标，支持show、DB、File、NoSQL、MQ 等众多目标，支持类型基本和源相同；

4．用户可以在Properties定义一些变量，作为Source／Transformer／Target 的宏替换；

SparkSQL Flow 适合的场景

1．批量 ETL；

2．非实时分析服务；

3．流式 ETL；

支持从多种获得数据源：

1．支持文件：JSON、TextFile（CSV）、ParquetFile、AvroFile

2．大数据：Hive、HDFS

3．支持RDBMS数据库：PostgreSQL、 MySQL、Oracle

4．支持 NOSQL 数据库：Hbase、MongoDB、Redis

5．Streaming：JMS、AMQP、Kafka、Socket

声明： 本文由入驻维科号的作者撰写，观点仅代表作者本人，不代表OFweek立场。如有侵权或其他问题，请联系举报。

共0条评论，0人参与

登录登录即可访问所有OFweek服务

请输入评论内容...

请输入评论/评论长度6~500个字

暂无评论

图片新闻