数据分析

JDP是企业级Core Data & Core AI 流分析平台, JDP全称JDataFlow Platform

# Core Data

JDP数据分析核心引擎FusionDB,一个高性能 & 简单易用真正实现批流统一的分布式数据库引擎。

  • FusionDB - 批流统一 & 实时计算,实现跨数据源的融合分析。

  • ClickHouse - 开源的分布式列式DBMS数据库。

# Batch

FusionDB 静态数据计算引擎,利用强大 Data Source Connect 实现各种数据源的融合计算,每一种数据源都有标准的 Schema 描述,支持动态加载数据到 FusionDB,在 FusionDB 中一切数据都是 Table,任何的数据源都支持 ALL in FQL, 利用 FQL 的强大数据处理能力,实现跨数据源的融合的分析;FQL for Everyone 简单 & 易用 & 灵活。

FusionDB 支持简单事件、时序数据处理,拥有强大的海量数据处理能力。

# Stream

FusionDB 动态计算引擎,分布式实时计算Core Engine中实时流动的数据,利用Meta中提供的 Schema,实现低延迟分析海量数据,提供实时数据服务。

# ClickHouse

ClickHouse开源的分布式列式DBMS数据库,存储结构化数据,高性能的数据响应能力,加速数据业务转化产生商业价值。

由于ClickHouse是自由度非常高的分布式数据库系统,主要体在Table、副本、分片,客户可以任意组合,选择多了,大家都会考虑找最优解,这就造成了使用方面的压力,这也是JDP要致力于解决的问题,提供一体化的数据产品,专业的集群管理工具与技术服务。

ClickHouse集群部署模式,主要有以下几种,推荐B方案

  • A方案

clickhouse_no_redundancy

  • B方案

clickhouse_high_reliability

  • C方案

clickhouse_replication_3

目前JDP 3.0默认A方案,在云端部署,云存储提供存储可靠性,选择A方案。私有化部署建议B方案。C方案提供数据3副本,大大提高数据的安全性,需要选择适合的表引擎来保障数据可靠性。

JDP在未来的版本中提供B、C方案,在界面进行选择,目前仅仅支持A方案。

A方案最小集群一个node,经过测试1个Node依然可以正常使用。只要随着不断的加节点,达到横向扩展计算和存储能力,由于是新分片,不会对现有数据和业务产生影响。

# Core AI

待续。。。

# FusionDB

待续。。。