湖仓一体（Data Lakehouse）是现时大数据领域热度较高的词汇，这一想法于2020岁首次提议，是数据湖和数据仓库合二为一的新词汇。

大数据的处理过程是一个进步数据结构化进度和信息密度的过程，不同的数据符合的存储模样也有所不同。降生于1990年的「数据仓库」符合存储结构化、信息密度高、经过处理后的数据，它的上风是存储范例，易于快速读取，时弊是生动性不及；降生于2011年的「数据湖」不错低本钱存储任何方式及要道的原始数据，但它的时弊是短少结构性，一朝莫得被治理好，就会酿成数据池沼。

而「湖仓一体」是一种将数据湖的生动性和数仓的易用性、范例性、高性能集聚起来的新式和会架构，访佛于在湖边搭建了好多小仓库，有的厚爱数据分析，有的运行机器学习，有的来检索音视频等，数据源头王人不错从数据湖里粗略得回。

数据仓库治理了数据快速分析的需求，数据湖治理了数据的存储和料理的需求，而湖仓一体要治理的等于怎样让数据大要在数据湖和数据仓库之间进行无缝的集成妥协脱的流转，从而匡助用户径直足下数据仓库的智力来治理数据湖中的数据分析问题，同期又能充分足下数据湖的数据管贤惠力来进步数据的价值。

基于 Doris 的湖仓一体架构领路

Doris 通过多源数据目次（Multi-Catalog）功能，营救了包括 Apache Hive、Apache Iceberg、Apache Hudi、Apache Paimon(Incubating)、Elasticsearch、MySQL、Oracle、SQLSserver 等主流数据湖、数据库的一语气走访。以及不错通过 Apache Ranger 等进行合股的权限料理，具体架构如下：

其数据湖的主要对接经过为：

1. 创建元数据映射：Doris 通过 Catalog 得回数据湖元数据并缓存在 Doris 中，用于数据湖元数据的料理。在元数据映射过程中 Doris 除了营救传统 JDBC 的用户名密码认证外，还营救基于 Kerberos 和 Ranger 的权限认证，基于 KMS 的数据加密。

2. 发起查询操作：当用户从 FE 发起数据湖查询时，Doris 使用自己存储的数据湖元数生成造查询狡计，足下 Native 的 Reader 组件从外部存储（HDFS、S3）上得回数据进行数据计较和分析。在数据查询过程中 Doris 会将数据湖热门数据缓存在土产货，当下次洽商查询到来时数据缓存能很好起到查询加快的成果。

3. 扬弃复返：当查询完成后将查询扬弃通过 FE 复返给用户。

4. 计较扬弃入湖：当用户并不思将计较扬弃复返，而是需要将计较扬弃进一步写入数据湖时不错通过 export 的模样以范例数据要道（CSV、Parquet、ORC）将数据写回数据湖。

湖仓一体架构的优点

1. 存储与计较分离，本钱缩短

存算分离：湖仓一体架构采用存储计较分离的设想，这种设想使得存储和计较不错离别字据业务的需求进行闲隙彭胀，无需两者同步增多或减少。这种设想有助于简约资源，并缩短了系统的总本钱。

资源足下率进步：存算分离的设想允许系统字据业务需求动态调理计较和存储资源，从而提高了资源的足下率。此外，由于营救径直读取离线数仓数据，系统负载平衡调理愈加生动，进一步缩短了本钱。

本钱效益：湖仓一体架构足下低本钱的对象存储竣事高效益的数据存储，缩短了存储本钱，并幸免了珍视多个数据存储系统的本钱。

2. 数据一致性

ACID保证：湖仓一体架构提供ACID（原子性、一致性、停止性、握久性）保证，确保数据写入的一致性。这种一致性保证了多方同期读取或写入数据时的数据准确性。

事务营救：湖仓一体营救ACID事务，确保了多方同期读取或写入数据的一致性，这关于金融、电商等需要高并发、高一致性的场景尤为进犯。

3. 多种数据源营救

数据编织：湖仓一体架构营救多种数据源，包括多个数据湖和多级数据湖的联邦查询智力。这种智力大要摧毁数据孤岛，减少数据搬迁和数据一致性问题，小程序开发价格使用户大要基于多种数据源进行快速数据分析和数据探查。

营救多种职责负载：湖仓一体营救数据科学、机器学习、SQL和数据分析等各式职责负载，减少了需要珍视多个器具的本钱。

4. 合股元数据料理

合股元数据料理：湖仓一体架构营救异构数据的合股元数据料理，竣事端到端的数据链路的自动化元数据聚积。这种料理模样营救全链路血统，一键式分析技艺、业务、操作元数据细则，为数据治理提供了强有劲的营救。

佃户停止和数据权限管控：基于湖仓底座，湖仓一体营救多佃户和库表列级数据权限，大要很好地进行佃户停止和数据权限管控，确保了数据的安全性和闪避性。

学问点补充：

Doris（前身为Palo）是一种开源的、基于溜达式的列式存储的OLAP（联机分析处理）数据库。旨在为实期间析提供高性能和可伸缩性，处理大范畴的数据集，并提供低蔓延的查询和高详尽量。Apache Doris 现在被4000+中大型企业分娩系统使用，其买卖化居品最具代表性的是 SelectDB ，SelectDB 飞轮科技是由 Doris 团队创建。

Doris 技艺特色：

1. 写入方面

及时写入：Doris营救高效、低蔓延的及时写入。用户不错通过流式或批量模样将数据快速写入到Doris集群中，无论是事务性数据如故日记数据，王人能得到及时处理。这种及时写入的智力使得Doris大要振作实期间析、监控和告警等场景的需求；

及时更新：除了及时写入外，Doris还营救数据的及时更新。用户不错通过UPDATE语句或DELETE语句对依然写入的数据进行及时修改或删除。这种及时更新的智力使得Doris在处理需要常常变更数据的场景时具有更高的生动性；

2. 存储方面

溜达式架构：Doris袭取溜达式架构，将数据存储在多个物理节点上。通过将数据水平拆分到多个节点上，Doris大要竣事数据的并行处理和查询，提高系统的详尽量和性能。同期，溜达式架构也使得Doris大要粗略彭胀集群范畴，振作不停增长的数据存储和查询需求。

列式存储：Doris袭取列式存储引擎，与传统的行式存储比拟，列式存储更符合于分析型查询场景。通过将数据按列存储，Doris大要减少I/O操作次数，提高数据读取效力。同期，列式存储还营救对单列数据进行压缩和编码优化，进一步减少存储空间占用和提高查询性能。

3. 查询方面

高并发点查：Doris营救高并发的点查操作。通过优化存储结构和查询引擎，Doris大要在短期间内快速定位到指标数据并复返扬弃，振作对单条数据或小数数据的快速查询需求。这种高并发的点查智力使得Doris在处理在线查询、实期间析等场景时具有更高的反应速率和性能；

丰富索引：为了加快查询过程，Doris提供了丰富的索引类型。包括但不限于主键索引、二级索引、前缀索引等。这些索引类型不错字据不同的查询需求进行选拔和竖立，以提高查询的效力和准确性。同期，Doris还营救动态创建和删除索引，简陋用户字据业务变化进行调理；

PipelineX 引申引擎：PipelineX 是Doris中的中枢查询引申引擎之一。它袭取基于管谈的引申模子，将查询任务拆分红多个子任务并并行引申。通过减少数据拷贝和分享、优化数据排序和团员等操作，PipelineX 大要权臣提高查询的引申效力和详尽量。同期，PipelineX 还营救动态调理和负载平衡，确保系统资源得到充分足下；

查询优化器：Doris的查询优化器厚爱将用户提交的SQL查询语句编削成高效的引申狡计。它袭取基于本钱的优化计谋，通过评估不同引申狡计的本钱并选拔最优的引申狡计来提高查询性能。同期，查询优化器还营救多种优化技艺，如谓词下推、列编订、一语气法规优化等，以进一步减少数据扫描量和提高查询效力。

Doris 应用场景：

日记存储与分析：不错高效地存储和分析大王人的日记数据。

及时数据分析：适用于及时数据分析场景，如电信行业的用户流量、汇集质地监控。

OLAP分析：营救SQL查询和OLAP分析，简陋进行复杂的数据分析。

#湖仓一体#小程序开发价格