湖倉(cāng)架構(gòu)（Lakehouse）目前在業(yè)界已得到越來(lái)越多的使用?；?Lakehouse 開放的數(shù)據(jù)架構(gòu)優(yōu)勢(shì)，使 Lakehouse 的數(shù)據(jù)湖存儲(chǔ)可和業(yè)界主流的大數(shù)據(jù)計(jì)算范式（如流計(jì)算、批計(jì)算、OLAP 分析）進(jìn)行較好的集成和融合，同時(shí)也能兼容常見的機(jī)器學(xué)習(xí)和 AI 的計(jì)算模型。隨著 Lakehouse 的數(shù)據(jù)分析架構(gòu)的逐步落地，企業(yè)對(duì) Lakehouse 也提出了越來(lái)越多的要求和更高的訴求。其中一項(xiàng)非常重要的一個(gè)訴求就是如何在湖倉(cāng)的架構(gòu)上進(jìn)行實(shí)時(shí)化大數(shù)據(jù)分析。

IDC 認(rèn)為未來(lái) 12 個(gè)月，選擇外部合作來(lái)構(gòu)建數(shù)據(jù)管理服務(wù)的企業(yè)比例將從 58%快速增長(zhǎng)至 85%。數(shù)據(jù)量的快速增長(zhǎng)、對(duì)數(shù)據(jù)管理需求的升級(jí)以及技術(shù)架構(gòu)復(fù)雜度和獨(dú)立開發(fā)成本的上升，都推動(dòng)企業(yè)開始越來(lái)越多地考慮湖倉(cāng)一體的管理解決方案。同時(shí)，多模數(shù)據(jù)管理、實(shí)時(shí)化將會(huì)是數(shù)據(jù)管理服務(wù)演進(jìn)的兩個(gè)重要方 向。

在在此背景下，為了更清晰地展示廠商的綜合實(shí)力，IDC 發(fā)布了《IDC MarketScape: 中國(guó)實(shí)時(shí)湖倉(cāng)市場(chǎng)2024 年廠商評(píng)估》市場(chǎng)研究報(bào)告。報(bào)告從能力和戰(zhàn)略表現(xiàn)兩個(gè)維度，評(píng)估了中國(guó)13家典型的實(shí)時(shí)湖倉(cāng)廠商，廠商類型覆蓋了互聯(lián)網(wǎng)廠商、云服務(wù)廠商、大數(shù)據(jù)廠商等。報(bào)告顯示阿里云在“中國(guó)實(shí)時(shí)湖倉(cāng)2024年廠商評(píng)估”中位居領(lǐng)導(dǎo)者類別。

報(bào)告中指出，Apache Paimon 是新一代實(shí)時(shí)湖倉(cāng)格式，支持流批，由阿里云貢獻(xiàn)并共享給主要開源社區(qū)，結(jié)合 Flink 組件，搭建湖格式+LSM 架構(gòu)，面向流更新設(shè)計(jì)；與 Flink、Spark 具有更好的集成；支持流更新寫入與流變更讀?。籗LA 保障在 1–5 分鐘內(nèi)，平衡讀寫放大。 在 AI for Lakehouse 上，阿里云支持智能數(shù)據(jù)布局、智能資源使用、智能執(zhí)行引擎、智能查詢計(jì)劃、智 能資源復(fù)用與 Copilot；在 Lakehouse for AI 上，可以做到多種數(shù)據(jù)的更優(yōu)化管理，如用戶測(cè)試數(shù)據(jù)的 高吞吐離線處理、低延時(shí)在線服務(wù)，用戶訓(xùn)練數(shù)據(jù)的低資源 FT 和 prompt 以及超大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)集 的低碳訓(xùn)練。

阿里云為企業(yè)提供了基于開放存儲(chǔ)的湖倉(cāng)多引擎協(xié)同?數(shù)據(jù)AI?體化解決?案，提供統(tǒng)?元數(shù)據(jù)管理，統(tǒng)?數(shù)湖表格式，統(tǒng)?分布式數(shù)據(jù)管理，支持對(duì)接主流的大數(shù)據(jù)計(jì)算型產(chǎn)品，如實(shí)時(shí)計(jì)算 Flink, EMR, EMR Serverless Spark、EMR Serverless StarRocks, MaxCompute 和 Hologres 等，對(duì)比當(dāng)前方案具有成本低、全鏈路實(shí)時(shí)流動(dòng)、數(shù)據(jù)可更新、全鏈路數(shù)據(jù)可查等特點(diǎn)，為企業(yè)提供低成本分鐘級(jí)數(shù)據(jù)新鮮度的大數(shù)據(jù)實(shí)時(shí)計(jì)算方案。

關(guān)于IDC MarketScape：

IDC MarketScape廠商評(píng)估模型旨在為特定市場(chǎng)中信息和通信技術(shù)（ICT）廠商的競(jìng)爭(zhēng)力提供一個(gè)概述。 研究方法采用嚴(yán)格的定性和定量的標(biāo)準(zhǔn)的評(píng)分方法，以單一的圖形說(shuō)明每個(gè)廠商在特定市場(chǎng)中的位置。IDC MarketScape提供了一個(gè)清晰的框架，在其中可以對(duì)IT和信息通信技術(shù)廠商的產(chǎn)品、服務(wù)、能力和策略以及當(dāng)前和未來(lái)的市場(chǎng)成功因素進(jìn)行有意義的比較。該框架還為技術(shù)買家提供了針對(duì)當(dāng)前或潛在廠商的360度優(yōu)劣勢(shì)評(píng)估，為技術(shù)買家提供參考。