· 新發(fā)布Serverless Computing,提升大任務(wù)穩(wěn)定性,同時可降低20%計算成本
· 引擎性能優(yōu)化,TPC-H 1TB測試相對V1.X 提升100%
· 實時湖倉加速架構(gòu)升級,支持Paimon,直讀ORC、Parquet數(shù)據(jù)性能提升5倍以上
· 新增實例監(jiān)控指標(biāo),可觀測性全面提升,新增SQL指紋、Query洞察、SQL 與表索引診斷等
· 流量分析場景新增路徑函數(shù),支持跨可用區(qū)容災(zāi)、OpenAPI能力升級
升級說明:Hologres支持熱升級,可以在實例后臺進行自助升級與升級準(zhǔn)備。升級流程請查看>>>
一、新發(fā)布Serverless Computing,提供大作業(yè)隔離與彈性處理
功能說明:
通過共享Serverless資源執(zhí)行DML任務(wù),保證大任務(wù)隔離與高可用,降低成本并提升性能。同時支持設(shè)置單條SQL使用Serverless的資源上限,支持設(shè)置使用Serverless資源的SQL優(yōu)先級。詳細(xì)請查看>>>
應(yīng)用場景:
· 隔離與穩(wěn)定性。計算資源開銷大的任務(wù),不會有爭搶資源,OOM等問題。
· 成本降低。無需為大任務(wù)單獨購買預(yù)付費資源,實際應(yīng)用可降低20%計算成本。
當(dāng)前發(fā)布地域和可用區(qū):華東1(杭州)的可用區(qū)J、華南1(深圳)的可用區(qū)F、華東2(上海)的可用區(qū)E、華北2(北京)的可用區(qū)I。
二、多種引擎能力優(yōu)化,TPC-H 性能測試結(jié)果提升 100%
Hologres V2.2 提升了查詢優(yōu)化器和查詢引擎的能力,1.1 版本使用 96CU 在 TPC-H 1T 的總查詢耗時為 223.08 秒,在V2.2版本中,測試結(jié)果為111.53 秒,性能提升達(dá)到100%。詳細(xì)結(jié)果請查看>>>
引擎性能優(yōu)化包含:
向量執(zhí)行引擎HQE能力提升
· Runtime Filter能力增強,在Join場景上,支持多種過濾類型,無需手動設(shè)置,引擎自適應(yīng),在減少數(shù)據(jù)掃描量的同時也能減少join的計算量和數(shù)據(jù)的網(wǎng)絡(luò)傳輸量,有效提升Join的查詢效率約30%。
· 優(yōu)化HQE的RPC連邊機制,每個Worker內(nèi)數(shù)據(jù)先合并再進行Worker間分發(fā),顯著降低網(wǎng)絡(luò)開銷,在帶有Shuffle的場景上,查詢性能提升8%。
查詢優(yōu)化器性能提升,SQL在Plan階段的處理速度提升40%
· 優(yōu)化內(nèi)存分配機制和Join算法,提升多Join場景的查詢性能。
· 優(yōu)化DATE_PART函數(shù)行為,提升對帶有時間屬性的字段(如年份)的查詢效率。
· 優(yōu)化DATE和TIMESTAMP類型字段的比較行為,提升時間字段的查詢效率。
· 優(yōu)化復(fù)雜函數(shù)中帶有Filter的運算行為,通過調(diào)整多個Filter的順序,減少數(shù)據(jù)計算量,提升查詢效率。
三、實時湖倉架構(gòu)升級,性能提升5倍,外表元數(shù)據(jù)自動加載提升分析體驗
HologresV2.2版本針對實時湖倉架構(gòu)進行重構(gòu),顯著提升了數(shù)據(jù)湖的查詢性能,并通過外表元數(shù)據(jù)自動加載(Auto Load) 提升實時湖倉的用戶使用體驗。
實時湖倉架構(gòu)升級包含:
· 實現(xiàn)HQE引擎直讀OSS上的ORC、Parquet數(shù)據(jù),相較于原引擎有5倍以上的性能提升
· 針對ORC、Parquet格式的外部表支持謂詞下推過濾,減少數(shù)據(jù)掃描量,提升查詢效率
· 支持使用內(nèi)置高速磁盤和內(nèi)存實現(xiàn)多級緩存
外表元數(shù)據(jù)自動加載(Auto Load)能力增強:
支持一鍵綁定外部數(shù)據(jù)源,實現(xiàn)DB或者schema級別的映射,簡化和降低外表創(chuàng)建成本,包含:
· 支持MaxCompute三層模型Project,可以將MaxCompute三層Project中的一個或多個指定schema 數(shù)據(jù)按需或者全量映射到Hologres
· 支持MaxCompute外部表的Schema Evolution(如增加列、刪除列、修改列名及列順序)
· 支持通過DLF元數(shù)據(jù)自動加載,來加速查詢存儲于OSS的數(shù)據(jù)
四、實例診斷能力提升,新增SQL指紋、Query洞察、SQL 與表索引診斷等
新增SQL指紋,快速定位Bad Query
SQL指紋是Hologres提供的一種自動Query聚類分析能力。V2.2版本在存放慢Query查詢?nèi)罩镜南到y(tǒng)表中,新增digest列以展示SQL指紋。對于SELECT/INSERT/DELETE/UPDATE類型的Query,系統(tǒng)會計算一個MD5哈希值作為該Query的SQL指紋,幫助業(yè)務(wù)快速識別占用資源的Query以及異常Query等。詳情請查看>>>
新增Query洞察可視化,全方位獲取查詢診斷信息
在holoweb-診斷與優(yōu)化中,通過Query ID就能快速獲取當(dāng)前Query的執(zhí)行信息,例如Query進程的資源消耗、Query所涉及的表的元數(shù)據(jù),以及Query對應(yīng)的執(zhí)行計劃(plan)。同時可以通過Query洞察快速判斷當(dāng)前Query是否產(chǎn)生了DDL沖突,以及表鎖情況,輔助業(yè)務(wù)進一步排查問題和處理問題。詳細(xì)結(jié)果請查看>>>
新增SQL診斷和表索引診斷,快速完成實例治理
在holoweb-診斷與優(yōu)化中,SQL診斷通過對不同維度的Query趨勢、明細(xì)分析,可以輔助您了解實例的使用情況并做相應(yīng)的優(yōu)化,以達(dá)到更好的效果。詳情請查看>>>
在holoweb-診斷與優(yōu)化中,表索引診斷對當(dāng)前實例的Table Group、表、索引等進行診斷,幫助業(yè)務(wù)進行實例治理,從而輔助提升實例的穩(wěn)定性和性能。例如:
· 一個Table Group的內(nèi)表總數(shù)不建議超過1W張,優(yōu)化后將提升DDL性能。
· 對于分區(qū)子表超過1W張的分區(qū)表,建議使用冷熱分層 ,以節(jié)約存儲成本。
實例監(jiān)控信息新增15+Metrics,可觀測性得到增強
在實例列表-監(jiān)控信息中,新增15+metric指標(biāo),提供不同執(zhí)行引擎的QPS、RPS、Latencty等以及可觀測Binlog、Serverless等功能的運行情況,以方便及時了解任務(wù)的負(fù)載。同時也提供Locks、Analyze等健康度指標(biāo),可以幫助業(yè)務(wù)快速觀測實例運行健康狀態(tài),及時處理異常。
五、新增路徑分析函數(shù),更加豐富流量分析場景函數(shù)能力
在流量分析場景,需要計算訪問每個流程/步驟的路徑分布和情況,以及每個步驟的流入流出情況,原有SQL計算方式較為復(fù)雜,并且影響計算性能。Hologres通過一個路徑分析函數(shù)即可實現(xiàn)路徑分析,簡化用戶路徑分析流程,與之前推出的漏斗函數(shù)、留存函數(shù)、明細(xì)圈人函數(shù)、Roaring Bitmap函數(shù)、BSI函數(shù)等結(jié)合,實現(xiàn)完整、豐富的流量數(shù)據(jù)分析方案。詳情請查看>>>
六、支持跨可用區(qū)容災(zāi),提升生產(chǎn)業(yè)務(wù)穩(wěn)定性
跨可用區(qū)(AZ)容災(zāi),即在同Region不同可用區(qū)部署同構(gòu)的Hologres容災(zāi)實例,如果生產(chǎn)實例所處的地理位置發(fā)生自然災(zāi)害,或者實例內(nèi)部出現(xiàn)了故障導(dǎo)致生產(chǎn)實例無法正常對外提供讀寫服務(wù),那么容災(zāi)實例可以切換為生產(chǎn)實例,從而保障業(yè)務(wù)連續(xù)性。詳情請查看>>>
例如:杭州Region某個可用區(qū)(例如可用區(qū)H)中的Hologres實例無法正常運行時,可通過已配置的容災(zāi)關(guān)系,將同Region其他可用區(qū)(例如可用區(qū)J)的Hologres實例切換為生產(chǎn)實例,保障業(yè)務(wù)正常運行。
七、OpenAPI能力升級,提升實例運維管理能力
新增計算組列表與詳情、數(shù)據(jù)湖加速功能、更新實例資源組等OpenAPI,在severless、數(shù)據(jù)湖分析等場景下,提升實例運維以及管理能力。詳情請查看>>>
15000CU時計算包原價5313元,限時新購僅需59元>>>
前往實時數(shù)倉Hologres官網(wǎng)查看詳情>>>
實時數(shù)倉Hologres V2.1版本發(fā)布,新增計算組實例構(gòu)建高可用實時數(shù)倉>>>