實(shí)時(shí)數(shù)倉(cāng)Hologres V2.2發(fā)布,Serverless Computing降本20%

   2024-06-14 51510
核心提示:· 新發(fā)布Serverless Computing,提升大任務(wù)穩(wěn)定性,同時(shí)可降低20%計(jì)算成本 · 引擎性能優(yōu)化,TPC-H 1TB測(cè)試相對(duì)V1.X 提升100% · 實(shí)時(shí)湖倉(cāng)加速架構(gòu)升級(jí),支持Paimon,直讀ORC、Parquet數(shù)據(jù)性能提升5倍以上 · 新增實(shí)例監(jiān)控指標(biāo),可觀測(cè)性全面提升,新增SQL指紋、Query洞察、SQL 與表索引診斷等 · 流量分析場(chǎng)景新增路徑函數(shù),支持跨可用區(qū)容災(zāi)、OpenAPI能力升級(jí) 升級(jí)說(shuō)明:Hologres支持熱升級(jí),可以在實(shí)例后臺(tái)進(jìn)行
 Highlight

· 新發(fā)布Serverless Computing,提升大任務(wù)穩(wěn)定性,同時(shí)可降低20%計(jì)算成本

· 引擎性能優(yōu)化,TPC-H 1TB測(cè)試相對(duì)V1.X 提升100%

· 實(shí)時(shí)湖倉(cāng)加速架構(gòu)升級(jí),支持Paimon,直讀ORC、Parquet數(shù)據(jù)性能提升5倍以上

· 新增實(shí)例監(jiān)控指標(biāo),可觀測(cè)性全面提升,新增SQL指紋、Query洞察、SQL 與表索引診斷

· 流量分析場(chǎng)景新增路徑函數(shù),支持跨可用區(qū)容災(zāi)、OpenAPI能力升級(jí)

升級(jí)說(shuō)明:Hologres支持熱升級(jí),可以在實(shí)例后臺(tái)進(jìn)行自助升級(jí)與升級(jí)準(zhǔn)備。升級(jí)流程請(qǐng)查看>>>

一、新發(fā)布Serverless Computing,提供大作業(yè)隔離與彈性處理

功能說(shuō)明:

通過(guò)共享Serverless資源執(zhí)行DML任務(wù),保證大任務(wù)隔離與高可用,降低成本并提升性能。同時(shí)支持設(shè)置單條SQL使用Serverless的資源上限,支持設(shè)置使用Serverless資源的SQL優(yōu)先級(jí)。詳細(xì)請(qǐng)查看>>>

應(yīng)用場(chǎng)景:

· 隔離與穩(wěn)定性。計(jì)算資源開(kāi)銷(xiāo)大的任務(wù),不會(huì)有爭(zhēng)搶資源,OOM等問(wèn)題。

· 成本降低。無(wú)需為大任務(wù)單獨(dú)購(gòu)買(mǎi)預(yù)付費(fèi)資源,實(shí)際應(yīng)用可降低20%計(jì)算成本。

 

 

當(dāng)前發(fā)布地域和可用區(qū):華東1(杭州)的可用區(qū)J、華南1(深圳)的可用區(qū)F、華東2(上海)的可用區(qū)E、華北2(北京)的可用區(qū)I。

二、多種引擎能力優(yōu)化,TPC-H 性能測(cè)試結(jié)果提升 100%

Hologres V2.2 提升了查詢(xún)優(yōu)化器和查詢(xún)引擎的能力,1.1 版本使用 96CU 在 TPC-H 1T 的總查詢(xún)耗時(shí)為 223.08 秒,在V2.2版本中,測(cè)試結(jié)果為111.53 秒,性能提升達(dá)到100%。詳細(xì)結(jié)果請(qǐng)查看>>>

 

 

引擎性能優(yōu)化包含:

向量執(zhí)行引擎HQE能力提升

· Runtime Filter能力增強(qiáng),在Join場(chǎng)景上,支持多種過(guò)濾類(lèi)型,無(wú)需手動(dòng)設(shè)置,引擎自適應(yīng),在減少數(shù)據(jù)掃描量的同時(shí)也能減少join的計(jì)算量和數(shù)據(jù)的網(wǎng)絡(luò)傳輸量,有效提升Join的查詢(xún)效率約30%。

· 優(yōu)化HQE的RPC連邊機(jī)制,每個(gè)Worker內(nèi)數(shù)據(jù)先合并再進(jìn)行Worker間分發(fā),顯著降低網(wǎng)絡(luò)開(kāi)銷(xiāo),在帶有Shuffle的場(chǎng)景上,查詢(xún)性能提升8%。

查詢(xún)優(yōu)化器性能提升,SQL在Plan階段的處理速度提升40%

· 優(yōu)化內(nèi)存分配機(jī)制和Join算法,提升多Join場(chǎng)景的查詢(xún)性能。

· 優(yōu)化DATE_PART函數(shù)行為,提升對(duì)帶有時(shí)間屬性的字段(如年份)的查詢(xún)效率。

· 優(yōu)化DATE和TIMESTAMP類(lèi)型字段的比較行為,提升時(shí)間字段的查詢(xún)效率。

· 優(yōu)化復(fù)雜函數(shù)中帶有Filter的運(yùn)算行為,通過(guò)調(diào)整多個(gè)Filter的順序,減少數(shù)據(jù)計(jì)算量,提升查詢(xún)效率。

三、實(shí)時(shí)湖倉(cāng)架構(gòu)升級(jí),性能提升5倍,外表元數(shù)據(jù)自動(dòng)加載提升分析體驗(yàn)

HologresV2.2版本針對(duì)實(shí)時(shí)湖倉(cāng)架構(gòu)進(jìn)行重構(gòu),顯著提升了數(shù)據(jù)湖的查詢(xún)性能,并通過(guò)外表元數(shù)據(jù)自動(dòng)加載(Auto Load) 提升實(shí)時(shí)湖倉(cāng)的用戶使用體驗(yàn)。

實(shí)時(shí)湖倉(cāng)架構(gòu)升級(jí)包含:

· 實(shí)現(xiàn)HQE引擎直讀OSS上的ORC、Parquet數(shù)據(jù),相較于原引擎有5倍以上的性能提升

· 針對(duì)ORC、Parquet格式的外部表支持謂詞下推過(guò)濾,減少數(shù)據(jù)掃描量,提升查詢(xún)效率

· 支持使用內(nèi)置高速磁盤(pán)和內(nèi)存實(shí)現(xiàn)多級(jí)緩存

外表元數(shù)據(jù)自動(dòng)加載(Auto Load)能力增強(qiáng):

支持一鍵綁定外部數(shù)據(jù)源,實(shí)現(xiàn)DB或者schema級(jí)別的映射,簡(jiǎn)化和降低外表創(chuàng)建成本,包含:

· 支持MaxCompute三層模型Project,可以將MaxCompute三層Project中的一個(gè)或多個(gè)指定schema 數(shù)據(jù)按需或者全量映射到Hologres

· 支持MaxCompute外部表的Schema Evolution(如增加列、刪除列、修改列名及列順序)

· 支持通過(guò)DLF元數(shù)據(jù)自動(dòng)加載,來(lái)加速查詢(xún)存儲(chǔ)于OSS的數(shù)據(jù)

詳情請(qǐng)查看>>>

 

 

四、實(shí)例診斷能力提升,新增SQL指紋、Query洞察、SQL 與表索引診斷等

新增SQL指紋,快速定位Bad Query

SQL指紋是Hologres提供的一種自動(dòng)Query聚類(lèi)分析能力。V2.2版本在存放慢Query查詢(xún)?nèi)罩镜南到y(tǒng)表中,新增digest列以展示SQL指紋。對(duì)于SELECT/INSERT/DELETE/UPDATE類(lèi)型的Query,系統(tǒng)會(huì)計(jì)算一個(gè)MD5哈希值作為該Query的SQL指紋,幫助業(yè)務(wù)快速識(shí)別占用資源的Query以及異常Query等。詳情請(qǐng)查看>>>

新增Query洞察可視化,全方位獲取查詢(xún)?cè)\斷信息

在holoweb-診斷與優(yōu)化中,通過(guò)Query ID就能快速獲取當(dāng)前Query的執(zhí)行信息,例如Query進(jìn)程的資源消耗、Query所涉及的表的元數(shù)據(jù),以及Query對(duì)應(yīng)的執(zhí)行計(jì)劃(plan)。同時(shí)可以通過(guò)Query洞察快速判斷當(dāng)前Query是否產(chǎn)生了DDL沖突,以及表鎖情況,輔助業(yè)務(wù)進(jìn)一步排查問(wèn)題和處理問(wèn)題。詳細(xì)結(jié)果請(qǐng)查看>>>

 

 

新增SQL診斷和表索引診斷,快速完成實(shí)例治理

在holoweb-診斷與優(yōu)化中,SQL診斷通過(guò)對(duì)不同維度的Query趨勢(shì)、明細(xì)分析,可以輔助您了解實(shí)例的使用情況并做相應(yīng)的優(yōu)化,以達(dá)到更好的效果。詳情請(qǐng)查看>>>

 

 

在holoweb-診斷與優(yōu)化中,表索引診斷對(duì)當(dāng)前實(shí)例的Table Group、表、索引等進(jìn)行診斷,幫助業(yè)務(wù)進(jìn)行實(shí)例治理,從而輔助提升實(shí)例的穩(wěn)定性和性能。例如:

·  一個(gè)Table Group的內(nèi)表總數(shù)不建議超過(guò)1W張,優(yōu)化后將提升DDL性能。

·  對(duì)于分區(qū)子表超過(guò)1W張的分區(qū)表,建議使用冷熱分層 ,以節(jié)約存儲(chǔ)成本。

詳情請(qǐng)查看>>>


 

實(shí)例監(jiān)控信息新增15+Metrics,可觀測(cè)性得到增強(qiáng)

在實(shí)例列表-監(jiān)控信息中,新增15+metric指標(biāo),提供不同執(zhí)行引擎的QPS、RPS、Latencty等以及可觀測(cè)Binlog、Serverless等功能的運(yùn)行情況,以方便及時(shí)了解任務(wù)的負(fù)載。同時(shí)也提供Locks、Analyze等健康度指標(biāo),可以幫助業(yè)務(wù)快速觀測(cè)實(shí)例運(yùn)行健康狀態(tài),及時(shí)處理異常。

 

 

五、新增路徑分析函數(shù),更加豐富流量分析場(chǎng)景函數(shù)能力

在流量分析場(chǎng)景,需要計(jì)算訪問(wèn)每個(gè)流程/步驟的路徑分布和情況,以及每個(gè)步驟的流入流出情況,原有SQL計(jì)算方式較為復(fù)雜,并且影響計(jì)算性能。Hologres通過(guò)一個(gè)路徑分析函數(shù)即可實(shí)現(xiàn)路徑分析,簡(jiǎn)化用戶路徑分析流程,與之前推出的漏斗函數(shù)、留存函數(shù)、明細(xì)圈人函數(shù)、Roaring Bitmap函數(shù)、BSI函數(shù)等結(jié)合,實(shí)現(xiàn)完整、豐富的流量數(shù)據(jù)分析方案。詳情請(qǐng)查看>>>


 

六、支持跨可用區(qū)容災(zāi),提升生產(chǎn)業(yè)務(wù)穩(wěn)定性

跨可用區(qū)(AZ)容災(zāi),即在同Region不同可用區(qū)部署同構(gòu)的Hologres容災(zāi)實(shí)例,如果生產(chǎn)實(shí)例所處的地理位置發(fā)生自然災(zāi)害,或者實(shí)例內(nèi)部出現(xiàn)了故障導(dǎo)致生產(chǎn)實(shí)例無(wú)法正常對(duì)外提供讀寫(xiě)服務(wù),那么容災(zāi)實(shí)例可以切換為生產(chǎn)實(shí)例,從而保障業(yè)務(wù)連續(xù)性。詳情請(qǐng)查看>>>

例如:杭州Region某個(gè)可用區(qū)(例如可用區(qū)H)中的Hologres實(shí)例無(wú)法正常運(yùn)行時(shí),可通過(guò)已配置的容災(zāi)關(guān)系,將同Region其他可用區(qū)(例如可用區(qū)J)的Hologres實(shí)例切換為生產(chǎn)實(shí)例,保障業(yè)務(wù)正常運(yùn)行。

七、OpenAPI能力升級(jí),提升實(shí)例運(yùn)維管理能力

新增計(jì)算組列表與詳情、數(shù)據(jù)湖加速功能、更新實(shí)例資源組等OpenAPI,在severless、數(shù)據(jù)湖分析等場(chǎng)景下,提升實(shí)例運(yùn)維以及管理能力。詳情請(qǐng)查看>>>

15000CU時(shí)計(jì)算包原價(jià)5313元,限時(shí)新購(gòu)僅需59元>>>

前往實(shí)時(shí)數(shù)倉(cāng)Hologres官網(wǎng)查看詳情>>>

實(shí)時(shí)數(shù)倉(cāng)Hologres V2.1版本發(fā)布,新增計(jì)算組實(shí)例構(gòu)建高可用實(shí)時(shí)數(shù)倉(cāng)>>>

 

 

 
 
更多>同類(lèi)資訊
免責(zé)申明
推薦資訊
點(diǎn)擊排行
最新資訊更多>
最新供應(yīng)更多>
網(wǎng)站首頁(yè)  |  聯(lián)系方式  |  關(guān)于我們  |  問(wèn)題解析  |  版權(quán)隱私  |  使用協(xié)議  |  網(wǎng)站地圖  |  排名推廣  |  廣告服務(wù)  |  積分換禮  |  網(wǎng)站留言  |  RSS訂閱  |  違規(guī)舉報(bào)  |  粵ICP備1207862號(hào)

中國(guó)智能化網(wǎng)(zgznh®)--引領(lǐng)工業(yè)智能化產(chǎn)業(yè)發(fā)展 共享智能化+優(yōu)質(zhì)平臺(tái)

版權(quán)所有:深圳市智控網(wǎng)絡(luò)有限公司 學(xué)術(shù)指導(dǎo):深圳市智能化學(xué)會(huì)

粵ICP備12078626號(hào)

深公網(wǎng)安備案證字第 4403101901094 號(hào) | 粵公網(wǎng)安備 44030702001206號(hào)