两个人高清视频免费观看www-两个人的视频在线免费观看-两个人的视频在线观看免费完整版-两个人的视频在线观看www免费-两个人的视频在线观看www-两个人的视频在线观看

首頁|必讀|視頻|專訪|運營|制造|監管|大數據|物聯網|量子|低空經濟|智能汽車|特約記者
手機|互聯網|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯網|會展
首頁 >> 云計算 >> 正文

Cloudera Lakehouse Optimizer助力企業輕松交付高性能Iceberg表

2025年2月24日 14:57  CCTIME飛象網  作 者:Bill Zhang

Cloudera數據倉庫產品管理高級總監Bill Zhang

IDC調研中國數據顯示,在落地GenAI應用時,68%的企業認為需要梳理內部數據資產,66%的企業希望搭建數據湖等數據底座。開放式數據湖倉一體架構正迅速成為海量數據進行統一、多功能分析的標準架構。這種架構既融合了數據湖的靈活性和可擴展性,又具備數據倉庫的數據分析、治理和管理功能,為企業提供了強大的數據處理能力。開放表格式是這一架構的關鍵組成部分,它直接在數據湖存儲上提供了大量傳統數據倉庫的功能。目前,Apache Iceberg正迅速成為廠商和客戶的標準格式。

盡管Iceberg的諸多特性可大幅降低實現高性能數據視圖所需的工作量,但這些特性也帶來了額外的開銷,并且需要手動執行作業以優化性能和成本。為進一步簡化數據湖倉一體架構的管理,Cloudera推出了Cloudera Lakehouse Optimizer。該服務可智能化自動處理Iceberg表,使得許多維護作業能夠在后臺自動運行。下面,我們將詳細介紹Cloudera Lakehouse Optimizer的功能、優勢以及未來的發展方向。

Cloudera Lakehouse Optimizer的功能

Cloudera Lakehouse Optimizer根據用戶配置和Iceberg表統計數據,自動運行基于策略的Iceberg表優化任務。自動優化任務包括:

壓縮(Compaction):企業通常會通過微批處理(MicroBatching)或流式攝取(StreamingIngestion)等方式接收大量小文件,而讀取這些小文件會嚴重影響查詢性能。壓縮是將小文件合并為大文件以提升性能的過程。Cloudera Lakehouse Optimizer能夠自主判斷自動壓縮數據文件的最佳時機,確保用戶的表始終保持最佳性能。該服務還會根據使用模式優先優化高價值的表,確保每次優化都能帶來實際的投資回報。

表清理(Table Cleanup):隨著表的增長,往往會積累大量不再使用的數據文件、清單文件和快照。用戶通常需要執行表維護功能,例如清除過期快照、移除舊元數據文件以及清理孤立文件,以優化存儲利用率并提升性能。Cloudera Lakehouse Optimizer能夠自主判斷維護任務的最佳時機,確保表的存儲利用率最大化。

除了優化措施和基于策略的控制措施,Cloudera Lakehouse Optimizer還提供了優化任務的可觀測性,以幫助數據團隊清晰了解策略對表和存儲健康狀況及性能的影響。

Cloudera Lakehouse Optimizer的優勢

Cloudera Lakehouse Optimizer為使用Iceberg表的企業帶來了諸多優勢:

·通過優化存儲占用空間和減少查詢運行時間,降低總體擁有成本(TCO)。

·通過減少查詢中需要讀取的文件數量,提供高性能的數據視圖。

·通過自動執行一些繁瑣的湖倉維護任務,減少數據管理工作和開銷。

Cloudera內部基準測試表明,使用Cloudera Lakehouse Optimizer維護Iceberg表可顯著節約成本。實際效果因使用場景不同可能有所差異。

未來方向

對于想要轉向開放式數據湖倉一體架構的企業,Cloudera Lakehouse Optimizer當前推出的功能為他們解決了兩個重要難題。Cloudera的愿景是讓提供高性能的數據視圖變得更加容易,而這僅僅是實現這一愿景所邁出的第一步。未來,我們計劃增加對更多優化功能的支持,包括通過分區重組解決影響查詢性能的數據分布問題和查詢優化。

我們的目標是確保Cloudera成為管理和訪問Iceberg表的最佳平臺之一,同時讓企業更輕松地采用開放式數據湖倉一體架構。

編 輯:魏德齡
飛象網版權及免責聲明:
1.本網刊載內容,凡注明來源為“飛象網”和“飛象原創”皆屬飛象網版權所有,未經允許禁止轉載、摘編及鏡像,違者必究。對于經過授權可以轉載,請必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網來源。
2.凡注明“來源:XXXX”的作品,均轉載自其它媒體,在于傳播更多行業信息,并不代表本網贊同其觀點和對其真實性負責。
3.如因作品內容、版權和其它問題,請在相關作品刊發之日起30日內與本網聯系,我們將第一時間予以處理。
本站聯系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關新聞              
 
人物
vivo胡柏山:手機行業是最典型的新質生產力代表
精彩專題
低空經濟2025:助力中國經濟騰飛,成就高質量發展
2024通信業年終盤點
2024數字科技生態大會
2024年度中國光電纜優質供應商評選活動
CCTIME推薦
關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網 CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業務經營許可證080234號 京公網安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經書面許可,禁止轉載、摘編、復制、鏡像
主站蜘蛛池模板: 91高清免费国产自产 | 色欲麻豆国产福利精品 | 精品视频在线免费观看 | 视频一区二区 村上凉子 | 双龙高h | 国产精品第 | 男人天堂国产 | 美女脱小内内给男生摸j | 欧美国产影院 | 国产悠悠视频在线播放 | 欧美视频一区二区三区四区 | 国产高清视频一区二区 | 国产午夜免费 | 99自拍视频在线观看 | 闺蜜调教我做她的脚奴 | 国产小视频在线免费观看 | 午夜亚洲精品久久久久久 | 免费人成在线观看69式小视频 | 夫妻性生活免费在线观看 | 国产在亚洲线视频观看 | 国产原创一区二区 | 毛片网在线观看 | 香蕉精品 | 欧美精品超清在线播放 | 四虎国产精品免费久久麻豆 | 午夜爽喷水无码成人18禁三级 | 国产福利在线观看永久视频 | 美女扒开屁股让我桶免费 | 精品国产日韩一区三区 | 亚洲日韩精品欧美一区二区一 | 无耻之徒第十一季在线观看 | 激情婷婷成人亚洲综合 | 精品日韩一区二区三区 | 国产精品亚洲精品日韩已方 | 996热在线视频 | 99久久精品免费看国产 | 波多野结衣在线免费观看 | 成人另类视频 | 国产自在线观看 | 成年视频在线播放 | 娇妻被又大又粗又长又硬好爽 |