Snowflake 開源pg_lake 與Iceberg 集成引領(lǐng)數(shù)據(jù)湖倉新時(shí)代！

Snowflake Labs發(fā)布pg_lake：讓PostgreSQL變身數(shù)據(jù)湖倉系統(tǒng)開源pg_lake，將數(shù)據(jù)湖屋與 PostgresSQL集成點(diǎn)擊輸入圖片描述（最多30字）Snowflake 發(fā)布了新的開源互作性功能，包括 pg_lake 擴(kuò)展和擴(kuò)展的 Apache Iceberg 和 dbt 支持，使公司更直接地定位在開放數(shù)據(jù)湖倉一體生態(tài)系統(tǒng)中。同時(shí)推出 Snowflake Intelligence，使用自然語言查詢企業(yè)數(shù)據(jù)。1.Snowflake IntelligenceSnowflake 宣布全面推出 Snowflake Intelligence，該平臺(tái)使不同技能水平的員工能夠使用自然語言查詢企業(yè)數(shù)據(jù)。該系統(tǒng)自動(dòng)解釋業(yè)務(wù)語義，生成 SQL 查詢，并提供標(biāo)有“綠色盾牌”的經(jīng)過驗(yàn)證的輸出，以指示經(jīng)過認(rèn)證的數(shù)據(jù)源。在測試期間，已有超過 1,000 名客戶使用該平臺(tái)，部署了超過 15,000 個(gè) AI 代理。Snowflake Intelligence 集成了來自 Anthropic 和 OpenAI 的模型，并支持多模態(tài)數(shù)據(jù)合成，以幫助組織不僅了解正在發(fā)生的事情，還幫助組織了解原因。正如 Cortex AI 代理主管 Jeff Hollan 所說：“這不僅僅是為了獲取基本信息，而是為了了解為什么會(huì)出現(xiàn)一種趨勢。該平臺(tái)的代理功能允許自動(dòng)作，同時(shí)在整個(gè)過程中強(qiáng)制執(zhí)行企業(yè)治理規(guī)則。“我們每天都專注于確保 Snowflake 受到信任，并確保我們的客戶可以將他們的數(shù)據(jù)委托給我們，”產(chǎn)品執(zhí)行副總裁 Christian Kleinerman 說。為了支持開發(fā)人員，Snowflake 已全面推出 Cortex Agents，并通過模型上下文協(xié)議服務(wù)器引入了安全集成。工作區(qū)現(xiàn)在支持 Git 和 Visual Studio Code，而 Snowflake 上的 dbt 項(xiàng)目已正式發(fā)布，可用于端到端工作流管理。2.開源項(xiàng)目pg_lake在重要的開源步驟中，Snowflake 引入了完全托管的 PostgreSQL 引擎，并發(fā)布了開源的 pg_lake 擴(kuò)展。該擴(kuò)展使 PostgreSQL 能夠直接讀取和寫入 Apache Iceberg 表，而無需提取-轉(zhuǎn)換-加載步驟，從而創(chuàng)建了打開湖屋的直接接口。Snowflake Labs近日推出開源項(xiàng)目pg_lake，通過將Apache Iceberg數(shù)據(jù)表格式與數(shù)據(jù)湖文件直接集成到PostgreSQL中，實(shí)現(xiàn)了傳統(tǒng)關(guān)系型數(shù)據(jù)庫向湖倉一體架構(gòu)的演進(jìn)。該項(xiàng)目允許用戶在PostgreSQL環(huán)境中直接創(chuàng)建和修改Iceberg表，并通過標(biāo)準(zhǔn)SQL查詢存儲(chǔ)在S3等對(duì)象存儲(chǔ)中的Parquet、CSV等多種數(shù)據(jù)格式，同時(shí)支持將查詢結(jié)果導(dǎo)出到外部存儲(chǔ)系統(tǒng)。其架構(gòu)采用模塊化設(shè)計(jì)，在PostgreSQL擴(kuò)展基礎(chǔ)上引入pgduck_server組件，利用DuckDB的高性能查詢引擎處理外部數(shù)據(jù)，形成可交互的協(xié)同計(jì)算體系。這一技術(shù)突破顯著降低了企業(yè)構(gòu)建統(tǒng)一數(shù)據(jù)平臺(tái)的門檻，使PostgreSQL在保持事務(wù)處理優(yōu)勢的同時(shí)，獲得了跨云數(shù)據(jù)湖的聯(lián)邦查詢能力，為混合數(shù)據(jù)架構(gòu)提供了新的實(shí)現(xiàn)路徑。其優(yōu)勢包括：改Iceberg表時(shí)提供完整事務(wù)保證；多格式兼容，可查詢Parquet、CSV、JSON、Delta及地理空間文件（如GeoJSON）；無縫集成；通過COPY命令導(dǎo)出查詢結(jié)果至對(duì)象存儲(chǔ)（如S3），或從外部數(shù)據(jù)源推斷表結(jié)構(gòu)。pg_lake 擴(kuò)展由Crunchy Data開發(fā)，2025年6月被Snowflake以2.5億美元收購。使用pg_lake ，可以使用標(biāo)準(zhǔn) SQL 查詢、管理和寫入 Iceberg 表。在今年早些時(shí)候加入 Snowflake 之前，Crunchy Data 花了數(shù)年時(shí)間開發(fā)其企業(yè)級(jí)倉庫產(chǎn)品的基礎(chǔ)。pg_lake支撐了 Crunchy Bridge for Analytics，它為 Postgres 引入了新的分析功能pg_lake，后來成為 Crunchy Data Warehouse。在 Apache 許可下開源相同的功能，以便更廣泛的 Postgres 社區(qū)受益。采用Apache許可證，開源后3天獲超1000個(gè)Star。據(jù)悉，通過開源這項(xiàng)技術(shù)，Snowflake期望達(dá)到三大目標(biāo)：建立標(biāo)準(zhǔn)：幫助創(chuàng)建一個(gè)強(qiáng)大、開放的標(biāo)準(zhǔn)，以實(shí)現(xiàn)更統(tǒng)一的 Postgres，使整個(gè)生態(tài)系統(tǒng)受益。為開發(fā)人員提供支持：現(xiàn)代應(yīng)用程序和 AI 需要運(yùn)維和分析能力的結(jié)合。借助pg_lake ，Postgres 社區(qū)將能夠解鎖新的用例并加速創(chuàng)新。提交到 Postgres：Snowflake 堅(jiān)定地致力于 Postgres 的成功。此版本證明了我們致力于突破世界上最受歡迎的開源數(shù)據(jù)庫的可能性界限。?據(jù)湖倉一體生態(tài)

Snowflake 發(fā)布了新的開源互作性功能，包括 pg_lake 擴(kuò)展和擴(kuò)展的 Apache Iceberg 和 dbt 支持，使公司更直接地定位在開放數(shù)據(jù)湖倉一體生態(tài)系統(tǒng)中。同時(shí)推出 Snowflake Intelligence，使用自然語言查詢企業(yè)數(shù)據(jù)。

1.Snowflake Intelligence

Snowflake 宣布全面推出 Snowflake Intelligence，該平臺(tái)使不同技能水平的員工能夠使用自然語言查詢企業(yè)數(shù)據(jù)。該系統(tǒng)自動(dòng)解釋業(yè)務(wù)語義，生成 SQL 查詢，并提供標(biāo)有“綠色盾牌”的經(jīng)過驗(yàn)證的輸出，以指示經(jīng)過認(rèn)證的數(shù)據(jù)源。在測試期間，已有超過 1,000 名客戶使用該平臺(tái)，部署了超過 15,000 個(gè) AI 代理。

Snowflake Intelligence 集成了來自 Anthropic 和 OpenAI 的模型，并支持多模態(tài)數(shù)據(jù)合成，以幫助組織不僅了解正在發(fā)生的事情，還幫助組織了解原因。正如 Cortex AI 代理主管 Jeff Hollan 所說：“這不僅僅是為了獲取基本信息，而是為了了解為什么會(huì)出現(xiàn)一種趨勢。

該平臺(tái)的代理功能允許自動(dòng)作，同時(shí)在整個(gè)過程中強(qiáng)制執(zhí)行企業(yè)治理規(guī)則。“我們每天都專注于確保 Snowflake 受到信任，并確保我們的客戶可以將他們的數(shù)據(jù)委托給我們，”產(chǎn)品執(zhí)行副總裁 Christian Kleinerman 說。

為了支持開發(fā)人員，Snowflake 已全面推出 Cortex Agents，并通過模型上下文協(xié)議服務(wù)器引入了安全集成。

工作區(qū)現(xiàn)在支持 Git 和 Visual Studio Code，而 Snowflake 上的 dbt 項(xiàng)目已正式發(fā)布，可用于端到端工作流管理。

2.開源項(xiàng)目pg_lake

在重要的開源步驟中，Snowflake 引入了完全托管的 PostgreSQL 引擎，并發(fā)布了開源的 pg_lake 擴(kuò)展。該擴(kuò)展使 PostgreSQL 能夠直接讀取和寫入 Apache Iceberg 表，而無需提取-轉(zhuǎn)換-加載步驟，從而創(chuàng)建了打開湖屋的直接接口。

Snowflake Labs近日推出開源項(xiàng)目pg_lake，通過將Apache Iceberg數(shù)據(jù)表格式與數(shù)據(jù)湖文件直接集成到PostgreSQL中，實(shí)現(xiàn)了傳統(tǒng)關(guān)系型數(shù)據(jù)庫向湖倉一體架構(gòu)的演進(jìn)。

該項(xiàng)目允許用戶在PostgreSQL環(huán)境中直接創(chuàng)建和修改Iceberg表，并通過標(biāo)準(zhǔn)SQL查詢存儲(chǔ)在S3等對(duì)象存儲(chǔ)中的Parquet、CSV等多種數(shù)據(jù)格式，同時(shí)支持將查詢結(jié)果導(dǎo)出到外部存儲(chǔ)系統(tǒng)。

其架構(gòu)采用模塊化設(shè)計(jì)，在PostgreSQL擴(kuò)展基礎(chǔ)上引入pgduck_server組件，利用DuckDB的高性能查詢引擎處理外部數(shù)據(jù)，形成可交互的協(xié)同計(jì)算體系。這一技術(shù)突破顯著降低了企業(yè)構(gòu)建統(tǒng)一數(shù)據(jù)平臺(tái)的門檻，使PostgreSQL在保持事務(wù)處理優(yōu)勢的同時(shí)，獲得了跨云數(shù)據(jù)湖的聯(lián)邦查詢能力，為混合數(shù)據(jù)架構(gòu)提供了新的實(shí)現(xiàn)路徑。

其優(yōu)勢包括：改Iceberg表時(shí)提供完整事務(wù)保證；多格式兼容，可查詢Parquet、CSV、JSON、Delta及地理空間文件（如GeoJSON）；無縫集成；通過COPY命令導(dǎo)出查詢結(jié)果至對(duì)象存儲(chǔ)（如S3），或從外部數(shù)據(jù)源推斷表結(jié)構(gòu)。

pg_lake 擴(kuò)展由Crunchy Data開發(fā)，2025年6月被Snowflake以2.5億美元收購。使用pg_lake ，可以使用標(biāo)準(zhǔn) SQL 查詢、管理和寫入 Iceberg 表。在今年早些時(shí)候加入 Snowflake 之前，Crunchy Data 花了數(shù)年時(shí)間開發(fā)其企業(yè)級(jí)倉庫產(chǎn)品的基礎(chǔ)。pg_lake支撐了 Crunchy Bridge for Analytics，它為 Postgres 引入了新的分析功能pg_lake，后來成為 Crunchy Data Warehouse。

在 Apache 許可下開源相同的功能，以便更廣泛的 Postgres 社區(qū)受益。采用Apache許可證，開源后3天獲超1000個(gè)Star。

據(jù)悉，通過開源這項(xiàng)技術(shù)，Snowflake期望達(dá)到三大目標(biāo)：

建立標(biāo)準(zhǔn)：幫助創(chuàng)建一個(gè)強(qiáng)大、開放的標(biāo)準(zhǔn)，以實(shí)現(xiàn)更統(tǒng)一的 Postgres，使整個(gè)生態(tài)系統(tǒng)受益。

為開發(fā)人員提供支持：現(xiàn)代應(yīng)用程序和 AI 需要運(yùn)維和分析能力的結(jié)合。借助pg_lake ，Postgres 社區(qū)將能夠解鎖新的用例并加速創(chuàng)新。

提交到 Postgres：Snowflake 堅(jiān)定地致力于 Postgres 的成功。此版本證明了我們致力于突破世界上最受歡迎的開源數(shù)據(jù)庫的可能性界限。