Aurora PostgreSQL agora consulta Apache Iceberg e Parquet direto do data lake
O Amazon Aurora PostgreSQL passa a consultar dados em data lake nos formatos Apache Iceberg e Parquet sem ETL, combinando dados operacionais e históricos em uma única query.
A AWS anunciou que o Amazon Aurora PostgreSQL agora consulta, diretamente, dados guardados no seu data lake nos formatos Apache Iceberg e Apache Parquet. Na prática, dá para combinar os dados operacionais do banco com os dados históricos no data lake em uma única query, usando as mesmas aplicações e ferramentas PostgreSQL de sempre.
A grande mudança é o fim do ETL para esse cenário. Antes, para juntar transações recentes no Aurora com registros antigos no Amazon S3, era comum montar pipelines de reverse ETL que duplicavam dados, aumentavam custos e exigiam manutenção constante para manter tudo sincronizado.
Como funciona
A novidade usa o DuckDB embarcado dentro do próprio Aurora PostgreSQL. O processamento da query acontece dentro do Aurora, sem network hops extras e sem pipeline duplicando dados. É possível consultar tabelas Apache Iceberg gerenciadas pelo AWS Glue Data Catalog, além de dados Parquet e Iceberg no Amazon S3 e no S3 Tables.
O recurso está disponível no Aurora PostgreSQL 17 (a partir do 17.11) e 18 (a partir do 18.6). O caminho é criar o cluster, anexar uma IAM role com a feature AuroraAnalytics e habilitar a extensão aurora_analytics. Depois, você cria foreign tables apontando para os dados no data lake e consulta tudo com a sintaxe PostgreSQL.
Uma única query junta dados operacionais do Aurora com dados históricos em Parquet no S3 — algo que antes exigia mover os dados para o banco primeiro.
Performance
O Aurora aplica otimizações como predicate pushdown e column pruning, lendo apenas o dado relevante. Dados acessados com frequência ficam em cache na instância, acelerando as próximas consultas. Para padrões que exigem latência de milissegundos, dá para materializar os dados em uma tabela nativa com comandos como CREATE TABLE AS SELECT, INSERT INTO ... SELECT ou MERGE INTO.
O recurso já está disponível em todas as regiões comerciais da AWS e no AWS GovCloud (US), sem custo adicional — você paga apenas o compute incremental do Aurora e os custos de request do S3.
Saiba mais
Consulte a documentação do Aurora PostgreSQL, a página de features do Amazon Aurora ou experimente pelo Amazon RDS console.
Conteúdo patrocinado: precisa de ajuda com data lake, analytics e pipelines de dados? A Mytech oferece Engenharia de Dados & Analytics.
