DuckDB上的数据仓库：便宜，快速，本地

在不断发展的数据分析世界中，绩效，可伸缩性和成本之间通常会有一个权衡。大型企业将数百万美元倒入基于云的数据仓库中，以处理信息，而个人和小型团队正在寻找敏捷，负担得起的替代方案。幸运的是，从学术界出现了一个强大的解决方案，并引起了寻求速度，效率和简单性的数据专业人员的注意。输入DuckDB - 可嵌入的SQL OLAP数据库引擎设计用于本地第一分析，倡导便宜，快速和本地数据仓库的视野。

什么是DuckDB？

DuckDB是一种开源分析数据库引擎，旨在在单台计算机上进行本地运行。 DuckDB通常被描述为“分析的SQLite ”，其建立在简单性和便携性的哲学上。但是，与针对Web和移动应用程序典型的交易工作负载进行了优化的SQLITE不同，DuckDB目标分析查询涉及大量数据 - 考虑到聚合，加入，过滤和统计计算。

它通过平面文件（例如CSV或Parquet），内存数据范围或内部表执行SQL查询，而无需旋转数据库服务器或编写广泛的配置文件。您可以将其视为一个个人数据仓库，可以使用最少的设置下降到Terabyte级文件。

DuckDB的主要好处

DuckDB在各种情况下为数据从业人员带来了一些优势：

• 速度：DuckDB非常快。它利用矢量执行和有效的查询计划，尽管在本地运行，但仍能很好地处理大型数据集。
• 简单性：通过Python's pip install duckdb或通过其CLI访问它。无需设置数据库，用户或端口，而是“工作”。
• 成本：DuckDB是开源和本地优先的，避免了云计算和存储成本。对于许多工作流程，它使昂贵的云平台不必要。
• 兼容性：DuckDB可以直接从CSV，JSON，Parquet和Arrow读取。它与Python（Pandas），R和其他数据语言自然集成。
• 便携性：DuckDB跨操作系统工作，不需要基础架构才能管理。

为什么要使用DuckDB作为本地数据仓库？

尽管DuckDB不会在大规模的多租户用例中取代雪花或大Query，但它在较小规模的环境（例如个人研究项目，交互式数据探索或边缘计算方案）中发挥作用。这就是为什么DuckDB非常适合成为您本地数据仓库的原因：

没有互联网？没问题

并非每个数据分析师都具有持续的高速互联网访问。有时，您是在远程站点上的飞机上，或者更喜欢将敏感数据远离云。 DuckDB即使在离线，直接在笔记本电脑或嵌入式设备上，也可以启用复杂的SQL Analytics。

非常适合探索性分析

如果您要制作数据工作流程，进行初始探索或执行临时报告，则DuckDB取代了对Pandas或Excel的繁琐出口的需求。与传统数据科学框架相比，它在大型数据集上的性能要多得多。

您可以加载带有数百万记录的镶木木文件并在其上运行一个窗口功能 - 在本地计算机上的几秒钟内：

 SELECT user_id, AVG(purchase_amount) OVER (PARTITION BY user_id) AS avg_purchase FROM 'transactions.parquet';

数据科学不等待

云平台通常会引入延迟，长队列时间和背景时间表。使用DuckDB，没有工作队列，也没有可变的定价 - 它可以实时起作用，非常适合在jupyter或rstudio建立数据模型的同时，非常适合注释。

DuckDB与传统仓库

这是DuckDB和一些典型数据仓库解决方案之间的快速比较：

对于快速的，迭代的ML工作流或局部ETL任务，由于开销较少，DuckDB通常可以在性能和用户体验中都超过云解决方案。

在实践中DuckDB：真实申请

数据科学家：将DuckDB与Pandas整合在一起，以加速您的工作流程。多亏了其本机扩展系统和基于箭头的集成，您可以用零大惊小怪执行混合Python-SQL操作。

 import duckdb import pandas as pd df = pd.read_csv("large_dataset.csv") result = duckdb.query("SELECT category, COUNT(*) FROM df GROUP BY category").to_df()

嵌入式分析： DuckDB被编译为单个二进制或动态库，可以与其他应用程序一起运行。这在边缘部署模型（智能仪表板，本地数据科学工具，甚至基于浏览器的笔记本电脑）中很有用。

数据工程师：将DuckDB用作登台引擎，然后将其加载到生产系统中，然后将其加载到生产系统中。它足够快，用于简单的ELT操作，并使用零基础架构运行。

扩展性和生态系统

DuckDB的可扩展性是其超能力之一。它支持：

• Python/r API：与数据科学堆栈轻松集成。
• 并行执行：性能的多核并行性。
• 插件和扩展：扩展地理空间，ML或自定义格式的核心功能。
• 流读数：直接通过扩展对S3和其他远程来源执行查询。

多亏了一个活跃的社区和快速发布节奏，经常添加新功能。无论您是寻找改进的JDBC支持，复杂的分析SQL功能还是更好的数据类型处理，DuckDB都会快速发展。

当不使用duckdb

尽管有优势，DuckDB确实有局限性：

• 并发：它不是针对许多并发用户编写复杂查询的构建的。
• 分布式执行：它在一台计算机上运行；没有集群或分布式模式（尚未）。
• 数据持久性：尽管DuckDB可以内部存储数据，但它不是用于长期托管存储的交易数据库。

当您需要高并发性，高可用性或多用户数据治理时，您仍然应该依靠更健壮的系统，例如PostgreSQL，Presto或Snowflake。

结论：触手可及的SQL功率

DuckDB代表了一种新的数据仓库方法：一种包含本地优先分析，赋予个人用户权力并打破对云基础结构的锁定依赖性的方法。它允许您从笔记本电脑（从笔记本电脑）上运行针对千兆字节（甚至是trabytes）的分析SQL。

无论您是需要快速见解的数据分析师，一个科学家处理大型实验日志，还是构建智能应用程序的工程师，DuckDB不仅使得没有云的情况下的数据仓库需求，不仅使您的数据仓库需求成为可能。

快速，便宜且本地 - Duckdb在数据分析的未来将其利基市场划分。