软件名称
Duckle
适用平台
Windows
macOS
Linux
推荐类型
【开发者自荐】
一句话简介
Duckle 是一款开源可视化数据集成平台,支持 ETL、ELT、数据迁移与实时数据流处理。
应用介绍
Duckle 旨在让数据集成变得更加简单高效。通过现代化拖拽式界面,用户可以快速构建和管理数据管道,连接数据库、文件、API、云存储及数据仓库,实现数据采集、转换、同步和迁移。
Duckle 采用本地优先(Local-First)设计理念,无需依赖复杂的云基础设施即可处理大规模数据任务。同时也支持企业级部署场景,提供可视化映射、数据关联(Join)、过滤、聚合、任务调度、运行监控、CDC(变更数据捕获)以及流式处理等能力。
性能测试示例:
无需云服务。
无需服务器集群。
只需 Duckle,即可在本地完成现代数据工程任务。
项目地址:
https://github.com/SouravRoy-ETL/duckle
官方网站
https://github.com/SouravRoy-ETL/duckle
开源协议
MIT License
Duckle 迎来重大升级。
Duckle 是一款免费、开源且"本地优先"的数据工作室(Data Studio),直接在你的笔记本电脑上运行:你可以在可视化画布上构建数据流水线,利用 DuckDB 引擎执行,并将其打包为单个二进制文件发布。无需云服务、无需注册账号、不收集遥测数据,你的数据始终保留在本地机器上。
最新版本(v0.3.0)将 dbt 深度集成到了 Duckle 画布中,实现了近乎即时的跨系统操作:
- **支持 dbt 并默认启用 dbt Fusion**:采用 Rust 编写的 dbt 引擎,项目解析/构建耗时仅约 45 毫秒,而 dbt Core(作为自动备选方案保留)仅 Python 导入阶段就需要数秒时间。
- **多源 dbt 支持**:单个 dbt 构建任务可同时读取多个已连接的数据源(如 Postgres、MySQL、CSV、Parquet),每个数据源均物化为真实表,并通过 dbt source 进行建模。一个"客户 360 视图(Customer 360)"演示案例展示了如何整合来自 4 种不同系统的 6 个数据源,经由 1 个 dbt 构建任务处理后输出到 4 个目标端(sink),全过程耗时仅 4,382 毫秒。
- **免费且自动配置**:dbt 引擎在首次启动时自动下载并完成配置。无需配置 Python 环境,无需单独安装,完全免费。
- **JSON 记录路径(Records-path)**:支持将嵌套的 REST 响应结构(如 `data` 或 `response.records`)展开为扁平的真实数据列。
- **原生品牌图标与"输入即添加"功能**:画布上的每个数据源、目标端和 SaaS 连接器均显示其真实 Logo;只需输入关键词即可进行模糊搜索并快速添加连接器。
- **生产级运维功能**:包含结构化错误分类、OpenMetrics 格式导出(路径:`/runs/*.json`)、回填(backfill)与水位线(watermark)控制,以及运行历史记录(Runs history)面板。
- **一键构建可执行文件**:右键点击流水线并选择"Build(构建)",即可将其编译为包含 DuckDB 及其必要扩展的独立可执行文件。
只需将该文件复制到服务器即可运行。
**单一二进制文件**:引擎在首次启动时自动下载。无需安装程序,无需 JVM,无需控制平面。直接替换二进制文件即可更新,且你的工作区(workspace)和引擎缓存数据均不受影响。仓库地址: GitHub - SouravRoy-ETL/duckle: Local-first ETL/ELT studio: a drag-and-drop visual pipeline designer that compiles to SQL and runs on DuckDB. Tiny desktop app, no servers, git-friendly workspaces. · GitHub
下载及完整更新日志: Release Duckle v0.3.0 · SouravRoy-ETL/duckle · GitHub