作者： 代城万全网络高级工程师，负责万全网络数据平台整体架构研发工作，拥有超过 7 年的大数据相关技术研发经验，一直关注着开源和云技术的发展。

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：[链接] 。What's On In Databend探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。支持标准流标准流 能够捕获所有类型的数据变更，包括更新和删除。相较于仅追加流，标准流的功能更加完备，并且适...

作者：尚卓燃（PsiACE）澳门科技大学在读硕士，Databend 研发工程师实习生Apache OpenDAL(Incubating) Committer[链接]

HuggingFace 是目前最火热的 AI 社区。Databend 现已支持直接查询和分析存储在 HuggingFace 文件系统中的海量数据和模型，帮助您释放数据潜能。

Databend是使用 Rust 研发、开源的、完全面向云架构、基于对象存储构建的新一代云原生数据仓库，为企业提供湖仓一体化、计 算和存储分离的大数据分析平台。

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：[链接] 。What's On In Databend探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。了解 Databend 的访问控制近期 Databend 的所有权机制已经覆盖 UDF 和 Stage ，我们也推出了关于访问控制模型的介...

近日，国家科技传播中心见证了一场开源界的重要事件：由中国科协科学技术传播中心、中国计算机学会、中国通信学会和中国科学院软件研究所联合主办，CSDN 承办的 2023 年开源创新榜专家评审会圆满落幕。由王怀民院士担任评委会主任，评委会成员包括来自全国的学会、大学、科研院所、企业、开源基金会、行业联盟等二十多位...

作者：尚卓燃（PsiACE）澳门科技大学在读硕士，Databend 研发工程师实习生Apache OpenDAL(Incubating) Committer[链接]

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：[链接] 。What's On In Databend探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。全新 Filter 执行框架在全新的 Filter 执行框架中，Databend 引入了一个开创性的概念 —— “不可变索引”。🚀 不可变...

本指南旨在介绍如何部署和运维 Databend ，并且采用结合本地部署 Meta 服务和使用 K8s 管理 Query 服务的形式，以平衡元数据管理持久化和计算资源弹性调度的需求。

Databend 现已初步支持自定义密码策略（PASSWORD POLICY）以满足用户对安全性的需要。通过设置密码策略，可以实现在尝试错误密码后拒绝访问，以及设置密码复杂性要求。

Databend Clustering 的设计受到 Snowflake Data Clustering 和 Oracle Attribute Clustering 的启发。

本周末 Data Infra 社区分享中邀请到 多点 DMALL 数据库负责人：冯光普 分享了《 基于 Databend 的 TiDB 数据归档实践 》

Databend Cloud 产品手册终于和大家见面了！ Databend Cloud 由 Databend 强力驱动，是一款基于 Databend 内核打造的 SAAS 云数仓平台，具有简单、弹性、安全、速度快、成本低等特性，专注于云端大数据一站式解决方案，以解决传统大数据项目中运维难，成本高，使用复杂的问题。很荣幸，本次参加 PingCAP 用户峰会 2022 ...

JSON 是一种常用的半结构化数据，通过自描述的 Schema 结构，可以表示任何类型的数据，包括多层嵌套的数据类型，例如 Array、Object 等。与必须严格遵循表结构字段的结构化数据相比，具有灵活性高，易于动态扩展的优点。近年来，随着各平台数据量的迅速增加，JSON 等半结构化数据的使用越来越流行，例如，平台通过开放接...

【Data Infra 研究社】来到了我们的第四期活动，本期的内容我们定位在和【数据归档】相关的内容，特邀请了现任数字化零售多点 Dmall 数据库负责人冯光普老师以及 Datafuse Labs 联合创始人&架构师 吴炳锡老师来给大家从多方面出发进行交流，带大家体验云环境中对象存储的魅力！感兴趣的朋友们不要错过，赶紧扫描下方二维...

Databend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓，提供极速的弹性扩展能力，致力于打造按需、按量的 Data Cloud 产品体验。具备以下特点：

sqlite 底层的存储基于 B-tree，B-Tree 对底层存储的基本读写单位是页面，而每个页面都由全局唯一的页面编号与之对应，一般来说页面编号从 1 开始递增。类 B-Tree 的存储引擎修改数据的流程如下图所示：

类型系统是数据库的一个重要组成部分，它提供了一种一致的方式来确定 SQL 中的数据类型。类型系统的设计很大程度影响数据库的易用性和健壮性，一个设计合理且一致的类型系统容易让使用者判断 SQL 的行为。反之，一个没有经过正式设计的类型系统会带来各种暗坑和不一致行为在暗中背刺用户。我们用编程语言举个例子，JavaS...

引言：本文使用大量的图例，同时没有难懂的公式，意图解释清楚一致性模型要解决什么问题，以及三种一致性模型：顺序一致性、线性一致性、因果一致性。

Databend-query server 的启动入口在 databend/src/binaries/query/main.rs 下，在初始化配置之后，它会创建一个 GlobalServices 和 server 关闭时负责处理 shutdown 逻辑的 shutdown_handle

之前的文章《如何为 Databend 添加新的测试》介绍了 Databend 如何进行测试，其中 SQL 的测试方法中提到了 sqllogictest，大家对这种新引入的测试方法比较感兴趣，但当前介绍这个的中文资料很少，因此我们整理下近期的一些工作和思考，跟大家分享一下 sqllogictest 的设计、实现及应用。

Databend v0.8 的开发于 3 月 28 号开始，总计 5000+ commits，4600+ 文件变更。在过去的 5 个月中，社区的 120 余位贡献者新增了 42 W 行代码，删除了 16 W 行，相当于把 Databend 重写了一遍。在该版本中，社区对 SQL Planner 框架做出了重大改进，并将所有的 SQL 语句都迁移到了新的 Planner 上，提供了完整的 JOIN ...

Databend 在 2021 年开源后，陆续受到了很多社区同学的关注。Databend 使用了 Rust 编程语言。为了吸引更多的开发者，特别是没有 Rust 开发经验的新同志，我们设计了 Rust 相关课程，同时建立了多个 Rust 兴趣小组。 Databend 在 issue 中还引入了“Good First issue”的 label 来引导社区新同学参与第一次贡献，目共有超...

由于工作需要，一直对原子多播应用有非常浓厚的兴趣。通过一段时间的技术选型。我们非常幸运的得到了 Openraft 实操分享 Databend 社区的热心支持。我也想通过我们的实际工作，对 Openraft 的未来应用尽一些微薄之力。

为方便开发者快速建立开发环境，Databend 维护了一个复杂的 shell 脚本，位于 scripts/setup/dev_setup.sh。只需执行一条指令即可完成开发环境配置：

本文介绍 Rust 并发安全相关的几个概念：Send、Sync、Arc，Mutex、RwLock 等之间的联系。这是其中的下篇，主要介绍 Arc，Mutex、RwLock 这几个线程安全相关的类型。

Databend 整合了一些性能剖析工具，可以方便进行深入分析。本文将会介绍如何进行 CPU / Memory Profiling。CPU Profiling

本文介绍一下 Rust 并发安全相关的几个概念：Send、Sync、Arc，Mutex、RwLock 等之间的联系。这是其中的上篇，主要介绍 Send、Sync 这两个trait。

用前缀树存储一个排序数组，去掉指针，压缩掉 50% 的空间；例如在本文的例子中, 存储 2.4 MB 的 200 万个单词, 只需要 1.2 MB。