11 月 3 日的版本更新。最值得关注的一条是支持把外部 Lance 表挂载为外表,无需数据导入即可直接查询。
为什么这条重要
Lance 是面向多模态与向量检索的列式格式,AI 应用里常见。过去要查它,得先导进数据库或者另起一套查询服务。挂成外表之后,SQL 可以直接和业务表 join,湖和仓之间的边界又薄了一层。
同批的其他改动
新增物化视图增量 SQL 优化的统一开关,同时控制多表聚合增量优化与 fingerprint 去重;多主集群分区表形态下支持 INSERT 与 REPLACE 自读目标表;多主集群透明分布式单表支持同库重命名,并保证多个读写节点与全局只读节点的元数据一致;PolarVector 向量检索新增跳过未入索引数据补扫的可选开关。
一个实用项
扩展了增量物化视图基表的安全 DDL 白名单,符合条件的 DDL 不再打断增量刷新。这类“运维动作不打断业务”的改动,实际价值往往高于新特性。
给做数仓的人
外表查询省的是导入链路,代价在网络上。跨存储扫描要评估带宽与谓词下推能力,别把外表当成免费的本地表。建议先在低峰期测一次全表扫描的耗时,再决定哪些查询走外表。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。