当前位置:首页 > 技术 > 正文内容

Citus 分布式 PostgreSQL 集群的手动 SQL 查询传播机制

访客 技术 2026年6月1日 1

在 Citus 架构中,协调器节点负责接收用户的 SQL 请求,并将其拆解成多个可在各个工作节点分片上并行执行的小查询。这种方式实现了查询在整个集群中的高效分布执行。

不过,不同的 SQL 类型决定了如何拆分及分发查询。在一些复杂的场景下,开发者可能希望手动干预这一过程。为此,Citus 提供了几个函数接口用于直接向工作节点、分片或具体的数据副本发送 SQL 命令。

使用这些手动传播功能时需格外谨慎,因为它们绕过了协调器层面的一致性保障、并发控制等安全机制。若使用不当,可能导致数据不一致甚至系统死锁等问题。这类方法通常只应在常规手段无法满足需求的情况下才考虑采用。

向所有工作节点广播命令

最基本的操作是将某条 SQL 语句广播至集群内的全部工作节点。该操作适用于获取全局配置信息或者统一设置参数。

-- 查看每个工作节点的 work_mem 参数值
SELECT run_command_on_workers($cmd$ SHOW work_mem; $cmd$);

注意:
不应通过此方式在各工作节点上创建数据库对象,否则会影响后续动态扩展工作节点的能力。
此外,本节所介绍的函数仅支持返回单列表、单行结果集的查询语句。

在指定表的所有分片上执行命令

进一步细化控制粒度,我们可以将 SQL 发送到某个分布式表对应的所有分片上。这常用于需要访问底层物理存储元数据的情况,如统计每张分片上的记录数量。

-- 统计一张分布式表总行数(基于每个分片的估算)
SELECT sum(result::bigint) AS estimated_count
FROM run_command_on_shards(
  'my_distributed_table',
  $cmd$
    SELECT reltuples
    FROM pg_class c
    JOIN pg_catalog.pg_namespace n ON n.oid = c.relnamespace
    WHERE (n.nspname || '.' || relname)::regclass = '%s'::regclass
      AND n.nspname NOT IN ('citus', 'pg_toast', 'pg_catalog')
  $cmd$
);

作用于所有分片副本

最为细致的控制单位是对每一个分片及其所有副本(placement)分别执行命令。这种做法适合那些要求强一致性的写入操作,比如更新全部副本的内容。

-- 更新所有分片副本中的 updated_at 字段为固定时间戳
SELECT run_command_on_placements(
  'my_distributed_table',
  $cmd$
    UPDATE %s SET updated_at = '2017-01-01';
  $cmd$
);

与之配套使用的还有另一个实用工具函数 run_command_on_colocated_placements,它可以同时引用两张具有相同分布策略的表的位置信息。借助这个特性,可以实现跨表联动更新或其他高级功能,例如触发器同步:

-- 创建两个分布键相同的表
CREATE TABLE small_data (id int, value int);
CREATE TABLE large_data (id int, value int);
SELECT create_distributed_table('small_data', 'id');
SELECT create_distributed_table('large_data', 'id');

-- 定义触发器函数,用于将小表插入的数据放大后写入大表
CREATE OR REPLACE FUNCTION expand_value() RETURNS TRIGGER AS $$
BEGIN
  IF (TG_OP = 'INSERT') THEN
    EXECUTE format(
      'INSERT INTO %s (id, value) VALUES ($1.id, $1.value * 2);',
      TG_ARGV[0]
    ) USING NEW;
  END IF;
  RETURN NULL;
END;
$$ LANGUAGE plpgsql;

-- 对共址表建立触发器关联
SELECT run_command_on_colocated_placements(
  'small_data',
  'large_data',
  $cmd$
    CREATE TRIGGER sync_insert AFTER INSERT ON %s
      FOR EACH ROW EXECUTE PROCEDURE expand_value(%L)
  $cmd$
);

注意事项

  • 手动传播不包含多事务环境下的防死锁保护机制。
  • 缺乏对中途错误导致部分成功情况的恢复能力。
  • 查询结果会被完整加载进内存,不适合大数据量输出。
  • 如果任一目标节点不可达,则整个调用会立即报错终止。
  • 滥用此类功能可能带来严重后果,请务必慎重使用。
标签: citusPostgreSQL

相关文章

Linux crontab 详解

1) crontab 是什么cron 是 Linux 的定时任务守护进程;crontab 是用来编辑/查看“按时间周期执行命令”的表(cron table)。常见两类:用户 crontab:每个用户一份(crontab -e 编辑)系统级 crontab / cron.d:可指定执行用户(/etc/crontab、/etc/cron.d/*)2) crontab 时间...

富文本里可以允许的 HTML 属性

一、所有标签默认允许的安全属性(极少)class        (可选)id           (通常建议禁用)title️ 注意:id 容易被滥用做锚点注入,很多系统直接禁用class 允许的话最好只允许固定前缀(如 editor-*)二、a 标签允许属性<a href="" t...

Mac 安装 Node.js 指南

方法一:通过官网安装包(最简单,适合初学者)如果你只是想快速安装并开始使用,这是最直接的方法。访问 Node.js 官网。页面会显示两个版本:LTS (Recommended For Most Users):长期支持版,最稳定。建议选这个。Current:最新特性版,包含最新功能但可能不够稳定。下载 .pkg 安装包并运行。按照安装向导点击“下一步”即可完成。方法二:使用 Homebrew 安装(...

Dom\HTML_NO_DEFAULT_NS 的副作用:自动加闭合标签

在使用Dom\HTMLDocument时,Dom\HTML_NO_DEFAULT_NS 将禁止在解析过程中设置元素的命名空间, 此设置是为了与DOMDocument向后兼容而存在的。当使用它时,已知的一个副作用就是:自动加闭合标签例如 </img> 为什么会这样?当你使用:Dom\HTML_NO_DEFAULT_NS文档会变成 无命名空间模式,此时内部更接近 XML...

Laravel 事件和监听器创建

在 Laravel 中,使用 Artisan 命令创建 Events(事件) 和 Listeners(监听器) 是非常高效的。你可以通过以下几种方式来实现:1. 手动创建单个 Event如果你只想创建一个事件类,可以使用 make:event 命令:Bashphp artisan make:event UserRegistered执行后,文件将生成在 app/Even...

自定义域名解析神器 dnsmasq

什么是 dnsmasq?dnsmasq 是一个轻量级、功能强大的网络服务工具,专为小型和中等规模网络设计。它是一个综合的网络基础设施解决方案[1]。dnsmasq 能做什么?功能说明应用场景DNS 转发与缓存将 DNS 查询转发到上游服务器(ISP、Google DNS 等),并在本地缓存结果加快 DNS 查询速度,减少外部 DNS 流量本地 DNS解析本地网络设备的主机名,无需编辑&n...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。