当前位置:首页 > 技术 > 正文内容

TiDB SQL性能优化:规避TiFlash的潜在问题

访客 技术 2026年7月4日 1

背景

系统监控报警显示某节点异常宕机,经检查发现4个TiDB实例及监控组件均出现故障。通过重启恢复集群后,排查确认是新上线的SQL引发频繁内存溢出。

通过分析发现某高频慢查询存在严重性能问题,优化后效率提升超1500倍,特此分享优化过程。

分析过程

定位到一个看似简单的单表聚合查询,执行耗时超过8秒。原始SQL结构如下:

SELECT
    cast( cast( CAST( SUM( num ) / COUNT( time ) AS CHAR ) AS DECIMAL ( 9, 2 )) AS signed ) speed,
    ... -- 此处省略n个字段
FROM
    (
    SELECT 
        DATE_FORMAT( receive_time, '%Y-%m-%d %H:%i:00' ) AS time,
        COUNT(*) AS num 
    FROM
        db1.table 
    WHERE
        create_time > DATE_SUB( sysdate(), INTERVAL 20 MINUTE ) 
    GROUP BY
        time 
    ORDER BY
    time 
    ) speed;

通过执行计划分析发现,由于表存在TiFlash副本,优化器选择列存扫描。虽然数据量达950万行,但实际过滤后仅1855条有效数据,这本应通过索引加速。

优化步骤:

  1. 验证create_time字段索引有效性,确认已建立索引
  2. 尝试强制使用TiKV存储:
SELECT /*+ READ_FROM_STORAGE(TIKV[db1.table]) */
    ...
FROM
    (
    SELECT  /*+ READ_FROM_STORAGE(TIKV[db1.table]) */
        ...
    FROM
        db1.table 
    WHERE
        create_time > DATE_SUB( sysdate(), INTERVAL 20 MINUTE ) 
    GROUP BY
        time 
    ) speed;

关键知识点:hint作用域限制,需将注释放置在子查询内

调整后执行计划显示仍使用TiKV全表扫描,性能未达预期。进一步分析发现sysdate()函数导致索引失效问题。

解决方案

通过将sysdate()替换为now()函数,使优化器能准确估算时间范围,成功利用索引:

SELECT
    ...
FROM
    (
    SELECT  /*+ READ_FROM_STORAGE(TIKV[db1.table]) */
        ...
    FROM
        db1.table 
    WHERE
        create_time > DATE_SUB( now(), INTERVAL 20 MINUTE ) 
    GROUP BY
        time 
    ) speed;

优化后执行时间从8.02秒降至4.43毫秒,性能提升1800倍。

深度思考

优化器误判可能原因:

  • Selection算子估算行数与实际差异过大
  • TiFlash估算机制对动态时间函数的处理缺陷
  • 索引有效性评估逻辑待优化

建议:

  • 优先使用静态时间函数
  • 合理控制TiFlash副本使用场景
  • 定期进行执行计划分析

总结

TiFlash作为列存引擎需谨慎使用,优化器决策仍需人工干预。良好SQL习惯对数据库性能至关重要,建议避免过度依赖函数表达式。

相关文章

Linux crontab 详解

1) crontab 是什么cron 是 Linux 的定时任务守护进程;crontab 是用来编辑/查看“按时间周期执行命令”的表(cron table)。常见两类:用户 crontab:每个用户一份(crontab -e 编辑)系统级 crontab / cron.d:可指定执行用户(/etc/crontab、/etc/cron.d/*)2) crontab 时间...

富文本里可以允许的 HTML 属性

一、所有标签默认允许的安全属性(极少)class        (可选)id           (通常建议禁用)title️ 注意:id 容易被滥用做锚点注入,很多系统直接禁用class 允许的话最好只允许固定前缀(如 editor-*)二、a 标签允许属性<a href="" t...

Mac 安装 Node.js 指南

方法一:通过官网安装包(最简单,适合初学者)如果你只是想快速安装并开始使用,这是最直接的方法。访问 Node.js 官网。页面会显示两个版本:LTS (Recommended For Most Users):长期支持版,最稳定。建议选这个。Current:最新特性版,包含最新功能但可能不够稳定。下载 .pkg 安装包并运行。按照安装向导点击“下一步”即可完成。方法二:使用 Homebrew 安装(...

Dom\HTML_NO_DEFAULT_NS 的副作用:自动加闭合标签

在使用Dom\HTMLDocument时,Dom\HTML_NO_DEFAULT_NS 将禁止在解析过程中设置元素的命名空间, 此设置是为了与DOMDocument向后兼容而存在的。当使用它时,已知的一个副作用就是:自动加闭合标签例如 </img> 为什么会这样?当你使用:Dom\HTML_NO_DEFAULT_NS文档会变成 无命名空间模式,此时内部更接近 XML...

Laravel 事件和监听器创建

在 Laravel 中,使用 Artisan 命令创建 Events(事件) 和 Listeners(监听器) 是非常高效的。你可以通过以下几种方式来实现:1. 手动创建单个 Event如果你只想创建一个事件类,可以使用 make:event 命令:Bashphp artisan make:event UserRegistered执行后,文件将生成在 app/Even...

自定义域名解析神器 dnsmasq

什么是 dnsmasq?dnsmasq 是一个轻量级、功能强大的网络服务工具,专为小型和中等规模网络设计。它是一个综合的网络基础设施解决方案[1]。dnsmasq 能做什么?功能说明应用场景DNS 转发与缓存将 DNS 查询转发到上游服务器(ISP、Google DNS 等),并在本地缓存结果加快 DNS 查询速度,减少外部 DNS 流量本地 DNS解析本地网络设备的主机名,无需编辑&n...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。