当前位置:首页 > 技术 > 正文内容

Elasticsearch 批量操作详解

访客 技术 2026年6月7日 1

一、批量检索(mget)

在分布式环境中,频繁发起单次查询会产生显著的网络开销。Elasticsearch 提供了 mget 接口,允许一次请求获取多个文档,有效降低网络延迟。

准备示例数据

PUT /user_info/_doc/u100
{
  "username": "alice",
  "score": 85
}

PUT /user_info/_doc/u101
{
  "username": "bob",
  "score": 92
}

PUT /user_info/_doc/u102
{
  "username": "carol",
  "score": 78
}

基础用法

完整格式需指定索引、类型和文档 ID:

GET /_mget
{
  "docs": [
    { "_index": "user_info", "_type": "_doc", "_id": "u100" },
    { "_index": "user_info", "_type": "_doc", "_id": "u101" }
  ]
}

若目标索引一致,可简化路径:

GET /user_info/_mget
{
  "docs": [
    { "_type": "_doc", "_id": "u100" },
    { "_type": "_doc", "_id": "u101" }
  ]
}

若类型也相同,可进一步简化为 ID 数组:

GET /user_info/_doc/_mget
{
  "ids": ["u100", "u101", "u102"]
}

二、批量写入(bulk)

当需要高效导入日志流或大规模数据时,bulk API 支持单次请求执行多次索引、更新或删除操作。

核心特性

  • 每个子操作独立执行,单条失败不影响其他操作
  • 非原子性,不具备事务特性
  • 请求体需严格遵循换行分隔格式

请求格式规范

每行以换行符(\n)结尾,结构如下:

{action_line}
{optional_source_line}

支持的 action 类型

操作行为说明
create仅当文档不存在时创建
index创建新文档或完全替换已有文档
update对文档执行局部更新
delete移除指定文档(无请求体)

完整示例

POST /_bulk
{ "delete": { "_index": "article", "_type": "_doc", "_id": "a001" }}
{ "create": { "_index": "article", "_type": "_doc", "_id": "a001" }}
{ "title": "Elasticsearch 入门指南", "author": "team" }
{ "index": { "_index": "article", "_type": "_doc", "_id": "a002" }}
{ "title": "分布式系统原理", "author": "lab" }
{ "update": { "_index": "article", "_type": "_doc", "_id": "a003", "_retry_on_conflict": 3 }}
{ "doc": { "views": 1500 }}

性能优化要点

整个 bulk 请求会被加载到接收节点的内存中,过大的请求会挤压其他操作的内存空间。建议通过实测寻找最佳批次规模:

  • 文档数:通常以 1,000–5,000 条为起始点
  • 物理大小:单批次控制在 5–15 MB 左右
  • 若单条文档体积大,适当减少批次中的文档数量

可通过逐步增加批量大小并监控吞吐量和延迟,找到性能拐点作为实际配置依据。

标签: Elasticsearch

相关文章

Linux crontab 详解

1) crontab 是什么cron 是 Linux 的定时任务守护进程;crontab 是用来编辑/查看“按时间周期执行命令”的表(cron table)。常见两类:用户 crontab:每个用户一份(crontab -e 编辑)系统级 crontab / cron.d:可指定执行用户(/etc/crontab、/etc/cron.d/*)2) crontab 时间...

富文本里可以允许的 HTML 属性

一、所有标签默认允许的安全属性(极少)class        (可选)id           (通常建议禁用)title️ 注意:id 容易被滥用做锚点注入,很多系统直接禁用class 允许的话最好只允许固定前缀(如 editor-*)二、a 标签允许属性<a href="" t...

Mac 安装 Node.js 指南

方法一:通过官网安装包(最简单,适合初学者)如果你只是想快速安装并开始使用,这是最直接的方法。访问 Node.js 官网。页面会显示两个版本:LTS (Recommended For Most Users):长期支持版,最稳定。建议选这个。Current:最新特性版,包含最新功能但可能不够稳定。下载 .pkg 安装包并运行。按照安装向导点击“下一步”即可完成。方法二:使用 Homebrew 安装(...

Dom\HTML_NO_DEFAULT_NS 的副作用:自动加闭合标签

在使用Dom\HTMLDocument时,Dom\HTML_NO_DEFAULT_NS 将禁止在解析过程中设置元素的命名空间, 此设置是为了与DOMDocument向后兼容而存在的。当使用它时,已知的一个副作用就是:自动加闭合标签例如 </img> 为什么会这样?当你使用:Dom\HTML_NO_DEFAULT_NS文档会变成 无命名空间模式,此时内部更接近 XML...

Laravel 事件和监听器创建

在 Laravel 中,使用 Artisan 命令创建 Events(事件) 和 Listeners(监听器) 是非常高效的。你可以通过以下几种方式来实现:1. 手动创建单个 Event如果你只想创建一个事件类,可以使用 make:event 命令:Bashphp artisan make:event UserRegistered执行后,文件将生成在 app/Even...

自定义域名解析神器 dnsmasq

什么是 dnsmasq?dnsmasq 是一个轻量级、功能强大的网络服务工具,专为小型和中等规模网络设计。它是一个综合的网络基础设施解决方案[1]。dnsmasq 能做什么?功能说明应用场景DNS 转发与缓存将 DNS 查询转发到上游服务器(ISP、Google DNS 等),并在本地缓存结果加快 DNS 查询速度,减少外部 DNS 流量本地 DNS解析本地网络设备的主机名,无需编辑&n...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。