当前位置:首页 > 技术 > 正文内容

AWK 文本分析与处理实用指南

访客 技术 2026年8月16日 1

AWK 是一种面向数据流的脚本语言,尤其擅长对结构化文本进行扫描、过滤、统计和格式化输出。它逐行读取输入,根据指定的分隔符将每一行切分成多个字段,然后对匹配模式的行执行相应的动作。本文以 GNU AWK(gawk)为例,介绍其核心用法和常见场景。

基本语法

AWK 程序的基本结构为:

awk '模式 { 动作 }' 输入文件

其中模式用于筛选行,动作则定义对匹配行的处理逻辑。模式或动作可以省略:省略模式时对所有行执行动作,省略动作时默认打印整行。

字段与分隔符

AWK 默认以空白字符(空格或制表符)作为字段分隔符,可通过 -F 选项或内置变量 FS 指定。例如,查看当前登录用户和终端:

who | awk '{ print $1, $2 }'

如果文件使用冒号分隔,例如 /etc/passwd,可以这样提取用户名:

awk -F: '{ print $1 }' /etc/passwd

BEGIN 与 END 块

AWK 支持在执行主体之前和之后运行特殊代码块。BEGIN 常用于初始化变量或打印标题,END 用于输出汇总信息。例如,统计 /etc/passwd 中的用户数量:

awk -F: 'BEGIN { count=0; print "用户列表:" } 
         { count++; print $1 }
         END { print "总用户数:", count }' /etc/passwd

内置变量

AWK 提供了丰富的内置变量,便于获取行号、字段数、文件名等信息。常用变量包括:

  • NR:已读入的记录数(行号)
  • NF:当前记录的字段数
  • $0:整行内容
  • $1, $2, ...:第1个、第2个字段
  • FS:输入字段分隔符
  • OFS:输出字段分隔符
  • RS:输入记录分隔符
  • ORS:输出记录分隔符

示例:显示每一行的行号、字段数和内容:

awk -F: '{ print "行号:" NR, "字段数:" NF, "内容:" $0 }' /etc/passwd

格式化输出

使用 printf 可以获得类似 C 语言的格式化控制。例如,将用户名和 Shell 对齐显示:

awk -F: '{ printf "%-15s %s\n", $1, $7 }' /etc/passwd

模式匹配

可以指定正则表达式作为模式,仅处理匹配的行。例如,列出以 root 开头的行:

awk -F: '/^root/ { print $0 }' /etc/passwd

结合关系运算符也能实现条件筛选,比如打印 UID 大于 1000 的用户:

awk -F: '$3 > 1000 { print $1, $3 }' /etc/passwd

变量与运算

AWK 支持自定义变量,无需声明即可使用,默认初始值为 0 或空字符串。例如,计算当前目录下所有文件的总字节数:

ls -l | awk '{ total += $5 } END { printf "总大小: %.2f MB\n", total/1024/1024 }'

若要排除目录项(通常大小为 4096),可以加入条件判断:

ls -l | awk '$5 != 4096 { total += $5 } END { printf "文件总大小: %.2f MB\n", total/1024/1024 }'

控制流程

AWK 支持 if-elsewhileforbreakcontinue 等流程控制语句,语法与 C 语言类似。例如,根据 UID 输出用户类型:

awk -F: '{
    if ($3 == 0) 
        type = "管理员";
    else if ($3 >= 1000) 
        type = "普通用户";
    else 
        type = "系统用户";
    print $1, type;
}' /etc/passwd

数组

AWK 的数组支持字符串作为索引(关联数组),非常灵活。例如,统计每个 Shell 的使用人数:

awk -F: '{ shells[$7]++ } END { for (s in shells) print s, shells[s] }' /etc/passwd

数组不需要提前声明,遍历时可以用 for (key in array) 语法。注意,遍历顺序并非固定,因为内部实现基于哈希表。

多文件处理与命令行参数

AWK 可以同时处理多个文件,并利用 FILENAME 变量区分当前处理的文件。也可以通过 ARGCARGV 访问命令行参数。例如,对不同文件分别记录行数:

awk '{ lines[FILENAME]++ } END { for (f in lines) print f, lines[f] }' file1.txt file2.txt

掌握上述基础后,AWK 可以胜任大多数文本分析任务,从简单的字段提取到复杂的统计报表,都能高效完成。更深入的功能可参考 GNU AWK 手册。

相关文章

Linux crontab 详解

1) crontab 是什么cron 是 Linux 的定时任务守护进程;crontab 是用来编辑/查看“按时间周期执行命令”的表(cron table)。常见两类:用户 crontab:每个用户一份(crontab -e 编辑)系统级 crontab / cron.d:可指定执行用户(/etc/crontab、/etc/cron.d/*)2) crontab 时间...

富文本里可以允许的 HTML 属性

一、所有标签默认允许的安全属性(极少)class        (可选)id           (通常建议禁用)title️ 注意:id 容易被滥用做锚点注入,很多系统直接禁用class 允许的话最好只允许固定前缀(如 editor-*)二、a 标签允许属性<a href="" t...

Mac 安装 Node.js 指南

方法一:通过官网安装包(最简单,适合初学者)如果你只是想快速安装并开始使用,这是最直接的方法。访问 Node.js 官网。页面会显示两个版本:LTS (Recommended For Most Users):长期支持版,最稳定。建议选这个。Current:最新特性版,包含最新功能但可能不够稳定。下载 .pkg 安装包并运行。按照安装向导点击“下一步”即可完成。方法二:使用 Homebrew 安装(...

Dom\HTML_NO_DEFAULT_NS 的副作用:自动加闭合标签

在使用Dom\HTMLDocument时,Dom\HTML_NO_DEFAULT_NS 将禁止在解析过程中设置元素的命名空间, 此设置是为了与DOMDocument向后兼容而存在的。当使用它时,已知的一个副作用就是:自动加闭合标签例如 </img> 为什么会这样?当你使用:Dom\HTML_NO_DEFAULT_NS文档会变成 无命名空间模式,此时内部更接近 XML...

Laravel 事件和监听器创建

在 Laravel 中,使用 Artisan 命令创建 Events(事件) 和 Listeners(监听器) 是非常高效的。你可以通过以下几种方式来实现:1. 手动创建单个 Event如果你只想创建一个事件类,可以使用 make:event 命令:Bashphp artisan make:event UserRegistered执行后,文件将生成在 app/Even...

自定义域名解析神器 dnsmasq

什么是 dnsmasq?dnsmasq 是一个轻量级、功能强大的网络服务工具,专为小型和中等规模网络设计。它是一个综合的网络基础设施解决方案[1]。dnsmasq 能做什么?功能说明应用场景DNS 转发与缓存将 DNS 查询转发到上游服务器(ISP、Google DNS 等),并在本地缓存结果加快 DNS 查询速度,减少外部 DNS 流量本地 DNS解析本地网络设备的主机名,无需编辑&n...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。