Go 语言 bufio.Scanner 高效文本扫描指南
bufio.Scanner 是 Go 标准库中轻量级的文本扫描工具，专为逐行或逐词处理输入流而设计。它通过内置的分词策略，能够高效地从标准输入、文件或字符串中提取数据，适用于日志解析、配置文件读取等常见场景。
从控制台读取数据
处理交互式命令行输入时，Scanner 提供阻塞式的读取机制：
package main
import (
"bufio"
"fmt"
"os"
)
func main() {
reader := bufio.NewScanner(os.Stdin)
fmt.Println("请输入内容（按 Ctrl+D 结束）：")
for reader.Scan() {
line := reader.Text()
fmt.Printf("接收到的数据: %s\n", line)
}
if err := reader.Err(); err != nil {
fmt.Fprintf(os.Stderr, "读取异常: %v\n", err)
}
}文件内容逐行处理
对于大文件读取，Scanner 的流式处理能有效控制内存占用：
package main
import (
"bufio"
"fmt"
"os"
)
func processLog(path string) error {
fd, err := os.Open(path)
if err != nil {
return err
}
defer fd.Close()
parser := bufio.NewScanner(fd)
lineNum := 0
for parser.Scan() {
lineNum++
content := parser.Text()
fmt.Printf("[%d] %s\n", lineNum, content)
}
return parser.Err()
}自定义分词策略
通过 Split 方法可切换内置的分词器，或实现自定义分割逻辑：
内置分词模式对比
| 分词器 | 功能说明 | 适用场景 |
|---|---|---|
ScanLines | 按换行符分割（默认） | 日志文件、配置文件 |
ScanWords | 按空白字符分割 | 词频统计、文本分析 |
ScanBytes | 逐字节读取 | 二进制协议解析 |
ScanRunes | 按 Unicode 字符分割 | 多语言文本处理 |
package main
import (
"bufio"
"fmt"
"strings"
)
func main() {
sample := "Go 语言|Python|JavaScript|Rust|Java"
// 按行模式（此处无换行，整体作为一行）
lineMode := bufio.NewScanner(strings.NewReader(sample))
lineMode.Split(bufio.ScanLines)
for lineMode.Scan() {
fmt.Println("整行内容:", lineMode.Text())
}
fmt.Println("--- 分隔符模式 ---")
// 自定义分词：按管道符分割
customMode := bufio.NewScanner(strings.NewReader(sample))
customMode.Split(func(data []byte, atEOF bool) (advance int, token []byte, err error) {
if atEOF && len(data) == 0 {
return 0, nil, nil
}
if i := strings.Index(string(data), "|"); i >= 0 {
return i + 1, data[0:i], nil
}
if atEOF {
return len(data), data, nil
}
return 0, nil, nil
})
for customMode.Scan() {
fmt.Println("提取字段:", customMode.Text())
}
}完整实战：交互式凭证采集
package main
import (
"bufio"
"fmt"
"os"
"syscall"
"golang.org/x/term"
)
type Credentials struct {
Account string
Password string
}
func collectInput() (*Credentials, error) {
cred := &Credentials{}
// 账号输入（明文显示）
fmt.Print("账号: ")
accountReader := bufio.NewScanner(os.Stdin)
if !accountReader.Scan() {
return nil, fmt.Errorf("账号读取失败")
}
cred.Account = accountReader.Text()
// 密码输入（隐藏回显）
fmt.Print("密码: ")
pwdBytes, err := term.ReadPassword(int(syscall.Stdin))
if err != nil {
return nil, err
}
fmt.Println() // 换行
cred.Password = string(pwdBytes)
return cred, nil
}
func main() {
info, err := collectInput()
if err != nil {
fmt.Fprintf(os.Stderr, "错误: %v\n", err)
os.Exit(1)
}
fmt.Printf("已采集账号信息（密码长度: %d）\n", len(info.Password))
}注意事项与最佳实践
- 最大令牌限制：默认 64KB，超长行需调用
scanner.Buffer(make([]byte, 1024), maxCapacity)扩容 - 错误处理：循环结束后必须检查
scanner.Err()，区分 EOF 与真实错误 - 性能权衡：简单场景优先用
Scanner，复杂解析考虑bufio.Reader - 并发安全：
Scanner非线程安全，多 goroutine 需独立实例
