当前位置:首页 > 技术 > 正文内容

移动端教务系统课程表数据抓取与解析实践

访客 技术 2026年10月15日 1

一、网络请求拦截与会话机制分析

移动终端访问传统Web教务系统的核心原理在于模拟标准HTTP通信流程。通过流量监控工具(如浏览器开发者网络面板或HttpWatch),可以完整还原身份验证与数据请求的交互链路。多数高校教务系统采用POST表单提交进行登录:客户端将学号与密码序列化后发送至认证接口,服务器校验通过后,会在响应头中下发Set-Cookie字段。该Cookie作为会话凭证,在后续访问受保护资源时必须携带,否则服务器将拒绝响应。

二、基于HTTP协议的认证模拟

明确请求特征后,即可使用Java原生网络组件构造认证请求。以下代码展示了如何发送凭证、处理响应流并持久化会话令牌:

public class AcademicAuthenticator {
    private static final String AUTH_ENDPOINT = "http://202.118.88.140/loginAction.do";
    private static final List<String> sessionTokens = Collections.synchronizedList(new ArrayList<>());

    public static String performLogin(String studentId, String password) throws IOException {
        String formData = String.format("zjh=%s&mm=%s", 
            URLEncoder.encode(studentId, StandardCharsets.UTF_8),
            URLEncoder.encode(password, StandardCharsets.UTF_8));
        
        URL target = new URL(AUTH_ENDPOINT);
        HttpURLConnection session = (HttpURLConnection) target.openConnection();
        session.setRequestMethod("POST");
        session.setConnectTimeout(5000);
        session.setDoOutput(true);
        session.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");

        try (OutputStream writer = session.getOutputStream()) {
            writer.write(formData.getBytes(StandardCharsets.UTF_8));
            writer.flush();
        }

        if (session.getResponseCode() == 200) {
            sessionTokens.addAll(session.getHeaderFields().getOrDefault("Set-Cookie", Collections.emptyList()));
            try (InputStream reader = session.getInputStream()) {
                return new String(reader.readAllBytes(), StandardCharsets.UTF_8);
            }
        }
        throw new IOException("Authentication failed with code: " + session.getResponseCode());
    }
}

实现要点在于开启输出通道写入URL编码后的表单参数,并在状态码为200时提取响应头中的Cookie列表。该列表必须全局缓存,供后续请求复用。

三、携带会话凭证获取目标页面

完成身份校验后,查询学期课表通常触发GET请求。此阶段无需提交表单数据,但需在请求头中注入已保存的会话标识。请求构造逻辑如下:

public static String fetchScheduleSource(String charset) throws IOException {
    String scheduleUri = "http://202.118.88.140/xskbAction.do?actionType=1";
    URL resource = new URL(scheduleUri);
    HttpURLConnection request = (HttpURLConnection) resource.openConnection();
    request.setRequestMethod("GET");
    request.setConnectTimeout(5000);

    // 注入会话凭证
    if (!sessionTokens.isEmpty()) {
        request.addRequestProperty("Cookie", String.join("; ", sessionTokens));
    }

    if (request.getResponseCode() == 200) {
        try (InputStream is = request.getInputStream();
            BufferedReader br = new BufferedReader(new InputStreamReader(is, charset))) {
            StringBuilder buffer = new StringBuilder();
            String line;
            while ((line = br.readLine()) != null) {
                buffer.append(line).append("\n");
            }
            return buffer.toString();
        }
    }
    throw new IOException("Failed to retrieve schedule page");
}

该方法通过遍历缓存的令牌数组,将其拼接后附加至请求头。服务器验证会话有效性后,将返回包含完整课表结构的HTML源码。

四、利用DOM解析器提取结构化数据

原始HTML页面通常混杂大量CSS样式与JavaScript脚本。为高效提取课程信息,可引入Jsoup库构建DOM树并执行节点查询。针对课表现象的表格布局,解析策略如下:

public static void parseCourseGrid(String rawHtml, String baseUri, String encoding) throws IOException {
    Document document = Jsoup.parse(
        new ByteArrayInputStream(rawHtml.getBytes(encoding)), 
        encoding, 
        baseUri
    );
    
    // 标准化处理全角空格与HTML实体
    String normalizedSpace = document.parser().unescapeEntities("\u00a0").text();

    // 定位核心数据表格
    Elements mainTable = document.select("table.displayTag");
    for (Element row : mainTable.select("tr")) {
        // 跳过表头与空行
        if (row.select("th").isEmpty()) continue;

        Elements cells = row.select("td");
        cells.forEach(cell -> {
            String cellData = cell.text().replace(normalizedSpace, " ").trim();
            if (!cellData.isEmpty()) {
                System.out.println("Extracted -> " + cellData);
            }
        });
    }
}

解析流程首先根据页面编码加载字节流,随后通过CSS选择器精准定位包含课程数据的表格元素。在遍历行与单元格时,利用字符替换清理特殊空白符,最终输出清洗后的纯文本内容。获得结构化数据后,即可将其映射至移动端的列表或卡片视图,完成课表模块的完整开发。

相关文章

Linux crontab 详解

1) crontab 是什么cron 是 Linux 的定时任务守护进程;crontab 是用来编辑/查看“按时间周期执行命令”的表(cron table)。常见两类:用户 crontab:每个用户一份(crontab -e 编辑)系统级 crontab / cron.d:可指定执行用户(/etc/crontab、/etc/cron.d/*)2) crontab 时间...

富文本里可以允许的 HTML 属性

一、所有标签默认允许的安全属性(极少)class        (可选)id           (通常建议禁用)title️ 注意:id 容易被滥用做锚点注入,很多系统直接禁用class 允许的话最好只允许固定前缀(如 editor-*)二、a 标签允许属性<a href="" t...

Mac 安装 Node.js 指南

方法一:通过官网安装包(最简单,适合初学者)如果你只是想快速安装并开始使用,这是最直接的方法。访问 Node.js 官网。页面会显示两个版本:LTS (Recommended For Most Users):长期支持版,最稳定。建议选这个。Current:最新特性版,包含最新功能但可能不够稳定。下载 .pkg 安装包并运行。按照安装向导点击“下一步”即可完成。方法二:使用 Homebrew 安装(...

Dom\HTML_NO_DEFAULT_NS 的副作用:自动加闭合标签

在使用Dom\HTMLDocument时,Dom\HTML_NO_DEFAULT_NS 将禁止在解析过程中设置元素的命名空间, 此设置是为了与DOMDocument向后兼容而存在的。当使用它时,已知的一个副作用就是:自动加闭合标签例如 </img> 为什么会这样?当你使用:Dom\HTML_NO_DEFAULT_NS文档会变成 无命名空间模式,此时内部更接近 XML...

Laravel 事件和监听器创建

在 Laravel 中,使用 Artisan 命令创建 Events(事件) 和 Listeners(监听器) 是非常高效的。你可以通过以下几种方式来实现:1. 手动创建单个 Event如果你只想创建一个事件类,可以使用 make:event 命令:Bashphp artisan make:event UserRegistered执行后,文件将生成在 app/Even...

自定义域名解析神器 dnsmasq

什么是 dnsmasq?dnsmasq 是一个轻量级、功能强大的网络服务工具,专为小型和中等规模网络设计。它是一个综合的网络基础设施解决方案[1]。dnsmasq 能做什么?功能说明应用场景DNS 转发与缓存将 DNS 查询转发到上游服务器(ISP、Google DNS 等),并在本地缓存结果加快 DNS 查询速度,减少外部 DNS 流量本地 DNS解析本地网络设备的主机名,无需编辑&n...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。