学期的数据库课程设计任务让不少同学头疼。如何选择一个既有技术深度，又能解决实际问题的课题？传统的"学生-课程-成绩"管理系统虽然简单，但缺乏亮点。本文将分享一个完整的课程设计项目——学术文献智能管理系统，该系统通过集成PDF解析服务，实现文献信息的自动化提取与存储。

1. 项目背景与核心功能

学术研究者经常面临文献管理难题：下载大量PDF论文后，文件命名混乱，查找特定文献的作者、摘要等信息需要逐一打开查阅。这种手动整理方式效率低下，且容易出错。

本项目的核心目标是实现文献管理的自动化，主要功能包括：

• 智能元数据提取：自动识别PDF中的标题、作者、发表年份、期刊名称、摘要等关键信息
• 参考文献解析：提取论文引用列表中的文献信息，包括引文标题、作者、来源等
• 标签分类与关联：根据提取的关键词自动为文献打标签，建立文献间的引用关系网络

项目涵盖前端界面、后端服务、数据库设计完整流程，是锻炼全栈开发能力的绝佳练习。

2. 数据库设计与实现

数据库是整个系统的基石。设计过程遵循"概念模型→逻辑模型→物理模型"的标准化流程。

2.1 实体关系分析

通过E-R图分析，系统包含以下核心实体：

• 用户(User)：系统使用者
• 文献(Paper)：存储上传的学术论文信息
• 作者(Author)：论文创作者，与文献呈多对多关系
• 标签(Tag)：文献分类标签

实体间关系如下：用户可上传多篇文献(1:N)；文献可有多个作者，作者可创作多篇文献(M:N)，需通过中间表关联；文献可拥有多个标签，标签可标记多篇文献(M:N)，同样需要中间表。

2.2 数据库表结构

基于MySQL的具体表设计如下：

用户表

CREATE TABLE system_users (
    user_id INT PRIMARY KEY AUTO_INCREMENT,
    account_name VARCHAR(50) UNIQUE NOT NULL,
    email_address VARCHAR(100) UNIQUE NOT NULL,
    password_digest VARCHAR(255) NOT NULL,
    registration_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

文献表

CREATE TABLE academic_papers (
    paper_id INT PRIMARY KEY AUTO_INCREMENT,
    owner_id INT NOT NULL,
    storage_path VARCHAR(500) NOT NULL,
    source_filename VARCHAR(255) NOT NULL,
    paper_title TEXT NOT NULL,
    paper_abstract LONGTEXT,
    publish_year YEAR,
    publication_venue VARCHAR(255),
    digital_identifier VARCHAR(100),
    process_status ENUM('waiting', 'completed', 'failed') DEFAULT 'waiting',
    processed_time TIMESTAMP NULL,
    upload_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    FOREIGN KEY (owner_id) REFERENCES system_users(user_id) ON DELETE CASCADE
);

作者表与文献作者关联表

CREATE TABLE contributors (
    contributor_id INT PRIMARY KEY AUTO_INCREMENT,
    contributor_name VARCHAR(100) NOT NULL,
    institution VARCHAR(255)
);

CREATE TABLE paper_contributors (
    paper_id INT NOT NULL,
    contributor_id INT NOT NULL,
    author_position INT NOT NULL,
    PRIMARY KEY (paper_id, contributor_id),
    FOREIGN KEY (paper_id) REFERENCES academic_papers(paper_id) ON DELETE CASCADE,
    FOREIGN KEY (contributor_id) REFERENCES contributors(contributor_id) ON DELETE CASCADE
);

标签表与文献标签关联表

CREATE TABLE category_tags (
    tag_id INT PRIMARY KEY AUTO_INCREMENT,
    tag_name VARCHAR(50) UNIQUE NOT NULL
);

CREATE TABLE paper_tags (
    paper_id INT NOT NULL,
    tag_id INT NOT NULL,
    PRIMARY KEY (paper_id, tag_id),
    FOREIGN KEY (paper_id) REFERENCES academic_papers(paper_id) ON DELETE CASCADE,
    FOREIGN KEY (tag_id) REFERENCES category_tags(tag_id) ON DELETE CASCADE
);

设计要点：使用process_status字段跟踪文献处理状态；独立的作者表避免数据冗余，便于查询某作者的所有作品；外键级联删除确保数据一致性。

3. 后端服务开发

后端采用Python Flask框架构建RESTful API，负责处理业务逻辑并与数据库交互。

3.1 项目架构

literature-system/
├── main.py                    # 应用入口
├── settings.py                # 配置管理
├── dependencies.txt           # 依赖清单
├── database/                 # 数据模型层
├── endpoints/                # API路由
├── processors/               # 业务处理（如PDF解析）
└── helpers/                  # 辅助工具

核心依赖包括：Flask、Flask-SQLAlchemy、Flask-CORS用于Web开发；requests用于HTTP请求；pdfplumber用于PDF文本提取。

3.2 核心API实现

文献上传与解析接口

# endpoints/document.py
from flask import request, jsonify, current_app
from database import Paper, db
from processors.pdf_processor import SmartPDFParser
import os
import uuid

@document_bp.route('/import', methods=['POST'])
def import_document():
    if 'file' not in request.files:
        return jsonify({'error': 'Missing file'}), 400
    
    uploaded_file = request.files['file']
    operator_id = request.headers.get('X-User-ID')
    
    if not uploaded_file.filename:
        return jsonify({'error': 'Invalid filename'}), 400
    
    # 保存上传文件
    unique_filename = f"{uuid.uuid4()}_{secure_filename(uploaded_file.filename)}"
    storage_location = os.path.join(current_app.config['DOCUMENT_FOLDER'], unique_filename)
    uploaded_file.save(storage_location)
    
    # 创建文献记录
    document = Paper(
        owner_id=operator_id,
        source_filename=uploaded_file.filename,
        storage_path=storage_location,
        paper_title=uploaded_file.filename,
        process_status='waiting'
    )
    db.session.add(document)
    db.session.commit()
    
    # 调用解析服务
    try:
        parser = SmartPDFParser(config=current_app.config['PARSER_CONFIG'])
        extracted_info = parser.extract_metadata(storage_location)
        
        # 更新文献信息
        document.paper_title = extracted_info.get('title', '')
        document.paper_abstract = extracted_info.get('abstract', '')
        document.publish_year = extracted_info.get('year')
        document.publication_venue = extracted_info.get('venue')
        document.digital_identifier = extracted_info.get('doi')
        document.process_status = 'completed'
        document.processed_time = datetime.utcnow()
        
        # 处理作者信息
        for idx, author_name in enumerate(extracted_info.get('authors', [])):
            author = Author.query.filter_by(contributor_name=author_name).first()
            if not author:
                author = Author(contributor_name=author_name)
                db.session.add(author)
                db.session.flush()
            link = PaperContributor(
                paper_id=document.paper_id,
                contributor_id=author.contributor_id,
                author_position=idx + 1
            )
            db.session.add(link)
        
        db.session.commit()
        return jsonify({
            'message': 'Document processed successfully',
            'document_id': document.paper_id
        }), 201
        
    except ExtractionError as err:
        document.process_status = 'failed'
        db.session.commit()
        current_app.logger.error(f"Extraction failed for document {document.paper_id}: {err}")
        return jsonify({'error': 'Processing failed'}), 500

文献检索接口

@document_bp.route('/search', methods=['GET'])
def search_documents():
    page_number = request.args.get('page', 1, type=int)
    items_per_page = request.args.get('limit', 20, type=int)
    title_keyword = request.args.get('title', '')
    author_keyword = request.args.get('author', '')
    tag_keyword = request.args.get('tag', '')
    
    base_query = Paper.query.filter_by(owner_id=get_authenticated_user())
    
    if title_keyword:
        base_query = base_query.filter(Paper.paper_title.ilike(f'%{title_keyword}%'))
    if author_keyword:
        base_query = base_query.join(PaperContributor).join(Author).filter(
            Author.contributor_name.ilike(f'%{author_keyword}%')
        )
    if tag_keyword:
        base_query = base_query.join(PaperTags).join(CategoryTag).filter(
            CategoryTag.tag_name.ilike(f'%{tag_keyword}%')
        )
    
    results = base_query.paginate(
        page=page_number, 
        per_page=items_per_page, 
        error_out=False
    )
    
    return jsonify({
        'documents': [doc.serialize() for doc in results.items],
        'total_count': results.total,
        'total_pages': results.pages,
        'current_page': page_number
    })

3.3 PDF解析服务封装

# processors/pdf_processor.py
import requests
import json

class SmartPDFParser:
    def __init__(self, config):
        self.service_endpoint = config['API_ENDPOINT']
        self.access_token = config['API_TOKEN']
        self.request_timeout = config.get('TIMEOUT', 60)
    
    def extract_metadata(self, pdf_path):
        """调用外部解析API提取元数据"""
        with open(pdf_path, 'rb') as pdf_file:
            files = {'document': pdf_file}
            headers = {'Authorization': f'Bearer {self.access_token}'}
            response = requests.post(
                self.service_endpoint,
                files=files,
                headers=headers,
                timeout=self.request_timeout
            )
        
        if response.status_code != 200:
            raise ExtractionError(f"API request failed: {response.status_code}")
        
        raw_data = response.json()
        return self._normalize_output(raw_data)
    
    def _normalize_output(self, api_response):
        """标准化API返回数据"""
        return {
            'title': api_response.get('paper_title'),
            'authors': api_response.get('author_list', []),
            'abstract': api_response.get('summary'),
            'year': self._parse_publication_year(api_response.get('publish_info')),
            'venue': api_response.get('journal_name'),
            'doi': api_response.get('identifier'),
            'references': api_response.get('cited_works', [])
        }
    
    def _parse_publication_year(self, info_string):
        """从出版信息中提取年份"""
        import re
        if not info_string:
            return None
        year_match = re.search(r'\b(19|20)\d{2}\b', info_string)
        return int(year_match.group()) if year_match else None

class ExtractionError(Exception):
    """解析异常"""
    pass

4. 前端界面开发

前端使用HTML、CSS和原生JavaScript实现，提供直观的数据管理界面。

4.1 核心页面功能

• 文档库页面：展示所有文献列表，支持按标题、作者、标签筛选和分页浏览
• 上传页面：文件拖放上传区域，显示处理状态，解析完成后自动更新显示
• 详情页面：展示文献完整信息，包括元数据和摘要

4.2 文件上传组件

<!-- upload-interface.html -->
<div class="upload-section">
    <h3>导入学术论文</h3>
    <div id="drag-zone" class="drop-zone">
        <p>将PDF文件拖放至此处，或点击选择文件</p>
        <input type="file" id="file-selector" accept=".pdf" style="display: none;">
        <button class="btn-primary" onclick="triggerFileSelect()">选择文件</button>
    </div>
    <div id="selected-file-info" class="file-preview"></div>
    <button id="submit-button" class="btn-success" disabled>开始上传</button>
</div>

<script>
const dropZone = document.getElementById('drag-zone');
const fileInput = document.getElementById('file-selector');
const submitBtn = document.getElementById('submit-button');
let currentFile = null;

function triggerFileSelect() {
    fileInput.click();
}

['dragenter', 'dragover', 'dragleave', 'drop'].forEach(eventType => {
    dropZone.addEventListener(eventType, preventDefaults, false);
});

function preventDefaults(event) {
    event.preventDefault();
    event.stopPropagation();
}

dropZone.addEventListener('drop', function(e) {
    const transferredFiles = e.dataTransfer.files;
    if (transferredFiles.length > 0) {
        validateAndSetFile(transferredFiles[0]);
    }
});

fileInput.addEventListener('change', function(e) {
    if (this.files.length > 0) {
        validateAndSetFile(this.files[0]);
    }
});

function validateAndSetFile(file) {
    if (file.type === 'application/pdf') {
        currentFile = file;
        document.getElementById('selected-file-info').innerHTML = 
            `已选择: <strong>${file.name}</strong> (${(file.size/1024).toFixed(2)} KB)`;
        submitBtn.disabled = false;
    } else {
        alert('仅支持PDF格式文件');
    }
}

submitBtn.addEventListener('click', async function() {
    if (!currentFile) return;
    
    const payload = new FormData();
    payload.append('file', currentFile);
    payload.append('user_id', window.sessionStorage.getItem('userId'));
    
    submitBtn.disabled = true;
    submitBtn.textContent = '处理中...';
    
    try {
        const response = await fetch('/api/documents/import', {
            method: 'POST',
            body: payload
        });
        const result = await response.json();
        
        if (response.ok) {
            alert(`上传成功！文档ID: ${result.document_id}`);
            window.location.href = '/dashboard';
        } else {
            alert(`处理失败: ${result.error}`);
        }
    } catch (networkError) {
        alert('网络连接失败');
        console.error(networkError);
    } finally {
        submitBtn.disabled = false;
        submitBtn.textContent = '开始上传';
    }
});
</script>

5. 项目总结与扩展方向

本项目完整展示了从需求分析、数据库设计、后端API开发到前端界面实现的完整流程。通过集成PDF解析服务，系统实现了文献信息的自动化管理，相比传统CRUD系统更具实用价值和创新性。

可扩展方向：

• 引入Elasticsearch实现全文检索功能
• 利用解析的参考文献数据构建可视化引用关系图谱
• 支持批量ZIP上传并实现任务队列处理
• 添加笔记与标注功能，允许用户对PDF进行高亮和批注
• 基于用户收藏和标签行为构建智能推荐系统

本项目作为数据库课程设计，既能体现对数据库设计原理的掌握，又能展示解决实际工程问题的综合能力，是具有竞争力的作品方案。