Relief系列算法通过度量特征区分样本的能力实现权重评估，在高维小样本场景中表现尤为突出。本文围绕MATLAB平台展开，从算法机理到工程实现，再到金融、医疗等领域的落地应用，系统梳理Relief及其扩展形式的完整技术链路。

Relief核心机制与权重计算原理

算法由Kira与Rendell于1992年提出，核心在于通过近邻样本的差异刻画特征重要性。对于任意样本，寻找其同类最近邻（Near-Hit）与异类最近邻（Near-Miss），特征权重依据下式更新：

W[j] = W[j] - |x[i,j] - nearHit[i,j]|/m + |x[i,j] - nearMiss[i,j]|/m

其中m为迭代采样次数。该机制使对区分同类/异类贡献大的特征获得更高权重。MATLAB中可通过自定义函数实现该逻辑，利用pdist2计算欧氏距离矩阵，通过逻辑索引快速定位近邻。

MATLAB完整实现流程

数据准备与清洗

以UCI数据集为例，导入后需处理异常值与缺失项。采用中位数填充策略保持数据分布稳定：

% 数据导入与预处理
rawData = readmatrix('dataset.csv');
[numSamples, numAttrs] = size(rawData);
featureMat = rawData(:, 1:numAttrs-1);
labelVec = rawData(:, end);

% 中位数填充缺失值
for col = 1:size(featureMat, 2)
    missMask = isnan(featureMat(:, col));
    if any(missMask)
        featureMat(missMask, col) = median(featureMat(~missMask, col), 'omitnan');
    end
end

% Z-score标准化消除量纲影响
featureMat = normalize(featureMat, 'zscore');

Relief算法主函数实现

封装核心迭代逻辑，支持自定义采样次数与近邻数量：

function weights = reliefCompute(X, y, iterNum, kNeighbors)
    [n, p] = size(X);
    weights = zeros(p, 1);
    classLabels = unique(y);
    
    for t = 1:iterNum
        % 随机抽取样本
        idx = randi(n);
        currentX = X(idx, :);
        currentY = y(idx);
        
        % 计算到所有样本的距离
        distVec = sqrt(sum((X - currentX).^2, 2));
        
        % 分离同类与异类距离
        sameMask = (y == currentY);
        sameMask(idx) = false;  % 排除自身
        
        diffMask = ~sameMask;
        
        % 获取k近邻索引
        [~, sameOrder] = sort(distVec(sameMask), 'ascend');
        [~, diffOrder] = sort(distVec(diffMask), 'ascend');
        
        sameIdx = find(sameMask);
        diffIdx = find(diffMask);
        
        % 取前k个近邻
        hitNeighbors = sameIdx(sameOrder(1:min(kNeighbors, length(sameOrder))));
        missNeighbors = diffIdx(diffOrder(1:min(kNeighbors, length(diffOrder))));
        
        % 累积权重更新
        for j = 1:p
            hitDiff = mean(abs(currentX(j) - X(hitNeighbors, j)));
            missDiff = mean(abs(currentX(j) - X(missNeighbors, j)));
            weights(j) = weights(j) - hitDiff + missDiff;
        end
    end
    
    weights = weights / iterNum;  % 归一化
end

特征筛选与模型验证

获取权重后，结合分类器进行交叉验证确定最优特征规模：

% 执行Relief计算
reliefW = reliefCompute(featureMat, labelVec, 500, 10);

% 按权重降序排列
[sortedW, featOrder] = sort(reliefW, 'descend');

% 递进式特征选择验证
featCounts = 5:5:50;
cvAccuracy = zeros(length(featCounts), 1);

for i = 1:length(featCounts)
    selected = featOrder(1:featCounts(i));
    subData = featureMat(:, selected);
    
    % 10折交叉验证
    cvModel = fitcknn(subData, labelVec, 'NumNeighbors', 5, ...
        'KFold', 10, 'Standardize', true);
    cvAccuracy(i) = 1 - kfoldLoss(cvModel);
end

% 选取最优特征子集
[~, optIdx] = max(cvAccuracy);
optimalFeatures = featOrder(1:featCounts(optIdx));

ReliefF与RReliefF扩展实现

多分类ReliefF改进

ReliefF针对多分类场景，引入多类最近邻平均策略。对每个样本，在其余各类中分别寻找近邻，权重更新公式扩展为：

W[j] = W[j] - Σ(P(c)/m)·diff_hit + ΣΣ(P(c)/m·diff_miss)

MATLAB实现中通过嵌套循环遍历各类别，利用accumarray高效统计类先验概率：

function weights = reliefFMulti(X, y, iterNum, k)
    classes = unique(y);
    numClass = length(classes);
    classProb = histcounts(y, numClass) / length(y);
    [n, p] = size(X);
    weights = zeros(p, 1);
    
    for t = 1:iterNum
        idx = randi(n);
        xCur = X(idx, :); 
        yCur = y(idx);
        distAll = pdist2(xCur, X, 'euclidean');
        
        % 同类近邻
        sameMask = (y == yCur);
        sameMask(idx) = false;
        [~, sOrd] = sort(distAll(sameMask));
        sIdx = find(sameMask);
        hits = sIdx(sOrd(1:k));
        
        % 异类近邻（逐类处理）
        misses = cell(numClass, 1);
        for c = 1:numClass
            if classes(c) == yCur, continue; end
            cMask = (y == classes(c));
            [~, cOrd] = sort(distAll(cMask));
            cIdx = find(cMask);
            misses{c} = cIdx(cOrd(1:k));
        end
        
        % 权重累积
        for j = 1:p
            hitTerm = sum(abs(xCur(j) - X(hits, j))) / (k * numClass);
            missTerm = 0;
            for c = 1:numClass
                if isempty(misses{c}), continue; end
                missTerm = missTerm + classProb(c) * ...
                    sum(abs(xCur(j) - X(misses{c}, j))) / k;
            end
            weights(j) = weights(j) - hitTerm + missTerm;
        end
    end
    weights = weights / iterNum;
end

回归问题RReliefF实现

RReliefF处理连续标签，核心在于将类别差异替换为标签差异的概率估计。引入可逆阈值参数τ控制邻域范围：

function weights = rReliefF(X, y, iterNum, k, tau)
    [n, p] = size(X);
    weights = zeros(p, 1);
    
    for t = 1:iterNum
        idx = randi(n);
        xCur = X(idx, :);
        yCur = y(idx);
        distX = pdist2(xCur, X, 'euclidean');
        
        [~, ord] = sort(distX);
        neighbors = ord(2:k+1);  % 排除自身
        
        % 标签差异作为权重系数
        dY = abs(yCur - y(neighbors)) / tau;
        wCoeff = dY ./ (1 - exp(-dY));  % 非线性变换
        
        for j = 1:p
            dX = abs(xCur(j) - X(neighbors, j));
            weights(j) = weights(j) + sum(wCoeff .* dX) / k;
        end
    end
    weights = weights / iterNum;
end

跨领域应用实践

金融风控：信贷违约预测

在某银行信用卡违约预测项目中，原始数据包含152维客户特征。应用ReliefF筛选后，保留前20维特征构建XGBoost模型，AUC从0.712提升至0.841，模型推理速度提升3.2倍。关键筛选出的特征包括：近6个月查询次数、额度使用率波动、历史最大逾期天数等，与业务经验高度吻合。

医疗诊断：肺癌早期筛查

针对CT影像组学数据（每例患者提取851维特征），采用RReliefF处理肿瘤良恶性预测问题。通过引入L1正则化辅助筛选，最终锁定7个核心影像特征，构建的逻辑回归模型敏感度达94.3%，特异度91.7%，较全特征模型减少83%的计算开销。

工业物联网：设备故障预警

旋转机械振动信号经时频域分解后产生高维特征集。利用Relief系列算法进行在线特征更新，结合滑动窗口机制实现动态权重调整。当设备工况发生漂移时，算法在200个采样周期内自适应识别出新的关键特征，保障预警系统持续有效。

算法选型与性能优化建议

MATLAB环境下可通过parfor并行循环加速迭代过程，对于百万级样本建议采用Mini-Batch策略分批处理。最终特征子集应通过嵌套交叉验证确认稳定性，避免单次随机采样的偶然性。