当多个 AI 智能体竞争同一个资源时，“轮流"真的公平吗？
这个问题听起来简单，但如果你认真思考，会发现它出奇地复杂。在传统的静态公平分配中，我们只需要在某一时刻决定谁得到什么。但在真实的多次交互场景中，智能体们在多个回合中反复竞争同一个资源——这时"公平"意味着什么？
一篇来自塞萨洛尼基大学的研究论文，对这个问题给出了系统性的答案。更重要的是，它发现了一个令人不安的事实：当前主流的 Q 学习智能体，在时序公平分配任务中表现竟然比随机策略还要差。
从"一次性分配"到"时序公平”
传统的公平分配研究，集中在"一次性"场景：给定一组物品和一组智能体，一次性地决定分配方案。这方面的经典概念包括：
- envy-freeness （无嫉妒）：没有人认为自己得到的比别人的差
- proportionality （比例公平）：每个人得到的不少于其应得的份额
- Nash 福利最大化：在效率和公平之间取得最优平衡
但现实世界的资源竞争往往是重复的。网络带宽分配、智能电网能源调度、交通信号控制、协作机器人——这些场景都需要智能体在多个时间片上反复竞争同一个资源。
论文的核心贡献，是提出了**时序公平（ Temporal Fairness ）**的概念框架：如何衡量一个多智能体系统在长期历史交互中，是否实现了公平的资源分配？
完美交替：时序公平的"黄金标准"
论文引入了**完美交替（ Perfect Alternation, PA ）**作为时序公平分配的理想状态。在 PA 下：
- 每隔 n 个回合（ n 为智能体数量），每个智能体恰好赢得一次资源
- 胜者的序列形成一个 n-周期的循环
- 每个智能体的平均"等待间隔"正好是 n-1 个回合
PA 同时满足时序比例公平和时序无嫉妒性，是重复博弈中公认的"黄金分配方案"。
两套评估指标： ALT 与 RP
论文提出了两套互补的评估指标：
ALT 家族：精确但昂贵
ALT （ Alternation ）家族通过滑动窗口来评估时序公平性。窗口宽度为 n ，滑过整个历史记录，计算每个窗口的"batch score"并求均值。
CALT （ Comprehensive ALT ）是其中最全面的指标，它惩罚同时到达（多个智能体同时赢得资源），奖励独占式获胜。 EALT 和 AALT 则分别关注独占性和覆盖率。
ALT 的缺点是计算复杂度为 O(ν·n)——随着回合数和智能体数量增长，计算代价快速上升。
RP 家族：轻量但有效
论文提出了**旋转周期性（ Rotational Periodicity, RP ）**作为 ALT 的轻量替代。
RP 将时序公平分解为两个正交维度：
- Rotational Score （ RS ）：衡量每个智能体的平均间隔与理想间隔的接近程度
- Waiting Periods Evaluation （ WPE ）：衡量智能体获胜频率与均匀分布的接近程度
RP 的计算复杂度仅为 O(ν+n)，比 ALT 快 12-25 倍。
关键发现：RP 与 ALT 的 Spearman 相关系数高达 0.95 以上——这意味着轻量的 RP 几乎能完全替代昂贵的 ALT 进行评估。
惊人发现： Q 学习智能体协调失败
论文最惊人的发现在于实验结果。研究团队在 2 、 3 、 5 、 8 、 10 个智能体的配置下，对比了 Q 学习策略和随机策略的表现。
传统指标（如 Reward Fairness ）显示 Q 学习表现"优秀"——对于 n≥3 的配置， Reward Fairness 超过 0.92 。
但 ALT 和 RP 指标讲了一个完全不同的故事：
| n | Q 学习 RP | 随机 RP | Q 学习 CALT | 随机 CALT |
|---|---|---|---|---|
| 2 | 0.538 | 0.687 | 0.315 | 0.486 |
| 3 | 0.114 | 0.488 | 0.134 | 0.359 |
| 5 | 0.047 | 0.242 | 0.059 | 0.243 |
| 8 | 0.015 | 0.138 | 0.025 | 0.147 |
| 10 | 0.007 | 0.098 | 0.016 | 0.111 |
Q 学习智能体在时序公平指标上，系统性地输给了随机策略。 差距最大时达到 73%（ n=3 时的 RP 指标）。
这意味着：Q 学习智能体根本没有学会"轮流"，反而学会了某种形式的机会主义——通过偶尔的获胜维持高奖励，但完全无法实现时序公平的合作。
传统指标 Reward Fairness 因为只看总体奖励分配，所以完全无法检测这种"协调失败"——这是一个严重的指标误导问题。
为什么 Q 学习会失败？
论文分析了这个现象的根本原因：
探索的不对称性：ε-贪婪策略在训练早期会探索各种策略，但一旦ε衰减，智能体就锁定在某种局部最优策略上——这种策略能带来即时奖励，但无法实现长期的轮替合作
缺乏通信：智能体之间没有显式通信机制，无法协调彼此的行为
时序信用分配问题：强化学习难以将长期目标（每 n 回合恰好获胜一次）有效地分配给具体的当前动作
这与多智能体强化学习领域已知的"协调失败"现象完全吻合。
实践启示：如何评估多智能体系统？
论文给出了实践指导：
对于大规模筛查：使用 RP 指标（计算快、可扩展），快速标记协调失败的系统
对于详细诊断：使用 ALT 指标，识别失败的具体类型——是时序垄断（ CALT ）、独占性不足（ EALT ）还是覆盖率低（ AALT ）
对于策略评估：永远不要只看 Reward Fairness 这类传统指标，时序公平指标是必须的
对于真实部署：如果 n>10 或需要实时评估，使用 RP ；补充 RF 和 E 来确认高 RP 分数反映的是真正的协调而非结构性假象
展望：如何让智能体学会"轮流"？
论文指出了几个有前景的研究方向：
- 基于 RP 的奖励塑形：将 RP 或 ALT 指标整合到奖励函数中，直接激励时序公平行为
- 大型智能体群体：当前研究限于 n≤10 ，更大的群体需要新的分析方法
- 异构智能体：不同优先级的智能体如何实现时序公平？
arXiv: 2605.14879 | Nikolaos Al. Papadopoulos | University of Macedonia | 2026-05-14