想象一下，你问AI助手：“苹果公司2022年12月30日的市盈率是多少？“它却给你列出了2024年的所有财务数据，然后一本正经地回答了你的问题。这不是科幻，这是当前金融多模态RAG系统的真实水平。
当RAG（检索增强生成）技术在金融领域被吹捧为"颠覆传统投研"的神器时，一篇最新论文（2503.05185）用实证数据狠狠地揭开了这个领域最尴尬的秘密：现有的金融RAG系统，连"时间"这个最基本的金融分析维度都处理不好，更别说多模态融合了。
FinTMMBench：一个让所有RAG系统"见光死"的基准测试
这篇论文的核心贡献是构建了FinTMMBench——第一个专门评估时间感知多模态金融RAG系统的基准测试。这个benchmark的构建过程本身就充满挑战：
研究团队收集了2022年所有NASDAQ-100公司的财务数据，覆盖四种模态：财务报表（结构化表格）、财经新闻（文本）、每日股价（时序数据）、技术图表（图像）。在此基础上，他们设计了约100个模板，涵盖信息提取、趋势分析、事件检测等10类金融任务，自动生成问题-答案对，并经过金融专家审核和质量控制。
最终，FinTMMBench包含5,676个高质量问答对，每个问题都需要整合至少两种模态的信息才能正确回答。
而最关键的挑战设计在于：几乎所有问题都涉及精确的时间信息。例如：“苹果公司2022年12月30日的市盈率是多少？"——这个问题需要从表格中提取特定日期的数据，同时结合当日股价计算正确数值。
现有的RAG方法，包括GraphRAG和LightRAG，在这个基准上几乎全军覆没。
TMMHybridRAG：缝合怪式的解决方案
论文提出了一个名为TMMHybridRAG的新方法，核心思想是"双轨检索”——将稠密向量检索（dense retrieval）和图检索（graph retrieval）结合起来，并在实体-关系建模中引入时间信息。
具体流程是：
第一步：多模态实体提取。 对于非文本数据（表格、股价记录、图表），TMMHybridRAG使用多模态LLM生成文本摘要，将每个数据项转化为"实体”；对于新闻文本，则提取实体及其关系。时间信息被编码为每个实体和关系的属性。
第二步：双轨检索。 给定一个问题，同时从稠密向量索引和知识图谱中检索相关实体和关系。
第三步：多模态融合生成。 将检索结果连同原始数据一起输入多模态LLM，生成最终答案。
实验结果显示，TMMHybridRAG显著优于所有对比方法——但这个"显著优势"背后的数字是：F1分数只有31.41。
31.41分的F1，意味着什么？意味着即使是"最优"方案，也有接近70%的问题无法正确回答。对于一个需要精确性的金融分析场景来说，这个数字简直是灾难级的。
多模态金融AI的三大"时间伤疤”
TMMHybridRAG的表现揭示了多模态金融RAG系统的深层问题：
第一伤：时间一致性陷阱。 金融决策的核心是"在正确的时间做正确的分析"。但现有系统在处理跨模态时间对齐时几乎束手无策——股价数据是日级别的，财务报表是季度级别的，新闻是实时产生的。如何让这些异构时间粒度的数据在同一分析框架下正确协作，至今没有好的解决方案。
第二伤：表格理解的地狱难度。 财务报表的结构化程度虽然高于普通文本，但其语义复杂度远超普通问答数据。同一个数字在不同表格语境下可能代表完全不同的含义（如"净利润"和"扣除非经常性损益的净利润"），而当前的多模态LLM在细粒度表格理解上表现堪忧。
第三伤：图表与数值的语义鸿沟。 技术分析图表（如K线图、均线图）需要结合数值序列进行模式识别，但将图像内容转化为可计算的语义表示是一个尚未解决的难题。论文提到，他们用多模态LLM生成图表描述，但这本质上是一种"有损压缩"——图表中大量的视觉信息在这个过程中被丢弃。
为什么金融RAG的"虚假繁荣"该降降温了
这篇论文的可贵之处在于它没有回避问题。当行业里充斥着"金融GPT"、“AI投研助手”、“智能分析师"的营销叙事时，FinTMMBench用数据揭示了一个冷酷的事实：我们离真正可用的金融多模态AI系统，还有很长的路要走。
论文指出了几个关键瓶颈：
数据维度不足。 当前benchmark只能处理四种模态，而真实金融场景中还有监管文件、招股说明书、分析师电话会议纪要等更多模态的数据。
时间推理能力缺失。 现有的LLM在时间推理上存在根本性缺陷——它们缺乏对时间流逝的直觉理解，无法像人类分析师那样根据"上下文"推断日期区间的语义。
评估指标单一。 F1分数无法捕捉金融分析场景中"假阳性”（错误信息导致错误投资决策）的严重后果。需要设计更符合金融领域需求的评估体系。
未来方向：从"能用"到"好用"的鸿沟
论文在结论中呼吁更多研究者关注这个"被忽视的战场"。他们建立的benchmark和代码已经开源，GitHub仓库地址为：https://github.com/lijunfeng99/FinTMMBench
但开源本身不能解决问题。真正需要的，是重新思考多模态金融AI的基础架构，而不是在现有GPT系列模型上不断打补丁。
当一家公司用LLM分析一份2022年的财报来回答"当前"的投资问题时，没有时间感知能力的多模态RAG系统，本质上是一个"高性能的胡说八道生成器"。
这个31.41的F1分数，既是当前技术的天花板，也是未来突破的起点。
相关论文：arXiv:2503.05185 - “Towards Temporal-Aware Multi-Modal Retrieval Augmented Generation in Finance”