奥地利因斯布鲁克大学的两位研究人员开发了一种方法来确定人工智能 (AI) 系统理解“时间有效性”的程度，这一基准可能对 ChatGPT 等生成式 AI 产品的使用产生重大影响在金融科技领域。
时间有效性是指随着时间的推移，一个给定的陈述与另一个陈述的相关程度。
本质上，它指的是成对语句的基于时间的值。
正在评估预测时间有效性能力的人工智能将获得一组陈述，并被要求选择一个随时间关系最密切的陈述。在他们最近发表的题为“时间有效性变化预测”的预印本研究论文中，Georg Wenzel 和Adam Jatowt 使用了一个声明的例子，其中声明一个人正在公共汽车上读书。
在上面的例子中，最有效的上下文语句是“我只剩下几页了，然后我就完成了。”
由于目标语句表明公交车乘客当前正在读书，因此相比之下，其他两个无关紧要。
图片来源：Wenzel，Jatowt 2024。研究人员创建了一个带标签的训练示例数据集，然后用它来构建大型语言模型 (LLM) 的基准测试任务。
他们选择 ChatGPT 作为测试的基础模型，因为它在最终用户中很受欢迎，并发现与不太通用的模型相比，它的表现明显不佳。
CHATGPT 属于表现较差的模型之一，这与其他关于 TCS 理解的研究是一致的。
它的缺点可能是由于少样本学习方法和缺乏对数据集具体特征的了解。“这表明时间有效性在确定有用性或准确性方面发挥作用的情况——例如在生成新闻文章或评估金融市场时——与 ChatGPT 等更通用的服务相比，有针对性的人工智能模型可能会更好地处理这些问题。研究人员还证明，在法学硕士的训练周期中尝试时间值变化预测有可能在时间变化基准测试任务上获得更高的分数。相关：展望未来：业内人士预测 2024 年人工智能法律挑战虽然本文没有具体讨论实验本身之外的影响，但生成式人工智能系统目前的局限性之一是它们缺乏区分过去和现在事件的能力教导这些系统如何确定语料库中最相关的陈述（其中及时性是决定因素），可以彻底改变人工智能模型在加密货币和股票市场等大规模领域做出强大实时预测的能力。
