【综述类】论文——预测决策 来自： 深蓝学院全域星球 用户头像 爱搞技术的王同学 2024年08月13日 18:26 本文档搜集整理了关于「自动驾驶-预测决策」方向的综述文章，点击链接即可跳转至原文。 🔛不断更新中…… 大家有推荐的相关文章欢迎评论区补充🤝🏻 《Autonomous Driving at Unsignalized Intersections: A Review of Decision-Making Challenges and Reinforcement Learning-Based Solutions》 本文是关于自动驾驶在无信号交叉路口决策问题的综述，探讨了无信号交叉口自动驾驶决策应用的技术，重点关注强化学习（RL）和深度学习结合的算法。 自动驾驶汽车在城市环境中的决策制定是一个技术挑战，尤其是在没有交通信号的交叉路口。这些场景需要自动驾驶系统能够理解和预测其他车辆和行人的行为，以便安全有效地导航。文章的主要贡献是提出了一种新的方法，MLLM As ReTriever (MART)，它通过利用交互数据来微调一个多模态大型语言模型（MLLM）的检索器，从而提高具身智能体的性能。 文章首先介绍了自动驾驶在无信号交叉路口的挑战，包括如何处理复杂的多智能体场景和高度不确定性。作者指出，现有的检索方法主要关注轨迹的表面级文本或视觉相似性，而忽略了它们对特定任务的有效性。为了解决这个问题，MART 方法通过交互学习来增强检索器的性能，使其能够根据偏好学习来微调，从而充分考虑轨迹的有效性，并为未见任务优先考虑这些轨迹。 文章还介绍了一种新的轨迹抽象机制，它利用 MLLM 的摘要能力来表示轨迹，同时保留关键信息，使智能体能够更好地理解轨迹中的关键里程碑。这种方法在长时序任务中尤为重要，因为它可以减少所需的上下文窗口长度，并从轨迹样本中移除分散注意力的信息。 通过在不同环境中的实验，证明 MART 方法在未见场景中显著提高了任务成功率，与基线方法相比有显著改进。文章提出了一种新的多模态检索范式，通过微调通用目的 MLLM 作为检索器，以评估轨迹的有效性。 文章还讨论了相关工作，包括基于大型模型的具身智能体、智能体中的记忆检索、多模态信息检索等。 论文地址：https://arxiv.org/pdf/2409.13144 自动驾驶行为预测 1、 Behavioral Intention Prediction in Driving Scenes: A Survey 本文对驾驶场景中行为意图预测（BIP）的多个方面进行了全面综述，并提供了对现有数据集、关键因素、挑战、行人中心和车辆中心的BIP方法以及BIP感知应用的全面回顾。 在驾驶场景中，道路使用者频繁互动，并且需要理解周围环境，以便预测其他道路使用者的行为并期望安全移动。BIP通过模拟人类的考虑过程来预测特定行为，这对于自动驾驶车辆的决策制定至关重要。随着BIP的快速发展，也出现了新的挑战和问题。 文献指出，数据驱动的深度学习方法已成为BIP的主要途径，但目前该领域中的行为意图类型在大多数数据集和方法中仍然有限。例如，行人的行为意图类型通常限于过马路（Crossing, C）和不过马路（Not Crossing, NC），而车辆的行为意图则限于变道（Lane Changing, LC）。此外，针对安全关键场景（如接近碰撞情况）的BIP研究目前还相对有限。 通过对BIP的调查，文献揭示了该领域的开放问题，并为未来研究提出了可能的见解。这些见解可能包括对更复杂行为意图类型的探索、对安全关键场景的更深入研究，以及开发能够更好地理解和预测人类行为的算法。 论文地址：https://arxiv.org/pdf/2211.00385 2、 Social Interaction-Aware Dynamical Models and Decision Making for Autonomous Vehicles 本文对自动驾驶车辆（AVs）与人类道路使用者交互时的动态模型和决策制定进行了综述。文章强调了自动驾驶车辆需要理解和预测其他道路使用者的行为，以便能够安全、高效地进行交互。 本文首先介绍了自动驾驶车辆与人类道路使用者之间的交互的重要性，指出了在自动驾驶车辆的决策制定中考虑这些交互的必要性。文中提到，为了在混合交通环境中安全高效地运行，AVs 需要以类似人类的方式行事，并产生考虑与其他人类道路使用者交互的最优行为。这在减少潜在交通冲突方面至关重要。 接着讨论了人类道路使用者行为模型，包括驾驶员和行人的行为模型，这些模型对 AVs 来说具有多重意义。它们不仅可以用来评估和预测周围道路使用者的行为，还有助于 AVs 发展类似人类的行为。因此，这些模型既具有预测价值，也为模型/系统设计提供了相关见解。 除此之外，文章还涵盖了人类行为研究，包括影响驾驶决策的人类因素研究以及行人行为研究。这些研究有助于理解道路使用者之间的交互，以及如何将这些交互整合到 AVs 的决策制定中。 在交互建模方面，文章提供了对现有技术的广泛概述和分类，包括基于认知的方法、机器学习方法和博弈论方法。这些技术用于预测场景动态并确保 AVs 的安全行为。 最后，文章讨论了在交互场景中用于运动规划和决策的最新技术，并提出了与交互感知自动驾驶相关的潜在优势和风险，以及未来研究的关键问题。 综上，本文为自动驾驶车辆在交互感知动态模型和决策制定方面的研究提供了全面的概述，强调了在自动驾驶车辆技术发展中理解和模拟人类行为的重要性。 论文地址：https://arxiv.org/pdf/2310.18891 自动驾驶轨迹预测 1、Machine Learning for Autonomous Vehicle's Trajectory Prediction: A comprehensive survey, Challenges, and Future Research Directions 本文探讨了自动驾驶车辆（AVs）轨迹预测中使用的机器学习方法。 · 本文首先强调了人类错误在道路事故中所占的比例，突出了自动驾驶车辆作为减少这些事故的潜在解决方案的重要性。为了有效地在道路上导航，AVs 必须具备预测附近交通参与者未来行为的能力，这类似于人类驾驶员的预测驾驶能力。 · 接着提供了轨迹预测问题的概述，包括关键概念和术语的定义。它简要介绍了传统的轨迹预测方法，并对几种深度学习方法进行了全面评估，包括循环神经网络（RNNs）、卷积神经网络（CNNs）、生成对抗网络（GANs）、变分自编码器（VAEs）和变换器模型。每种方法都进行了简要总结，并伴有对其优缺点的详细分析。讨论进一步扩展到了基于强化学习的轨迹预测方法。 · 除此之外，还检查了轨迹预测任务中常用的各种数据集和评估指标。通过比较两种主要的学习过程，考虑特定的功能特征，鼓励进行公正客观的讨论。文章通过识别现有文献中的挑战和概述潜在的研究方向，为AV轨迹预测领域的知识进步做出了重要贡献。其主要目标是整合当前的研究工作，并提供未来视角，最终有利于该领域未来的发展。 · 文章的主要贡献包括： 提供了对AV轨迹预测方法的实证研究，特别关注基于机器学习的方法。 对传统的轨迹预测方法进行了简洁的评估，包括基于物理的方法、采样方法和概率模型，并讨论了它们的优点和缺点。 对用于自动驾驶车辆轨迹预测的流行深度学习和强化学习方法进行了全面评估。 提供了对评估轨迹预测方法性能所使用的指标和数据集的分析总结。 通过分析每种方法的优势和局限性，进行了方法比较。此外，识别了挑战和潜在的研究途径。 论文地址：https://arxiv.org/pdf/2307.07527 2、 A survey on robustness in trajectory prediction for autonomous vehicles 本文对自动驾驶车辆轨迹预测的鲁棒性问题进行了全面综述。 首先强调了自动驾驶车辆在进行轨迹预测时对准确性的依赖，这对于导航和碰撞避免的决策过程至关重要。然而，当前的轨迹预测模型表现出过拟合的迹象，可能会导致不安全或次优的行为。 为了解决这些挑战，文章提出了一个综合框架，对文献中用于评估和提高轨迹预测模型鲁棒性的定义和策略进行了分类和评估。这包括对各种方法的详细探索，如数据切片方法、扰动技术、模型架构变化和训练后调整。在文献中，我们看到许多有希望的方法可以增加鲁棒性，这对于安全和可靠的自动驾驶是必要的。 文章的主要贡献包括： 提供了对轨迹预测问题的正式化描述，包括其鲁棒性的定义。 引入了一个框架，涵盖了评估和提高轨迹预测鲁棒性的现有策略。 对于评估/改进策略，提供了具体方法的详细见解，以使轨迹预测模型更加鲁棒。 总结了调查的文献，并为未来关于轨迹预测鲁棒性的研究提出了具体方向。 本文还讨论了轨迹预测和鲁棒性的背景，包括预测模型的目标、标准评估方法、性能度量以及轨迹预测中的鲁棒性。鲁棒性在轨迹预测中意味着即使在面对扰动时也能产生一致的输出，这可以分类为对抗性和自然鲁棒性。对抗性鲁棒性涉及对模型输入的对抗性攻击的鲁棒性，而自然鲁棒性则涉及对符合实际驾驶物理约束并反映正常驾驶行为的扰动的鲁棒性。 在评估和提高鲁棒性的策略方面，文章提出了一个通用框架，包括通过数据修改评估鲁棒性的两种一般策略：在切片数据上测试和在扰动数据上测试。文章还描述了具体的方法，如场景重要性采样和地理重要性采样，这些方法可以用于评估和提高轨迹预测模型的鲁棒性。 最后，文章讨论了基于调查的文献，确定了直接解决轨迹预测鲁棒性评估和/或改进主题的研究论文，并识别了四个一般趋势。文章还指出了六个研究空白，包括对修改训练模型以增强鲁棒性的策略缺乏深入分析，以及对提高特定度量鲁棒性可能相互冲突的影响缺乏研究。 论文地址：https://arxiv.org/pdf/2402.01397 3、 A Survey on Deep-Learning Approaches for Vehicle Trajectory Prediction in Autonomous Driving 本文是一篇深入探讨自动驾驶车辆轨迹预测中深度学习方法的综述文章。随着机器学习技术的快速发展，自动驾驶已成为一个热门话题，对于更智能的感知和规划系统的需求日益迫切。自动驾驶车辆通过准确预测周围车辆的未来轨迹，可以避免交通事故。 文章首先介绍了自动驾驶中轨迹预测的重要性，强调了预测动态对象运动的传统方法，如卡尔曼滤波器、线性轨迹避让模型和社会力模型。随后，文章转向深度学习方法，这些方法通过优化损失函数自动学习特征，近年来吸引了研究者的广泛关注。 在深度学习方法的讨论中，文章详细回顾了几种最新的车辆轨迹预测方法，并提出了一些创新的想法。文章希望通过发布这份综述和代码，能够启发研究人员在作者所取得成就的基础上进一步提高轨迹预测性能。 文章的主要贡献包括： 1. 回顾和讨论了解决驾驶场景中轨迹预测问题的最近深度学习方法。 2. 实现并公开了其代码，展示了其卓越的性能。 在表示方法方面，文章讨论了两种主要的表示类型：图像和连续空间样本，用于描述每个车辆轨迹预测案例中的历史观测和未来预测。图像通常用于携带代理和道路观测，而一些研究者更喜欢使用稀疏点或折线来描述历史轨迹或场景上下文。 在建模方面，为了实现更好的预测性能，研究者提出了具有各种架构的新模型，如多层感知器（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）、图神经网络（GNN）。文章总结了一些常见的设计选择及其在特征编码、交互建模和预测头方面的差异。一些采用生成模型的方法也进行了回顾。 文章还讨论了输出表示，其中一些方法关注于改进输入数据表示、建模以及目标函数，并仅输出由单一模态表示的未来轨迹。为了获得有希望的结果，方法估计了额外的模态，如预测轨迹与真值的偏移、根据预定义评分指标的预测得分、每个轨迹预测或锚点的概率、最终位置的概率热图以及目标代理在目的地的航向或角偏移。 在生成模型方面，DESIRE 和 SMART 将轨迹预测视为条件采样和选择过程。识别模块首先将轨迹观测和预测真值投影到潜在空间。 最后，文章通过在 Argoverse 数据集上的结果展示了实现的 TNT 方法的性能，并与一系列指标和预处理技巧进行了公平比较。作者期望通过他们的工作进一步改进轨迹预测的准确性或效率。 文章的结论部分对现有的轨迹预测方法进行了全面的回顾，从预测问题的数学公式开始，将复杂的预测任务分解为三个组成部分：表示、建模以及学习和目标函数。文章还公开了 TNT 的版本，并详细介绍了实现细节。通过在 Argoverse 数据集上的结果公平比较，展示了作者工作的性能，并期望通过他们的工作进一步改进轨迹预测的准确性或效率。 论文地址：https://arxiv.org/pdf/2110.10436 自动驾驶感知与规划 1、 Milestones in autonomous driving and intelligent vehicles—part ii: Perception and planning 本文对自动驾驶感知和规划的发展进行了全面综述。 在感知方面，文章详细讨论了定位、目标检测、场景理解、目标预测和跟踪等关键技术。定位技术包括全球导航卫星系统（GNSS）和惯性测量单元（IMU）、视觉SLAM、激光雷达SLAM和融合SLAM等。目标检测部分则涵盖了车道检测、可行驶区域检测、交通标志检测和3D目标检测等任务。场景理解则包括语义分割、实例分割、全景分割、深度估计和流量估计等子任务。 规划模块则涉及全局路线规划、局部行为规划和局部轨迹规划。全局路线规划在道路网络中寻找最佳路径，而局部行为规划和轨迹规划则负责在短期内指导车辆的行驶行为和具体轨迹。文章还讨论了端到端方法和顺序规划方法，以及它们在实际应用中的挑战和潜力。 文章强调了自动驾驶和智能车辆研究的快速发展，并指出该领域已经进入了一个瓶颈期。作者希望本文能够为初学者提供一个全面的总结，并为研究人员提供新颖多样的见解，以实现新的突破。 文章的三个主要贡献是：提供了一个系统、全面且新颖的AD和IV关键技术发展的调研；在每个技术部分介绍了部署细节、测试方法和独特见解；并尝试作为连接过去和未来的桥梁，对AD和IV进行了系统的研究。 最后，文章总结了感知和规划在自动驾驶和智能车辆中的重要性，并强调了这些技术在实现安全、高效自动驾驶中的关键作用。作者期望这项工作能够为研究人员和初学者提供有价值的见解，并促进自动驾驶技术的发展。 论文地址：https://arxiv.org/pdf/2306.01980 2、 Motion Planning for Autonomous Driving: The State of the Art and Future Perspectives 自动驾驶的运动规划是实现车辆自主行驶的关键技术之一，它涉及到如何在复杂和动态变化的环境中，为自动驾驶车辆生成安全、高效和舒适的行驶轨迹。近年来，随着人工智能和机器学习技术的发展，自动驾驶运动规划领域取得了显著的进展。 在自动驾驶运动规划的研究中，主要有两种方法：模块化规划方法和端到端规划方法。 模块化规划方法，也称为流水线方法，是将整个规划过程分解为感知、定位、规划和控制等独立的模块，这些模块相互连接但相对独立。这种方法在工业界得到了广泛应用，因为它的模块化特性使得每个部分可以独立优化和测试。然而，这种方法的局限性在于模块间的交互可能导致整体性能的瓶颈，尤其是在处理复杂和动态的环境时。 端到端规划方法则试图直接从原始传感器数据到轨迹点或控制信号的映射，这种方法在处理车辆与环境的交互方面更为有效，因为它没有模块间的外部间隙，可以更直接地从数据中学习策略。端到端方法通常分为模仿学习、强化学习和并行学习等类型。模仿学习通过学习专家的驾驶行为来训练模型，而强化学习则通过与环境的交互来学习最优策略。 在自动驾驶运动规划的未来发展中，有几个关键的趋势和挑战。首先，随着技术的进步，自动驾驶车辆需要更好地处理不确定性，包括动态交通环境和其他交通参与者的不可预测行为。其次，安全性是自动驾驶最重要的考虑因素之一，因此如何在保证安全的前提下提高规划的效率和适应性是一个重要的研究方向。此外，随着自动驾驶技术的发展，如何将仿真环境中训练的模型有效地迁移到现实世界中，也是当前研究的热点之一。 在实际应用方面，自动驾驶车辆的测试和验证通常在模拟环境中进行，以减少潜在的风险。然而，模拟环境中的模型通常需要在现实世界中进行微调，以适应真实世界的复杂性。因此，建立专业且安全的半开放式自动驾驶验证站点对于技术的发展至关重要。 论文地址：https://arxiv.org/pdf/2303.09824 自动驾驶世界模型 World Models for Autonomous Driving: An Initial Survey 自动驾驶领域的世界模型（World Models）是一种新兴的技术，它通过模拟和预测环境来增强自动驾驶系统的决策能力。这些模型能够处理和解释大量的传感器数据，预测潜在的未来场景，并弥补信息的不足，对于提高自动驾驶的安全性和效率至关重要。 世界模型的核心在于它们能够模仿人类的认知过程，通过预测和适应动态环境来辅助决策。这种模型的发展经历了从20世纪70年代的控制理论到现代人工智能研究的转变，其中递归神经网络（RNN）和混合密度网络（MDN）等技术的应用，使得世界模型能够处理时间序列数据，预测未来状态，并实现抽象推理。 在自动驾驶中，世界模型的应用主要集中在两个方面：驾驶场景生成和规划控制。通过生成逼真的驾驶视频和环境，世界模型可以帮助自动驾驶系统在模拟环境中进行训练，提高其在复杂场景下的导航能力。此外，世界模型还能够在没有高清地图的情况下，通过预测未来的行动来规划驾驶路径。 尽管世界模型在自动驾驶领域展现出巨大的潜力，但它们在实际应用中仍面临一些挑战。例如，如何将模型在模拟环境中的训练成果转化为在现实世界中的有效性能，以及如何处理长期记忆和可扩展性问题。此外，随着技术的发展，还需要考虑如何确保世界模型的决策过程透明、可解释，并符合伦理和法律标准。 未来的研究可能会集中在提高世界模型的计算效率、增强其长期记忆能力、以及改善从模拟到现实世界的泛化能力。此外，随着自动驾驶技术的发展，世界模型有望在促进车辆与城市生态系统的和谐共存方面发挥更大的作用，例如通过优化路线和驾驶模式来减少环境影响。 论文地址https://arxiv.org/pdf/2403.02622 知识星球 扫码加入星球 查看更多优质内容