https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_3.png上一节我们概述了教程内容本节中我们来看看具体的问题设定。我们假设有一个包含n个相关时间序列的集合D。每个时间序列可以是多变量的即每个时间步有多个观测值。除了目标时间序列我们还可以有协变量这些协变量可以是动态的也可以是静态的属性。我们使用大写字母表示跨时间序列集合的堆叠表示并将跨越集合的维度称为空间维度。什么是相关时间序列我们假设数据是由一个潜在的随机过程生成的并且时间序列之间存在因果依赖关系。这意味着通过考虑集合中相关时间序列的观测值可以使对某个特定时间序列的预测更加准确。此外我们假设所有时间序列是同质的即每个时间序列的观测值具有相同的物理意义并且观测在时间上是同步且规则的。我们并不假设每个时间序列由相同的过程生成。虽然这些假设在实践中可能听起来很严格但通常可以通过适当的预处理步骤来满足并且可以在教程的第二部分放宽。示例交通监控系统交通监控系统是这类场景的经典例子。可以想象有许多传感器分布在交通网络中每个传感器获取其位置的交通测量值例如车辆的平均速度或数量。外生变量可以是日期时间信息或天气预报。静态协变量可以包括车道类型或是否存在交通信号灯等信息。在这些场景中时间序列集合之间存在强烈的依赖关系这些依赖关系反映了道路网络的结构。2预测任务与模型分类上一节我们定义了问题本节中我们来看看核心任务之一预测。预测的目标很直接从一个过去观测值的窗口我们想要预测未来h个时间步的观测值。具体来说我们希望通过学习数据生成过程的参数模型来实现这一点。在本教程中我们将重点讨论点预测器而概率方法也可以考虑。点预测器通常通过最小化衡量预测误差的成本函数来训练。使用不同的成本函数可以得到不同值的预测。例如使用均方误差MSE可以预测随机过程的均值而使用平均绝对误差MAE可以预测过程的中位数。现在在讨论预测架构时我们需要做出的第一个重要区分是局部模型和全局模型之间的区别。局部模型是过去几十年来通常用于预测时间序列的模型家族例如使用像 Box-Jenkins 方法这样的统计方法。这里的想法是模型的参数特定于你要处理的每个单一时间序列。这种方法的优点是由于模型是针对特定序列或特定过程定制的因此可以轻松处理集合中时间序列动态的异质性。缺点是效率低下包括计算效率低下因为需要训练许多不同的模型和样本复杂性方面的效率低下因为只使用单个时间序列的样本来拟合模型。在光谱的另一端我们有全局模型这是深度学习中通常采用的方法。这里我们有一个在来自不同来源的许多时间序列上训练的单一模型。这类似于如今人们所说的基础模型但通常范围更有限例如仅限于来自特定领域的时间序列。这里的优势显然是样本效率并且这种样本效率允许构建更复杂的架构来处理输入时间序列。这两种方法在其标准实现中的共同缺点是它们都忽略了时间序列之间可能存在的依赖关系。除了我们稍后将讨论的图表示之外文献中还有一些方法可以处理这个问题。最直接的做法是将输入的时间序列集合视为一个非常大的多变量时间序列但这显然存在严重的可扩展性问题因为它会遭受维度灾难导致样本复杂性高和计算可扩展性差。我们可以考虑在时间序列集合上操作的模型同时保持模型的参数在这些时间序列之间共享。基于注意力的架构如 Transformer就是这类模型的例子在这种情况下注意力是相对于空间维度而非时间轴计算的。这种方法可以工作得很好但缺点是我们没有利用依赖结构或其稀疏性的任何先验知识。文献中还使用了其他方法例如依赖于降维的方法。这里的想法是我们可以从这个大的时间序列集合中提取一些共享的潜在因子并使用这些因子来调节全局模型。如果数据在某些应用中具有低秩特性这种方法可以工作得很好。但缺点是我们失去了局部细粒度的信息而图基方法可以很好地捕捉这些信息。当然在数据集非常大的情况下这些方法也可能遭受与其他方法相同的可扩展性问题。3基于图的表示与时空图神经网络上一节我们介绍了预测模型本节中我们来看看如何使用图来表示和处理时间序列间的依赖关系。如前所述其思想是使用一个图来表示时间序列之间的功能依赖关系并将此图作为我们学习模型的归纳偏置。我们可以使用邻接矩阵来建模这些依赖关系邻接矩阵可以是非对称的和动态的即它可以随时间步变化。除了邻接矩阵我们还可以有边属性这些属性本身可以是动态的并且可以是分类的或数值的。回到交通示例图的结构邻接矩阵可以从道路网络的结构中提取并且可以有与边相关联的属性或权重来编码道路距离。在这种情况下动态拓扑可以帮助考虑交通网络结构的修改。这是我们在每个时间步可用的所有信息的总结我们有目标时间序列以及可以是动态和静态的外生变量再加上我们刚刚添加到设定中的关系信息。现在的想法是使用这种关系侧信息来调节我们的预测器预测架构。正如我们将看到的这些关系可以作为一种正则化使预测相对于每个节点局部化。特别是这些关系可以用来消除可能因未考虑此结构而产生的虚假相关性。此外这些方法比标准多变量模型更具可扩展性因为我们可以保持模型参数在处理的时间序列之间共享。事实上我们可以使用这类架构来预测和处理相关时间序列的任何子集。具体来说为处理这些数据而开发的图神经网络被称为时空图神经网络指的是在这些模型中传播同时跨越时间和空间发生。我们将特别关注那些基于消息传递框架的模型。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_5.pnghttps://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_6.pnghttps://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_7.pnghttps://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_8.pnghttps://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_10.pnghttps://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_12.png我们将通过考虑这个模板架构来实现该架构由一个编码器组成编码器简单地编码每个时间步和每个节点的观测值然后是一堆时空消息传递层这是架构中唯一发生跨时间和空间传播的组件。时空消息传递块提取的表示然后可以通过解码块映射到预测。我们可以查看更精细的细节处理发生在单个时间步和单个节点的级别对于编码器而言。生成的观测序列然后由时空消息传递层处理。解码器再次在单个节点和时间步的级别上运行将这些表示映射到预测。然后时空消息传递块可以有几种实现方式我们可以将其视为标准消息传递层的泛化其中不是每个节点有关联的静态表示而是有关联的表示序列。因此我们需要做的是修改组成消息传递架构的标准算子使其能够处理序列。显然有许多可能的设计可以做到这一点并且可以与每个特定应用的要求相匹配。下一步将是描述这些时空块的可能设计范式但在继续之前现在是提问或澄清任何疑问的好时机。4时空块的设计范式上一节我们介绍了时空图神经网络的基本架构本节中我们来看看其核心组件——时空块的不同设计范式。我们可以区分几种设计范式时空融合模型在这些模型中时间和空间的处理不能分解为单独的步骤它们是联合发生的。先时后空模型顾名思义它们将时间和空间维度的处理分解为两个独立的步骤。先空后时模型这基本上是先时后空模型的逆序。对于时空融合模型正如前面提到的表示在时间和空间上的传播方式使得最终模型架构的处理无法分解为独立的阶段。有几种方法可以实现这些架构。例如一种标准方法是将消息传递集成到序列建模架构中。另一种方法是直接使用序列建模算子来计算单层内的消息。最后还有乘积图表示这基本上是从这些时间序列集合中获取静态图表示的一种方式以便我们可以在其上使用标准消息传递算子。乘积图表示源于一个简单的观察你可以将时间维度视为一条线图并以某种方式将其与空间图结合起来。然后再次使用标准消息传递网络处理得到的表示。例如你可以考虑一个标准的笛卡尔积其中每个节点在每个时间步都连接到其邻居和自身在前一个时间步的状态。还有其他连接此图的方法例如克罗内克积其思想是将每个节点连接到其在前一个时间步的邻居。你也可以想出许多不同的方法来连接这个图。然后是先时后空方法这也很容易理解并且由此产生的模型也很容易构建。其思想是分别将每个序列嵌入到一个向量表示中然后在得到的图上执行消息传递。这里的优势是这非常容易实现并且在计算上高效因为在训练时你不需要在每个时间步都执行消息传递而只在最后一步执行。我们也可以使用我们已经知道的所有处理序列和图的算子。这种方法的缺点是这种两步过程可能会引入非常严重的信息瓶颈并且可能使我们在图上常见的一些问题如过度平滑和过度挤压变得更加严重。此外由于你只针对单个图表示执行消息传递这也使得考虑拓扑变化和动态边属性变得更加困难。然后是先空后时方法这基本上是另一种方式你在每个时间步分别执行消息传递然后用序列模型对表示序列进行编码。这些方法在文献中经常使用但它们仍然存在这种瓶颈和这种分解处理可能使信息传播更加困难并且它们不像先时后空模型那样具有计算优势因为你需要为每个单一时间步计算消息传递。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_14.pnghttps://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_16.pnghttps://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_18.pnghttps://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_19.png5全局性与局部性及混合架构https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_21.pnghttps://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_23.png上一节我们讨论了不同的设计范式本节中我们来看看全局性与局部性在时空图神经网络中的重要作用。至少在我们讨论的模板实现中时空图神经网络是全局模型因此它们可以处理任意的节点集是归纳模型。它们可以使用依赖结构为预测提供进一步的调节。然而这种进一步的调节可能还不够模型可能在建模时间序列集合中可能存在的所有异质动态方面遇到困难。因此模型可能需要非常长的观测窗口和非常高的模型容量以考虑所有这些可能存在的不同异质动态。文献中遵循的一种解决方法是考虑混合的全局-局部架构。实现混合架构的一种直接方法是例如再次查看我们的模板架构将某些架构组件转变为局部的。例如你可以使编码器和解码器的参数特定于将在那里处理的时间序列。显然由此产生的模型将能够更容易地捕捉这些局部效应。你可以将此视为类似于使用骨干模型并有一些针对你要处理的数据类型进行微调或特定的层。当然缺点是如果你想使用这种方法处理许多时间序列这将导致大量的局部参数具体取决于这些编码器和解码器块的实现方式。节点嵌入是缓解这种成本的一种方法节点嵌入只是与每个节点相关联的可学习参数向量。你可以将这种节点嵌入视为一种可学习的位置编码但它们在这里所做的实际上不是编码节点在图中的位置而是负责建模每个时间序列的特定特征的局部组件。这些可学习的向量可以被馈送到编码器和解码器中正如我所说它们分摊了这些局部时间序列特定处理块的学习允许保持大部分模型参数共享。显然我们仍然存在可学习参数数量与我们要处理的时间序列数量成线性比例的缺点。因此可以考虑一些中间解决方案例如为时间序列集群学习嵌入而不是为每个单一序列学习。这里需要考虑的另一个非常重要的问题是当我们转向混合架构时由此产生的模型不再是归纳式的。这听起来像是一个缺点实际上也是你肯定会失去一些灵活性但在实践中你在迁移学习场景中也获得了一些东西。在那些你可以使用来自目标域的一些数据来微调模型的场景中拥有混合架构允许保持模型的共享参数即大部分全局组件共享只微调局部部分在这种情况下只微调嵌入。特别是文献表明正则化这些节点嵌入可以进一步促进这种迁移学习过程。6软件演示与库介绍上一节我们探讨了理论架构本节中我们来看看如何通过软件库实际构建时空图神经网络。我们将使用我们实验室开发的一个名为Torch Spatiotemporal (TSL)的开源库。TSL 不仅仅是一个层的集合它旨在覆盖从数据获取到下游任务的整个流程。它包括加载数据集、应用预处理如缩放和归一化、处理缺失数据和不规则性的工具以及建模和推理的所有部分。演示步骤概述安装与导入安装必要的依赖并导入库。加载数据使用 TSL 加载一个交通数据集例如 METR-LA该数据集包含来自洛杉矶 207 个环形检测器的交通速度数据采样间隔为 5 分钟。数据探索查看数据集的基本信息、统计数据和协变量如传感器间距离。图构建当没有现成的关系图时可以从数据中构建图。例如基于传感器距离使用高斯核计算相似度矩阵然后通过阈值化、移除自环、归一化等步骤将其转换为稀疏的邻接矩阵边索引格式。创建时空数据集将长时间序列分割成滑动窗口样本用于模型训练。这涉及定义回看窗口长度、预测范围horizon和步长stride。定义模型我们将构建一个自定义的先时后空模型。该模型将包括节点嵌入表用于捕获每个时间序列的局部特性。编码器一个简单的特征编码步骤如线性层或 MLP应用于每个节点和时间步。时间部分一个序列模型如 GRU用于处理每个节点的时间序列并取其最后隐藏状态作为该节点的时序表示。空间部分在图结构上执行消息传递例如使用扩散卷积聚合邻居信息。解码器一个 MLP将聚合后的节点表示映射到预测值。训练与评估使用 PyTorch Lightning 框架设置训练循环、验证和测试。我们将使用常见的预测指标如 MAE、RMSE来评估模型性能。这个演示展示了使用 TSL 库构建和训练一个时空图神经网络的完整流程突出了其易用性和灵活性。7挑战一可扩展性上一节我们进行了软件实践本节中我们来看看应用图深度学习处理时间序列时面临的第一个主要挑战可扩展性。可扩展性实际上是一个特性因为使用图我们可以实现一个单一的归纳模型全局模型同时仍然以稀疏的方式调节相关时间序列。我们不会将整个时间序列集合或仅其中一个作为输入给模型而是使用我们认为对预测目标时间序列最相关的时间序列。这样做我们将考虑所有其他时间序列的通常操作成本从与时间序列数量成二次方降低到与这些边的数量即我们发现的依赖关系成线性关系。但可扩展性也可能是一个问题因为数据跨越两个维度第一个是空间维度即我们拥有的时间序列数量另一个是时间维度即每个时间序列中的时间步数量。在现实世界的应用中处理高频时间序列和大规模时间序列并不少见例如在智慧城市中的交通预测或环境监测或者在金融领域。通常的问题是我们有大量数据我们希望一起处理它们特别是当我们想要考虑可能在时间或空间或两者上都存在的长程依赖时。时空图神经网络的计算复杂性如果我们考虑一个时空融合模型的一般公式它们通常需要一些逐节点的时间处理并且还具有通常随时间步数量扩展的空间处理。例如对于基于图的循环神经网络在每个时间步我们执行 L 层消息传递。因此我们需要执行的消息传递操作次数乘以输入的时间步数。改进这种可扩展性的第一步是由先时后空模型提供的其中只有时间处理仍然是逐节点的然后我们只在一个单一的图上执行消息传递就像我们只有一个时间戳一样。在这种情况下我们相对于边和时间步具有加性的计算复杂性而不是乘性的。正如我们之前所见先空后时模型并不具备这种优势。进一步的解决方案当图非常大或存在非常长程的依赖时这可能还不够。其他可能的解决方案包括子图采样考虑全网络的子图例如选择目标节点的子集然后仅考虑该子集上直到给定阶数的邻域的自我图ego-graph然后仅在此子集上进行训练。另一种选择是通过图重连来减少边的数量。这些方法实际上是从静态图社区借鉴的。问题是如果我们使用非常小的 K子采样可能会破坏长程依赖如果我们使用大的 K我们可能最终得到原始图或类似的东西。另一个缺点是学习信号可能有噪声。预计算将部分计算移到训练之前。例如SIGN 架构预计算节点邻居的某些表示然后允许我们将获得的特征像 IID 样本一样采样。扩展到时空设置的扩展是 GraphGPS其中除了节点特征的预计算外我们还通过一个状态网络如深度 RNN对每个节点的历史进行预编码。然后我们可以使用给定图移位算子的幂来在图上传播这些编码。这减少了训练步骤的成本使其独立于窗口长度、节点数或边数。但缺点是我们现在提取了越来越多的特征下游网络的输入向量维度比初始时间序列大得多并且更依赖于超参数选择。使用粗粒度表示在处理的每个步骤中我们可以降低输入在时间和空间上的分辨率。对于空间我们可以依赖图池化技术通过将节点子集关联到新图中的超节点来减小图的大小。这样做可以减少达到与原始图相同感受野所需的操作次数但也会在信息传播中引入瓶颈。8挑战二缺失数据处理上一节我们讨论了可扩展性本节中我们来看看第二个挑战处理缺失数据。到目前为止我们假设处理的是完整的序列即在每个时间步和每个节点我们都观测到一个有效的观测值。当然在现实世界的应用中并非如此由于传感器故障可能是暂时的或永久的、时间序列之间的不同步或其他错误我们通常会有缺失数据。问题是大多数预测方法不考虑这个问题它们假设处理的是完整序列。因此我们需要一种方法来填补这些缺失值以重建输入中的缺失数据。时间序列插补问题正是估计时间序列中缺失观测值的问题。我们有一个辅助的二元变量掩码M指示一个值是缺失的还是可用的。最终我们想要为所有掩码输入为零的值提供一个估计。缺失数据类型点缺失类似于完全随机缺失的情况一个点缺失的概率在节点和时间步之间是相同的。块缺失缺失的分布不独立于其他节点或时间步的缺失数据。例如我们可能有连续缺失值的时间块或者由于区域中断导致的部分块缺失。当存在缺失值时我们需要在优化模型参数时进行一些调整。我们只想在已有的有效观测值上计算损失。例如MSE 损失然后由掩码加权以表明我们只考虑问题中真正可用的值。这个损失通常用于带有缺失值的预测或者当我们在进行插补时计算我们已有的数据的重建损失。有时为了训练我们的模型或评估我们的模型我们可能需要注入一些缺失值然后以这种方式我们获得真实标签。当然这些数据不能用于模型中以获得插补值。深度学习方法自回归模型例如 RNN。当我们发现缺失值时我们使用循环神经网络的预测来插补缺失值。这有效地利用了我们在单个节点上拥有的所有过去信息如果我们使用双向模型还可以考虑未来的观测。但如果我们有一个缺失值的时间序列我们在这里是连续地使用 RNN 的预测来更新、提供该值的预测因此可能会沿着时间块产生误差累积。另一个缺点是这种方法难以捕捉数据中可能存在的非线性空间和时间依赖。利用关系信息我们可以使用我们拥有的关系信息来调节模型。例如GRIN 模型将图处理集成到我们刚刚看到的自回归方法中。消息传递允许我们考虑相关的并发观测。这在给定节点有长序列缺失值但在相邻节点仍有信息时非常强大。插补通常作为下游任务例如预测的预处理步骤。这通常是必要的因为预测模型期望完整的序列作为输入。因此通常的流程是先插补缺失值然后进行预测。当然这可能会由于插补中的错误而引入偏差。另一种用例是使用插补模型代替预测模型。我们可以想象有一个比我们拥有的更长的序列但充满了缺失值。在这种情况下我们也可以采用本质上不用于此目的的插补方法。但这当然是一种变通方法由于缺乏值性能也可能很差。如果我们使用的方法强烈依赖于值例如边界这不是一个好的选择。更直接的方法是避免这种重建步骤直接处理不规则的观测。在这种情况下我们做的是拥有一个专门设计用于处理可能不完整值的预测时空图神经网络。这样做的几个好处是我们现在可以直接学习如何仅利用有效观测我们不需要插补或携带我们对缺失值的某些估计并且这是专门为我们手头的下游任务完成的。此外我们还避免了通常在预处理的插补步骤中带来的计算负担。除了插补另一个可以考虑的重要主题是虚拟传感即使用我们模型中的数据来估计不可测量的数据状态的做法。如果我们有一组节点我们可能想知道在我们数据中没有的给定节点上的相应观测值。在这里我们可以看到图在做这件事上的力量因为我们可以利用这些关系依赖来调节估计。这实际上就是我们在某种空间在这种情况下是传感器空间中接近的数据上调节估计所做的。由于消息传递的归纳特性我们可以非常容易地引入新的节点和边。这在虚拟传感作为成本的应用中也很有用。9挑战三隐图学习上一节我们讨论了缺失数据本节中我们来看看第三个挑战隐图学习。我们目前所看到的一切都依赖于我们确实有一些关系来连接我们的时间序列但如果这样的信息不可用怎么办当然我们可以想象一些场景我们有多个时间序列但没有给出任何关系或者我们有一些时间序列或一些关系但我们并不知道所有关系其他场景也可能是给我们的信息不可信因此我们不能假设它们足够可靠所以我们想从数据中学习它们。事实上从我们拥有的时间序列中学习关系的能力使得我们可以将目前所看到的一切也应用到其他场景中。学习这类关系之所以重要是因为为了真正依赖图神经网络我们期望从数据中提取的图在某种意义上是稀疏的这样我们就可以依赖之前介绍的所有优势例如低计算量、可扩展性与边数成线性关系而不是与节点数成二次方关系。这在某种程度上也可以作为我们注意力机制的正则化器这样我们就可以移除或丢弃我们知道或发现与改进预测无关的多个连接从而只关注最相关的连接。隐图学习方法基于相似性的方法计算所有时间序列对之间的某种相似性例如皮尔逊相关性或格兰杰因果关系构造一个存储所有这些相似性的矩阵然后可能应用某种阈值化以获得稀疏图。基于图信号处理的方法假设图在某种意义上是决定我们可用时间序列实现的基础。这通常依赖于信号平滑性等假设并通过优化特定损失如信号的总变差来尝试恢复决定我们观测的拓扑结构。面向任务的隐图学习以更集成的方式处理这个问题我们学习关系的方式使得我们的模型最终在所考虑的任务上表现最佳。我们优化下游任务损失并且可能希望进行端到端学习。这与之前的方法不同在之前的方法中我们基本上先训练模型或学习关系然后应用它们或与正在优化的模型一起考虑它们。对于面向任务的隐图学习我们有两种主要方法直接方法我们的图被建模为一个实数矩阵A ∈ R^(n×n)我们试图优化它以最大化下游任务的性能。图A可以建模为一些边得分参数Φ的函数C。Φ可以是可学习参数矩阵也可以是输入数据的函数。函数C用于强制执行不同类型的结构例如通过阈值化获得二元矩阵、K-NN 图、树等。为了处理参数数量与节点数平方成正比的问题通常利用因子分解例如使用源节点和目标节点的嵌入矩阵Z_s和Z_t通过乘积或函数来提取参数Φ。概率方法学习一个随机变量A它根据某个参数化分布P_Φ分布。通常这允许A是离散对象例如二元矩阵。关键挑战是在基于梯度的优化中检索到一个稀疏的A。这通常通过重参数化技巧或得分函数梯度来实现。重参数化技巧允许梯度通过函数g流向参数Φ但通常需要连续的松弛因此在训练期间计算不能是稀疏的。得分函数梯度允许计算保持稀疏因为A可以保持离散和稀疏而梯度部分被转移到对数似然的微分上但可能会带来梯度方差大的问题。学习图分布的主要目的通常只是为了从学习过程中获得离散或稀疏的图但我们拥有的是一个概率模型因此我们可以查看学习到的边概率看看它们是否能为我们的应用提供有价值的见解以实现可解释性和更明智的决策。一个有趣的问题是由于图是隐变量在真实数据中我们没有任何关于它们的观测这使得我们很难评估通过端到端学习过程从数据中提取的边概率是否在任何意义上都是有意义的。我们可以从理论角度研究学习保证以某种方式绕过这个问题。我们发现如果我们能够最小化某些损失这些损失仅在两个分布相同时为零那么在某些假设下与隐变量相关的概率分布也需要等于生成观测数据的真实分布。这令人放心确实以这种方式处理图可以提供有趣且可靠的边概率。10挑战四模型质量评估与未来方向上一节我们探讨了隐图学习本节中我们来看看最后一个挑战模型质量评估并简要展望未来方向。我们拥有所有这些模型、原始数据和预测最后一个问题当然是我的模型到底有多好我们的损失已经为我们提供了一个拟合优度的度量但随着时间序列数量的增长、时间序列长度的增加以及时间序列之间错综复杂的相互依赖关系训练过程中产生的单个数字可能有点局限难以理解发生了什么以及一切是否按预期工作。除了询问我们的模型是否良好之外我们还希望询问我们的模型是否最优以及是否存在某些区域或方面例如时间处理或空间处理可以从进一步的设计改进中受益。最后当然问题是一旦我确定了模型可能需要改进的地方我需要解决方案或指南来采取行动以实际实现这些改进。最优性通常取决于你选择的标准例如优化预测损失如平均绝对误差但也不一定如此。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_25.png相关性分析研究时间序列之间的相关性是理解我们的预测或我们试图建模的数据中是否存在我们无法从数据中提取的信息的一种方法。具体来说如果我们看到残差预测与实际观测之间的差异之间存在一些依赖关系这意味着我们的残差中留下了我们的模型无法提取的结构信息。从这个意义上说我们的模型还有进一步改进的空间因为数据中存在结构信息。因此相关性分析在某种意义上独立于我们感兴趣的性能指标类型。当然它并没有告诉我们我可以改进多少只是说存在一些相关的数据所以你可能可以做得更好。但最终这也是有趣的因为它不需要进行比较分析。我不需要两个项来说看这两个我可以说哪个更好它在某种意义上是绝对的答案。到目前为止大多数研究都集中在序列相关性沿时间维度的相关性上但也有研究空间维度相关性的工作。这里我提出了一种时空方法同时处理空间和时间。这些工作如下从我们的数据中我们在每个时间步都有我们的图和观测值因此我们可以通过不仅连接空间维度上的边还连接时间维度上的边来构造这个时空图。通过查看相关的单一统计量例如残差内积的符号我们设计了一个非常简单直接的测试以了解数据中是否还存在一些相关性。这分为两部分一部分处理偏相关红色部分另一部分仅处理时间相关。虽然原则上研究相关性应该查看残差之间所有可能的相关性节点数和时间数的平方但这里我们只关注最相关的那些即更可能导致相关性的所有可能连接。这就是为什么图允许我们设计统计上强大的统计检验尽管数据维度增长很大。最终由于我们使用了符号这使我们得到无分布的统计检验并且这些检验与节点数量成线性比例。因此这是一个可以在图级别全局应用的检验同时考虑空间和时间可以拆分仅查看空间或时间但也可以通过查看单个节点或单个时间步甚至更局部化的空间和时间来进入更精细的细节。未来方向分层建模考虑更高阶的依赖关系通过创建节点或甚至沿时间维度的层次结构如池化允许我们考虑更粗粒度的尺度同时也能触及数据中更远的信息。状态空间模型具有本质上是马尔可夫性的内在优势观测或预测仅从我们系统的当前状态做出并且该系统在每个时间步从先前状态更新并且可能由输入图驱动。这解耦了所有三个维度输入、状态和输出允许我们拥有具有不同关系的不同类型的图可以用于分层建模或其他原因为不同目的使用不同的图。归纳学习我们的监控环境可能发生多种问题例如拓扑变化、新节点添加到我们的网络例如我们还没有节点嵌入因此我们需要进行一些调整以将我们的模型应用于这些新设置甚至将整个模型迁移到新网络。基准测试需要解决另一个主题。我们有一些大型开放数据集主要涵盖能源和交通流这类模型从一开始就是为此设计的但这当然还不能提供全面的基准测试环境。我们也有一些软件如 Torch Spatiotemporal但尚未接近 Open Graph Benchmark 的水平。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/ff9d476a8b35c0eb1dc5acf292f1d5c2_27.png总结在本教程中我们一起学习了用于建模时间序列的框架该框架结合了时间序列的深度学习和图的深度学习。这两种的结合在多个应用中证明是极其富有成果的。这不仅使我们能够提高性能而且在更精细的层面上我们有可能共享参数从而获得更好的训练数据与模型复杂度比率并且克服了数据中可能存在的所有问题例如缺失数据或其他不规则性。最后我们建议将全局-局部模型作为建模此类应用的安全起点。我们讨论了挑战并希望您对我们的教程论文和 Torch Spatiotemporal 库感兴趣。图机器学习会议 Learning On Graphs Conference 2024 p08 P08_Closing_Remarks -BV1k9pAzpE8S_p8-So this year we had 16 local meetups around the globe。some of them have already taken place and some of them will be happening in a few weeks time。and we are grateful to all the organizers for the local meetups and we look forward sharing to seeing your photos around the globe as your local meetup。So this is the third edition of log and we’ve already had three years of log in the virtual format and we’re truly excited to announce that for our log next year it will be the first in-person log conference happening in UCLA Los Angeles in the USA we’re really excited about this and the success of log cannot be made possible without everyone participating and contributing to log conference in the past three years we will still be making the virtual format as an option and we will be announcing more details when the time comes and so we look forward to seeing every one of you in Los Angeles next year for our first in-person log conference ever。So if you really enjoyed log this year and you wanted to contribute to our conference either to become a committee member or reviewer。we will be sending out our public calls in the next few weeks so stay put for our public calls for new committee members and reviewers or if you want to submit the paper or host tutorials next year or any kind of feedback we welcome you to fill up the feedback form we will also be sending out the link in the Slack channel。any kind of feedback is welcomed and we are committed to constantly improving our log conference over the years。So here comes the exciting part I will be announcing the award for the best papers。top ACs and top reviewers。So this year we had 194 submissions with 79 posters and out of all of these wonderful papers。the best paper goes through。Drum roll please。Decomposing force fields as flows on graphs reconstructed from stochastic trajectories。congratulations to the authors the paper was selected due to its significance by modeling the dynamics of a stationary launch one process as a discrete state remarkable process over a graph representation of the phase space This paper unlocks new applications of graph based learning the authors showcase this by decomposing the dynamics into reversible and irreversible components to study biological systems Congratulations to the authors for this truly remarkable achievement。We also have a best paper honorable mention and this goes to。Unravel。a neuro symbolbolic framework for answering graph patternss and curiousries in knowledge graphs。This paper introduces a framework for efficiently answering arbitrary graph pattern queries over incomplete knowledge graphs。encompassing both tree like andcyclic queries which serves as a key advance in neuro symbolic frameworks for answering graph pattern queries in knowledge graph congratulations again to the authors for their wonderful paper。And our conference cannot be made possible without the contribution and services from our area chs for coordinating between the authors and reviewers and for writing their final recommendations and this year we had three top area chairs and these go to Basing Ri。Pear Vi Covich and Robin Walters。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_1.pngWe’d like to thank them for their active engagement throughout the reviewing process interaction with the reviewers and timely matter review that supports their recommendations and our decisions thank you so much for your service。。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_3.pngWe also have three area chairs honorable mentionsions and these go to。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_5.pngMichael Kohi Haga Marron and Michael Parramat and we’d like to thank them for ensuring all official reviews are received in their batchs and serving as emergeies AC。Thank you so much again for your service to the log。。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_7.pngAnd now here comes to the top reviewers we’d like to thank all the reviewers of our conference who volunteered to take out their time to read papers。write reviews and engage with the authors。And this year we have。32 top reviewers。thank you so much for writing the reviews and contributing to our event and we will contact you individually for the monetary rewards and thank you for your high quality reviews that keep our review quality high at our lab conference this year。。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_9.pngSo here comes to the end of our conference thank you so much again for attending and participating in our conference。we’d like to thank everyone from the Graph and Gemetric andL community for making a lot conference possible and we’d like to see you in our law conference next year happening in Los Angeles USA and we welcome any kind of feedback so here’s the link for a feedback form and feel free to let us know anything you think about our about our event so thank you so much again and see you next year in UCLA。。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_11.png图机器学习会议P08闭幕致辞与展望 在本节课中我们将一起回顾2024年图机器学习会议LOG的闭幕环节。本节内容将涵盖会议成果总结、重要奖项公布以及关于未来会议的展望。全球社区活动回顾 今年我们在全球范围内组织了16场本地聚会。部分聚会已经成功举办另一些将在未来几周内举行。我们衷心感谢所有本地聚会的组织者并期待看到你们在全球各地分享的聚会照片。会议发展历程与未来展望 上一节我们回顾了今年的社区活动本节中我们来看看会议本身的发展。这是LOG会议的第三届。我们已经以线上形式成功举办了三年现在非常激动地宣布明年的LOG会议将首次以线下形式举行地点在美国洛杉矶的加州大学洛杉矶分校。LOG会议的成功离不开过去三年每一位参与者和贡献者的支持。我们仍将保留线上参与的选项并在时机成熟时公布更多细节。我们期待明年在洛杉矶的首届线下LOG会议上与大家相见。参与贡献的邀请 如果你非常喜欢今年的LOG会议并希望以委员会成员或审稿人的身份为会议做出贡献我们将在未来几周内发布公开招募通知。以下是几种参与方式请关注我们关于新委员会成员和审稿人的公开招募。如果你希望明年提交论文或主办教程。或者有任何形式的反馈我们都欢迎你填写反馈表。我们也会在Slack频道中发布链接。我们欢迎任何形式的反馈并致力于持续改进LOG会议。最佳论文与贡献者奖项公布 现在进入激动人心的部分我将宣布最佳论文、杰出领域主席和杰出审稿人奖项。今年我们共收到194篇投稿其中79篇进行了海报展示。在所有出色的论文中最佳论文奖授予了《将力场分解为基于随机轨迹重建的图上的流》。该论文因其重要性而被选中它通过将平稳朗之万过程的动力学建模为相空间图表示上的离散状态马尔可夫过程开辟了图学习的新应用。作者通过将动力学分解为可逆和不可逆分量来研究生物系统展示了这一成果。祝贺作者们取得的这一卓越成就。我们还有一个最佳论文荣誉提名奖授予了《Unravel一个用于回答知识图谱中图模式查询的神经符号框架》。该论文引入了一个框架用于高效地回答不完整知识图谱上的任意图模式查询涵盖了树状和循环查询这是在知识图谱中回答图模式查询的神经符号框架领域的一项关键进展。再次祝贺作者们的出色论文。杰出服务贡献者致谢 我们的会议离不开领域主席在作者与审稿人之间的协调、撰写最终推荐意见所做出的贡献和服务。今年我们有三位杰出领域主席他们是Basing Ri, Pear Vi Covich 和 Robin Walters。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_1.png我们感谢他们在整个审稿过程中的积极参与、与审稿人的互动以及及时、重要的评审工作这些工作支持了他们的推荐意见和我们的最终决定。非常感谢你们的服务。我们还有三位领域主席荣誉提名授予Michael Kohi, Haga Marron 和 Michael Parramat。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_3.png我们感谢他们确保其负责批次的所有官方评审意见都能收到并担任紧急领域主席。再次感谢你们为LOG会议做出的服务。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_5.png杰出审稿人致谢 ✨现在公布杰出审稿人名单。我们要感谢会议的所有审稿人他们自愿抽出时间阅读论文、撰写评审意见并与作者交流。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_7.png今年我们有32位杰出审稿人。非常感谢你们撰写评审意见并为我们的活动做出贡献。我们将单独联系你们发放奖金感谢你们高质量的评审工作这使我们今年LOG会议的评审质量保持在很高水平。会议总结与反馈收集 https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_9.png我们的会议即将结束。再次感谢大家参加和参与我们的会议。我们要感谢图与几何机器学习社区的每一位成员是你们让LOG会议成为可能。我们期待明年在美国洛杉矶的LOG会议上与大家再见。我们欢迎任何形式的反馈这是反馈表的链接请随时告诉我们您对本次活动的任何想法。再次衷心感谢大家明年加州大学洛杉矶分校见。https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/gph-lrn-con-2024/img/e5e010fa66576bf379dab371fef7ac95_11.png本节课中我们一起学习了2024年图机器学习会议的闭幕致辞。我们回顾了全球社区活动、会议从线上到线下的发展历程了解了参与未来会议贡献的途径并共同见证了最佳论文奖、杰出领域主席和审稿人奖项的公布。最后会议对所有参与者表达了感谢并收集反馈同时宣布了明年线下会议的地点。
