近些年，机器学习方法特别是深度学习方法在地震学中的应用愈发广泛。深度学习方法在地震数据处理中表现出了接近人工分析的精度，并且处理效率高于人工处理^[1-2]。典型的应用包括地震震相拾取^[3-8]、地震检测^[9-10]、P波初动分析^[11-14]、震源参数分析^[15-16]、地震波形去噪^[17-20]、震相关联^[21-24]、地震定位^[25-30]和地震分类^[31-34]等。

目前地震学中多数神经网络模型着眼于单一任务，比如用于震相拾取的神经网络模型以地震波形为输入并以P、S震相作为输出。在一些研究中，尝试将更多信息作为输入，比如Münchmeyer等^[35]尝试将地震定位和震级估计同时进行处理，SeisCLIP^[36]尝试将震相到时、震中距、方位角等信息输入到神经网络中，并构建了一个能够处理更多信息的神经网络模型。

2023年，中国地震台网中心发布了CSNCD数据集^[37]，其中包含了超过4500万条人工标注震相到时、震相初动、地震类型、地震震级等信息。在此基础上，我们构建一个用于单台数据分析的双向神经网络预训练模型，称为先导数据大模型。

作为预训练模型，我们加入了Pg、Sg、Pn、Sn 4种震相、P波初动方向、地震类型和原始波形4种输出，其中原始波形输出为自监督训练，其他为监督训练。测试表明，我们的模型不仅可以完成常规的Pg、Sg、Pn震相检测、P波初动方向判定和事件类型判断工作，还可以通过迁移学习将模型用于其他波形数据分析工作中。

1.   预训练模型和迁移学习方法简介

通过大量数据训练供不同机器学习任务使用的模型称为预训练模型，目前广泛使用的预训练模型包括单向模型和双向模型。其中单向模型以GPT系列为代表，在处理数据中通常只考虑前文，其通常用于文本生成、文本图像音频生成等多模态工作中。双向模型则以BERT系列为代表，其在处理文本过程中会考虑前后文数据。生成式模型在目前可训练参数数量已经可以达到千亿量级，在文本处理中表现出了良好的性能。SeisCLIP使用生成式模型来处理多台地震频谱并生成所需信息。但是地震学研究中通常需要对原始波形进行分析并从中提取更加准确的信息，在此需求中双向模型通常能够获得更高的精度^[38]。

迁移学习指的是通过海量数据训练后的模型在处理其他任务中可以通过少量样本训练即可迁移至新的工作中。迁移学习目前在图像处理、文本处理中均表现出良好的性能。地震学数据分析中需要处理大量的数据，而分析数据的需求各不相同。如果针对每个需求训练深度学习模型，那么在每个场景中都需要海量的人工标注数据，但是在诸如滑坡微震等场景人工标注数据是偏少的。因此，在地震学中同样有研究者使用迁移学习方法以减少对训练数据量的需求。

研究表明，由于预训练模型使用海量数据进行训练，在只使用少量数据进行迁移学习后，神经网络模型在新的场景中表现出良好的效果，比如地震事件分类和远震震相检测。

2.   训练数据

预模型训练需要海量的各种类型数据。因此，我们使用中国地震台网中心的CSNCD数据集来对模型进行训练。CSNCD数据集是一个大规模的全球地震信号标记数据集，其特点在于覆盖了多样化的地理区域和各种地质环境下的地震事件。我们使用的事件和台站如图1所示，这些事件包含了丰富的震相类型和大量的初动数量。

图  1  使用的台站（蓝色三角形）和事件（红色点）的分布

Figure  1.  Distribution of stations (blue triangles) and events (red points)

下载: 全尺寸图片 幻灯片

除此之外，这些数据还覆盖了从 − 2.0到9.0级不同震级的地震事件。数据集中还包含的广泛的信噪比（SNR）范围，这一特点使得模型能够在不同质量的数据上进行有效的学习，从而提高模型的适应性和泛化能力。

CSNCD数据集的多样性和复杂性为先导数据大模型提供了坚实的基础。

3.   模型结构

在处理更多地震波波形信息时需要较大的模型容量，即需要更多可训练参数。因此我们在构建神经网络过程中以Tansformer模型为核心，同时为了处理波形输入和输出，我们加入卷积神网络，具体网络结构如图2所示。

图  2  双向神经网络结构

Figure  2.  Bidirectional neural network architecture

下载: 全尺寸图片 幻灯片

因为地震波形数据中包含较多高频信息，因此我们使用卷积神经网络构建编码器来处理原始波形，得到波形特征。但波形特征中缺少位置相关的信息，为此我们加入双向循环神经网络构建的位置编码器来对特征位置信息进行编码。在此之上我们加入多层双向Transformer，这可以综合考虑全部波形的特征，并输出特征向量。由于所得特征需要输出事件类型等信息，我们加入了多任务编码（Task ID），这可以提供额外特征供后续分析。

4.   先导大模型的应用

4.1   震相检测和P波初动检测

目前大多数地震学震相检测神经网络模型只能检测Pg和Sg震相，如PhaseNet和EQTransformer等^[3-8]。除了Pg、Sg震相拾取模型外，一些研究者还构建了其他的地震学神经网络模型。例如，Yuan等^[39]提出的远震震相拾取方案，可以检测PcP震相和PKiKP震相；Ding等^[40]构建的PmPNet可以检测PmP震相；Ross等^[11]和Zhao等^[14]分别构建了用于确定P波初动极性的神经网络模型。

基于CSNCD数据的特点，我们构建的先导大模型通过多个解码器同时实现了震相检测和P波初动检测工作。而且在震相检测方面，不仅可以检测常规的Pg和Sg震相，还可以检测传统上认为难以检测的Pn和Sn震相。图3展示了一个模型震相检测的一个例子。

图  3  模型拾取结果示例，实线为人工标注震相到时，虚线为模型预测震相到时

Figure  3.  A example of picks in the test dataset. The solid vertical lines represent the arrival times of phases picked by analysts. The dashed lines represent the probability distributions of phases predicted by the model

下载: 全尺寸图片 幻灯片

4.2   迁移学习应用

我们分别使用内蒙地区数据和远震数据测试模型的迁移学习能力。其中，内蒙地区的数据用于事件分类测试，在预训练过程中也有不同事件类型的标签，但是由于预训练中样本极度不均衡（天然地震占比99.5%），这使得原始的预训练模型对事件类型的预测均为天然地震，因此需要进行迁移学习。

事件分类测试数量总计419个，其中251个地震事件用于训练，168个地震事件用于测试。主要包含3种事件类型：天然地震（EQ，103个事件），爆破（EP，244个事件）和塌陷（SS，72个事件）。在经过迁移学习后，模型的分类准确度达到了92.2%（图4）。

图  4  地震分类混淆矩阵

Figure  4.  Confusion matrix of event classification

下载: 全尺寸图片 幻灯片

我们整理全球的远震数据，挑选1000条样本进行远震迁移学习训练和测试。测试中，原始的预训练模型的查准率较高，但查全率偏低，这代表大量样本未被检测到，这说明远震波形特征和近震特征之间存在差异。经过迁移学习后，模型对远震的检测精度明显提高，查准率由原来的0.270提高到了0.708。

5.   结论

先导数据大模型在地震学中具有广泛的应用前景，通过利用先导数据大模型，地震台站可以实时处理和分析地震波形数据，快速识别地震事件、震相和初动方向，这可以显著提高地震监测的效率和准确性，尤其在地震多发地区和紧急情况下，能够提供更及时的预警信息。此外，先导数据大模型可以通过迁移学习，适应不同地理区域和不同类型的地震数据。这样可以减少数据集的依赖和节约训练时间成本，实现在不同的地区和任务中快速部署。

先导数据大模型在地震监测、预警、科学研究和数据管理等方面具有重要的应用前景，能够显著提升地震数据处理的自动化和智能化水平，为地震学的发展和地震灾害的防范提供有力支持。

感兴趣的专家读者可以通过数据大模型网址https://github.com/cangyeone/seismological-ai-tools来更好的了解和使用模型。