EEG 解码器追踪记忆动态

记忆是人类认知功能的重要组成部分，对理解其动态变化具有重要意义。

脑电图（EEG）是一种常用的非侵入性技术，可以实时记录大脑活动。本研究旨在通过构建EEG解码器来追踪记忆的动态变化，以深入了解记忆过程的神经机制。

这个实验研究的主要目的是理解人类记忆编码和检索的神经机制，以及神经活动如何与成功的记忆表现相关联。具体来说，这项研究旨在回答以下问题：

1. 记忆编码：了解在学习阶段，大脑如何编码信息以形成记忆。通过观察脑电图（EEG）信号的频谱特征，研究者可以确定与成功记忆编码相关的神经活动模式。
2. 记忆检索：探索在记忆检索过程中，大脑如何重新**编码的记忆。通过分析脑电图信号，研究者可以了解在回忆时大脑的神经活动模式，以及这些模式与记忆成功或失败之间的关系。
3. 神经动态：研究神经活动如何随着时间和记忆过程的不同阶段而变化。通过观察神经活动的动态变化，研究者可以了解大脑在记忆编码和检索过程中的时空模式。
4. 神经-行为关联：探索神经活动与行为表现之间的关系。通过分析神经指标与行为指标之间的关联，研究者可以揭示大脑活动与记忆表现之间的联系，从而深入理解记忆机制。

达到这些目的后，这项研究可以为认知神经科学领域提供重要见解，包括但不限于：

• 增进对认知功能的理解：深入了解记忆编码和检索的神经机制，有助于揭示认知功能如何在大脑中实现。
• 诊断和**神经疾病：对正常记忆过程的理解有助于更好地理解神经疾病中的记忆障碍，并为相关疾病的诊断和**提供新的思路。
• 发展脑机接口技术：通过理解大脑活动与行为之间的关系，可以为脑机接口技术的发展提供基础，例如基于脑信号的记忆增强方法。

两种颅内脑电图（iEEG）和头皮脑电图（EEG）研究记忆编码和检索过程时遇到的两个关键问题：

限制一：序列位置的影响使得难以区分预测在特定位置学习的项目的编码成功的神经信号与*预测序列位置差异的神经信号。

限制二：检索期间的运动前活动干扰使得难以区分与正确回忆相关的神经信号与与单词发声相关的运动信号。

在编码和检索过程中训练情景记忆成功分类器的一种新方法：

01 新方法的关键步骤

1）重新采样编码和检索事件：

目的：区分预测记忆成功的信号与与早期和晚期编码或检索相关的信号，消除序列位置效应。

具体措施：在训练分类器时重新采样编码和检索事件，以确保来自每个序列位置或回忆输出位置的正例（成功记忆）和负例（失败记忆）的匹配率。这种方法确保了每个位置的事件在训练数据中的比例均衡，避免了由于位置效应导致的信号混淆。

2）消除运动前活动干扰：

目的：消除与预测检索成功的运动前活动相关的混淆。

具体措施：测试分类器在声音自由回忆之前是否能够区分记忆项目是否出现在研究列表中（即区分正确的回忆和侵入性错误）。通过这种方式，确保分类器学到的信号与记忆内容本身相关，而非与运动前活动相关。

02 比较不同训练方法

1）重新采样事件上训练的分类器：

假设：这种分类器将更加关注区分项目编码背后的信号，而不受序列位置影响。

预期结果：这些分类器将为与随后在时间或语义上聚类的项目的编码相关的光谱特征分配更大的输出概率，体现了对记忆成功的真正神经信号的敏感性。

2）所有事件上训练的分类器（传统方法）：

假设：这种分类器将学习基于聚类和基于首因效应的信号的组合。

预期结果：由于混合了位置效应，这些分类器的输出概率可能会显示出与列表位置相关的下降，反映了位置效应对记忆成功的影响。

实验结果

01 编码成功的光谱相关性：

(1) 内容：延迟回忆中首因效应明显，干扰任务减弱近因效应，回忆概率密度在检索期间下降，频谱功率差异显示成功编码和检索的神经标记。

(2) 重点：

成功编码由10-30 Hz活动的**下降和前区域高频活动增加、低频活动减少及正θ波增加标志。

a）延迟回忆的概率表现出强烈的首因效应和较小的近因效应。在*终学习项目和回忆期之间进行的算术干扰任务减弱了近因效应，而近因效应通常超过即时自由回忆中的首因效应。

b）在整个检索期间，回忆的概率密度（每7.5 秒分箱一次）下降，与经典研究结果一致。子面板显示了正确的响应比例。

c）感兴趣的区域。

d）在编码随后记住的单词和随后忘记的单词（左）期间的频谱功率差异，以及在正确回忆和侵入之前的 500 毫秒间隔（右）期间的频谱功率差异。对比度通过事件重新采样计算，以确保匹配来自每个序列位置或回忆箱的成功和不成功记忆事件的比率。每个频率 × ROI 对中的颜色对应于平均参与者特定的**t统计量。显着的组级增加和减少（已校正错误发现率）分别以红色和蓝色显示。

e）可视化效果与 ( d ) 类似，但涵盖所有成功和不成功的记忆事件。

02检索成功的光谱相关性：

实验发现，当重新采样回忆反应以匹配 7.5 秒回忆箱中的回忆准确率时，以及在所有正确回忆反应和回忆错误之间进行比较时，HFA 的增加可以可靠地区分侵入和正确回忆（图 1 d、e，右图）。

头皮记录的 HFA 信号区分真实回忆和错误回忆，这表明 HFA 的非侵入性测量可以捕捉到情境检索的神经元关联中的细微变化。

03群体层面影响的个体差异：

(1) 内容：

研究发现，尽管在群体层面上存在记忆编码和检索成功的一致频谱标记，但个体之间存在差异，特别是在事件重采样下后续记忆效应的高频活动（HFA）成分。

(2) 重点：个体间的频谱标记在成功检索方面表现出更高的一致性，这在事件重采样和考虑所有检索事件时尤为明显。为了建模记忆动态，研究进行了多变量、参与者特定的编码和检索成功解码器的训练和交叉验证。

a）使用重新采样事件的个体光谱差异。

b）使用所有事件的个体光谱差异。每行显示一位参与者的结果，按回忆表现升序排列。成功和不成功的记忆比较的参与者特定**t统计量折叠在八个 ROI ***率增加和减少分别以红色和蓝色显示。

04编码和检索成功的多变量分类：

(1) 内容：展示了使用事件重采样训练的分类器在示例测试列表中事件的输出概率，以及在所有交叉验证测试会话中的分类器性能（ROC和AUC）。

(2) 重点：

分类器能够提取整个编码和检索阶段的记忆状态变化，并且表现出可靠的分类性能，**超过了随机分类的基线水平。

a）示例保留列表中新事件的输出概率（来自使用事件重采样训练的分类器）是序列位置和回忆时间的函数。O标记真实成功记忆实例（随后记住的单词和正确回忆）。X 标记真实不成功记忆实例（随后忘记的单词和侵入）。

b）所有交叉验证测试会话中的 ROC 和 AUC，对 20 次**重采样事件的运行取平均值。通过比较运行中观察到的平均 AUC（以暗线标记）是否大于使用置换训练标签训练的分类器获得的零 AUC 分布（以白条显示）来计算显着性水平。

(1) 内容：

显示了使用事件重采样训练和所有事件训练的编码和检索分类器的性能，以及前向**模型的结果。

(2) 重点：

编码和检索分类器都能够可靠地预测保留会话中的记忆成功，表现明显高于随机分类的基线水平。不同训练方法下的分类器性能有所不同，反映了不同频谱成分在预测记忆成功中的作用。

a）用事件重采样训练的编码分类器预测随后回忆的单词。

b）用事件重采样训练的检索分类器预测正确的回忆反应。

c 、d）在所有事件上训练的编码和检索分类器。

a - d）ROC 表示所有参与者的平均结果，虚线表示机会水平的表现。曲线下面积性能指标的平均值和标准误差出现在左上区域，以及分类器可靠地预测样本外数据的参与者数量。** p  < 0.01。* p < 0.05（置换检验，如上图3b 所述 ）。插入直方图表示每个参与者观察到的 AUC 和基线 AUC 的分布。每个面板右侧的热图表示应用于每个频率 × ROI 对的前向**模型的平均结果。显着的正向和负向**（FDR 校正）分别显示为红色和蓝色。

(1) 内容：

展示了回忆子类型分类器的性能，包括正确回忆与先前列表侵入（PLI）、额外列表侵入（ELI）的分类器，以及PLI与ELI分类器。

(2) 重点：

分类器能够可靠地区分正确回忆与PLI、ELI之间的细微差别，反映了在头皮EEG记录中提取的频谱特征能够捕捉到不同类型的记忆错误。

a）正确回忆 (CR) 与先前列表侵入 (PLI) 分类器。

b）正确回忆 (CR) 与额外列表侵入 (ELI) 分类器。

c）PLI 与 ELI 分类器。可视化和符号如图4所示 。

05 基于分类器的记忆动态分析：

(1) 内容：

实验在认知理论框架下对记忆编码状态变化的研究，以及如何使用编码分类器和检索分类器来跟踪记忆状态的变化，并探索这些变化与后续记忆组织的关系。

(2) 重点：

通过分析编码分类器和检索分类器的输出，研究者发现在记忆阶段的不同阶段，分类器输出的模式反映了记忆状态的变化。特别是，使用事件重采样训练的分类器显示出更多与记忆状态的时间和语义聚类相关的信号，而使用所有事件训练的分类器则更紧密地跟踪记忆状态的首因梯度。

这表明了编码和检索过程中的认知特征与后续记忆组织的关联，为理解记忆过程提供了新的认知启示。

a − c）对随后回忆和未回忆（NR）单词的编码分类器动态，其中回忆的单词分为以下事件类型：时间和语义聚类（BC）、*时间聚类（TC）、*语义聚类（SC）和非聚类（NC）。

a）显示了每个回忆事件子类型的概率作为序列位置的函数。

b 、c）示出了使用和不使用事件重新采样训练的编码分类器的分类器输出，汇总到所有具有统计**分类器的参与者中。

d − f）在75秒的回忆期内，对于聚类状态各异的事件类型（BC、TC、SC、NC）以及先前列表和额外列表侵入（PLI 和 ELI）的检索分类器动态。

d）说明了事件在分箱回忆时间内的概率，（e、f）说明了使用和不使用事件重新采样训练的检索分类器的输出。

06 预测时间和语义聚类中的个体差异：

(1) 内容：

通过对编码分类器输出和参与者的时间和语义聚类行为分数进行相关性分析，研究了记忆编码过程中的神经机制与后续记忆组织之间的关系。

(2) 重点：

研究者发现，编码分类器的输出与参与者的时间和语义聚类行为分数之间存在着相关性，表明神经机制与后续记忆组织之间的连接。

这种相关性在使用事件重采样训练分类器时更为**，这表明了神经机制在预测后续记忆组织方面的重要性。

然而，在所有事件上训练的分类器也显示了类似的趋势，尽管相关性较弱。这一发现为理解时间和语义驱动的记忆编码过程提供了新的认知线索，并提示了未来研究的方向。

a、b）使用双侧 Pearson 相关性将这些神经指标与行为聚类测量值进行比较，发现在事件重采样下训练的分类器的时间和语义聚类均存在**的正相关关系。

c、d ）对于在所有事件上训练的分类器，观察到趋向同一方向的较弱相关性。

结论

该研究表明，基于频谱 EEG 特征的模型能够可靠地区分记忆编码、即将回忆和忘记的项目，以及正确列表项目和侵入之间的区别。

研究发现，高频（伽马）活动升高和 alpha 活动被抑制是良好记忆的频谱特征，并且这些结果与之前的颅内 EEG 研究一致。在检索情境中，研究显示了参与者特定于先前列表和列表外侵入的分类。研究还发现，在编码阶段预测了随后聚类项目的回忆概率增加，但在检索阶段未发现类似的效应。通过解码器模型，研究者能够将神经活动与行为联系起来，并发现个体差异与编码分类器的差异相关。这项研究为理解记忆特定上下文编码过程提供了见解，并展示了基于分类的编码成功模型的潜力。

解构实验研究

01实验任务描述：

1）在24个实验环节中，参与者每次都要完成24份延迟自由回忆任务列表。

2）每个列表中包含24个特定的英语单词，从一个576个常用英语单词的池中抽取而来。

3）单词以特定时间间隔在屏幕上呈现，并在列表呈现后执行干扰任务。

4）干扰任务包括解决数学问题，然后是一段延迟后的自由回忆阶段。

02数据收集和预处理：

1）使用129通道EGI或128通道EEG采集系统记录脑电图。

2）应用高通滤波器和陷波滤波器来预处理数据。

3）将记录重新参考到所有电极的共同平均值，并排除了坏电极。

4）使用多锥体方法估计每个电极的频谱功率，并对数据进行频谱分解和时域分析。

03活动及特色建设：

1）光谱分解：使用MNE Python软件包对频谱功率进行估计，并对编码或检索事件进行时域分析。

2）分段建设：将试验事件划分为编码和检索事件，并定义了成功和不成功的记忆事件。

3）事件重新采样：对训练事件进行重新采样，以实现正负实例的均等比率。

****聚类类型：将成功的记忆事件进一步划分为四个子类型，根据时间和语义关系进行标记。

04记忆解码：

1）单变量分析：

• 使用**t检验评估了在每个频率-感兴趣区域（ROI）对中成功和不成功记忆事件之间的频谱差异。
• 对跨参与者的t统计量分布进行了单样本t检验，评估了组级效应。

2）多变量分类：

• 训练了针对特定参与者的逻辑回归分类器，以解码与成功编码或检索事件相关的大脑状态，使用每个频率电极对的功率作为输入特征。
• 使用留一会话交叉验证程序对分类器进行训练，排除了靠近面部和颈部的电极的特征以减少肌电图伪影。
• 对分类器的性能进行了评估，包括计算受试者工作特征曲线下面积（AUC）以及与基线AUC进行比较。

3）基于分类器的记忆动态分析：

• 构建了线性混合效应模型来评估分类器在保留数据上的输出概率如何跟踪事件聚类类型和项目位置。
• 计算了基于分类器的神经指标与记忆动态的行为指标之间的皮尔逊相关性。