脑电笔记

s实验常用评估指标

image-20231018192044991

背景

静息态脑电一般在频域进行分析，以刻画信号的周期性特征

需要使用频谱分析来描述脑电信号功率沿频率的分布特征。

任务态脑电 通常采用时频分析——时间-频率域中分析

事件相关的频谱变化被称为事件相关同步化/去同步化(ERS/ERD)，通常在时间-频率域中随时间变化的频谱功率可以通过时频分析方法进行估计

频谱估计基本概念

时间序列信号

在某通道连续记录的脑电信号，在时间域表征为信号幅度相对于时间的变化；也可以在频率域表征为信号功率沿评论变化的分布

频率

描述振荡波形在单位时间内周期获得的基本参数，单位为赫兹(Hz),即每秒一个周期

频谱

时序信号的功率、幅度或相位等在频率域沿频率的分布曲线

频谱分析

将时域信号变换到频域频谱的估计方法，目的是观察对应周期的频率峰值以检测信号周期性

频域和时域

频域和时域是信号处理中两个重要的概念。

时域是指信号在时间轴上的变化，即信号在时间上的波形表现。时域分析可以用来研究信号的幅度、频率、相位等特征，例如我们可以通过时域分析来计算信号的均值、方差、峰值、波形形状等。

频域是指信号在频率轴上的变化，即信号在频率上的分量组成。频域分析可以用来研究信号的频率、谐波、相位等特征，例如我们可以通过频域分析来计算信号的功率谱密度、频率分布、滤波等。

在脑电信号分析中，时域和频域分析常常是同时使用的，可以用来研究不同的脑电波形态、频率特征以及它们之间的相互作用关系。例如，我们可以通过时域分析来计算脑电信号的平均值、方差、峰值等，而通过频域分析则可以计算脑电信号在不同频段的能量分布、频率成分等。

频谱图和波形图

频谱图和波形图是两种不同的图像展示方式，分别用于展示信号在频域和时域的特征。

波形图是一种时域表示方法，它将信号的振幅与时间轴关联起来，用于显示信号在时间上的变化情况，通常为一条连续的曲线。波形图可以直观地反映信号的幅度、频率、相位等时域特征。

频谱图是一种频域表示方法，它将信号的振幅与频率轴关联起来，用于显示信号在不同频率下的分布情况，通常为一张二维图像。频谱图可以直观地反映信号的频率成分、频率分布情况等频域特征。

在脑电信号处理中，频谱图和波形图都有广泛的应用。例如，可以通过分析脑电信号的频谱图来研究脑电信号的频率成分和频率分布情况，进一步研究脑电信号的生理意义；而波形图则可以用于显示不同条件下脑电信号的时域变化情况，例如事件相关电位（ERP）的波形图可以直观地反映某个事件对脑电信号的影响。

ssvep

SSVEP 本质是当人的眼受到外界的周期的视觉刺激时，大脑皮层枕区就会
周期性的相应

交叉调制频率刺激会引起大脑皮层的周期性脑电活动，通过分析由刺激引起的脑电信号，可以识别刺激目标。根据人眼中不同椎体细胞对颜色反应不同，蓝光最强、绿光次之，红光最弱。

其中刺激信号的幅值和诱发的SSVEP信号成正比、刺激范式的频率5~12Hz所激发的 SSVEP 最强，同时随着刺激信号的频率的增加，所激发的 SSVEP 信号幅值逐渐下降。但是占空比对 SSVEP 信号的诱发规律，还不清楚。

信号处理

P300

p300+ssvep 潘老师

P300 SD

当系统开始字符输入时，每个字符以随机的次序依次闪烁60毫秒

即在某个字符闪烁结束的一段时间后，才开始闪烁下一个字符，而不是同一行（或列）的字符同时闪烁。一个round包含36次闪烁，对应36个字符。每次输出一个字符，受试者只需要注视该目标字符并默数其闪烁的次数。因此，在每个round中，目标字符的闪烁概率为1/36，即0.028。在若干个round后，系统通过检测P300就能确定目标字符。

对于SD字符输入系统，每个字符的输入需要10个round的闪烁，每个round包含36次闪烁，因此需要21.6秒（10 × 36 × 60𝑚𝑠）。每输入一个字符后都休息4秒

其中，根据国际10-20系统的标准[66]，本章只采用视觉区“Fz”、“Cz”、“P3”、“Pz”、“P4”、 “O1”、 “Oz”与“O2”这8个通道的脑电信号。

所有电极的阻抗值皆为5𝐾Ω以下。脑电信号以250Hz的频率采样，首先在0.1至30Hz的范围内进行带通滤波，然后对滤波后的信号进行1/5下采样。对应每个闪烁刺激，我们取每个通道中刺激开始的0-600毫秒的这一段数据，再将8个通道中处理后的数据连接成一个特征向量。

对于每位受试者，我们把所有特征向量都进行归一化化到0到1之间。这些归一化的特征向量将作为SVM分类器的输入[67]。

SSVEP

我们选择4个闪烁的刺激频率5.45Hz，6.0Hz，6.67Hz和7.5Hz。这是因为（1）在5-20Hz范围内的刺激频率能更稳定地激发SSVEP[95]；（2）如果刺激频率在8-13Hz范围内，当受试者处在空闲状态时，SSVEP检测将容易受到alpha节律的影响[91]；（3）与屏幕分辨率（60Hz）成倍数关系的闪烁刺激频率（如6.0Hz或7.5Hz等）在硬件上能更准确地产生

根据实时采集的信号进行SSVEP检测，每隔500毫秒进行一次检测。首先，在3Hz至20Hz的范围内进行带通滤波。然后，我们选取6个所选通道中当前时间点的前3.2秒数据段进行SSVEP检测。因此，每两次连续的SSVEP检测中包含有2.7秒的数据是重叠的。(3.2-0.5)

使用傅立叶变换，我们计算新定义的𝑁个信号向量的功率密度谱（Power densityspectrum，PSD）。

控制状态下，受试者注视着以频率𝑓闪烁的目标键，并忽视其他闪烁频率的伪键。在这种情况下，绝大部分受试者会产生以下两种生理现象：第一，有一个明显的波峰出现在目标键闪烁频率的功率密度谱中。第二，在所有闪烁频率中，目标键的闪烁频率所产生的SSVEP能量最大。因此，我们在SSVEP检测中利用了下列的2个准则：

  • 阈值准则: 能量比率𝛿要大于一个预设的阈值。该准则已经普遍应用于SSVEP的研究，例如[83, 90]。
  • 比较准则：目标键频率的SSVEP能量 ^𝑃 (𝑓𝑡) 在所有的闪烁频率中是最大的。

当这2个准则同时满足，则表示系统检测到目标键产生的SSVEP。在这个时候，系统处于控制状态中，即发出“开/关”的控制指令。

实验

每一个实验Session包含两个Run

第一个Run用于设置GUI中目标键的刺激频率，因为不同的受试者在不同刺激频率下产生SSVEP电位的幅度是不一样的[97]，第一个Run包含32个trial，共需要6分钟的时间。在每个trial中，受试者需要注视GUI中的一个闪烁按钮10秒钟（由屏幕中的箭头来指示）。在32个trial中，4个闪烁按钮的次序由系统随机产生的，每个闪烁按钮将被标示8次。响应最大的设为目标键，其他是伪键

p300+ssvep

本实验只采用“Fz”、“Cz”、“P7”、“P3”、“Pz”、“P4”、“P8”、“O1”、
“Oz”与“O2”这10个通道的脑电信号。所有电极的阻抗值皆为5𝐾Ω以下。脑电信号以250Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波。

四组按钮中的四个大按钮分别以随机的顺序闪烁（形状变为方形，颜色变为绿色），每两次闪烁之间包含100ms的增强和100ms的间隔。因此，一个round包含四个大按钮的闪烁，共需要持续800ms（一个round被定义为每个大按钮闪烁一次的完整周期）

image-20230402145312464

也就是小圈跟大圈固定频率黑到红闪，每隔100ms有一个随机的增强，即大按钮变为绿色方形，持续100ms

检测

P300检测是每800毫秒(1round)进行一次，对应一轮所有按钮组的闪烁

ssvep检测是每200毫秒进行一次,我们选取8个通道中当前时间点的前3.2秒数据单元（3.2X250Hz，800数据点）进行SSVEP检测。

实验

8位来自本实验室的20～33岁的健康受试者参加了3个实验，包括1个离
线实验和2个在线实验。在实验之前，每位受试者参加一个包括30个trial的Session，采用如图4-2所示的GUI进行P300模型的训练。特别地，在每一个trial中，所有4组按钮中的大按钮以随机次序闪烁，每个大按钮闪烁10次。同一时刻，受试者要求注视着给定的目标按钮。收集的数据用于构建一个P300分类模型，用于后面3个实验。

进行3个Session，每 一个Session由80个trial组成

image-20230402145429594

P300+ssvep 薛仲林

P300 电位检测：首先将采集 P300 信号进行带通滤波，其中通带频率为 0.1− 10Hz，然后进行 200 降采样，即每 5 个数据点选 1 个。提取每个导联的在脑电范式刺激范式后800毫秒的P300脑电数据，将8个导联脑电数据归一限制到[-1,1]之内，将 8 个导联脑电数据归一化数据特征向量，组成一个脑电数据特征向量矩阵。

每个被试人员均进行 6 次实验，一次实验输入 5 个目标字符，共输入字符30 个。在每两次实验之后被试人员休息 2 分钟，其中每次实验定义为一个 session，每输入一个目标字符为一个 run，每一个字符闪烁为trial，其中包含受试人员目标字符定义为一个 target，不包含受试人员的目标字符为 nontargat。此外依次从左到右定义行列闪烁 trail 编号为 136，共 36trial。136 号 trail 有且仅有一个target，35 个nontargat。36 个 trail 随机闪烁一次为一个 sequence。15 个sequence为一个 run，完成一个字符输入如下图 2.9 所示。

image-20230402153653507

p300+ssvep

为了将SSVEP频带与P300频带分离，以0.2Hz的步长选择12个高于12Hz的闪烁频率，从12.4到14.6Hz。根据 [35]，可以通过模拟方法对40个频率 (范围从8hz到15.8Hz，步长为0.2Hz) 的任何刺激相位的ssvep进行模拟，其中涵盖了该实验的所有刺激频率。因此，通过使用具有200ms的刺激持续时间的模拟方法在公共SSVEP数据集上搜索JFPM方法的相位间隔 (从0到0.05 π) 来优化初始相位，从而在两个相邻频率之间产生0.35 π 的相位间隔。

传统方法

SSVEP

TRCA提取任务相关成分

虽然基于CCA的方法在识别SSVEP信号方面具有不错的表现,但这类方法的性能仍旧易受到自发脑电活动的干扰的影响。除此之外,研究人员们考虑到基于CCA的方法还有一个很大的问题,即没有利用到相位信息(参考信号中正余弦中没有包含相位项)。那么如果能够有效地利用相位信息,想必会给SSVEP的识别性能带来较大的提升。

由此研究人员便提出了TRCA方法,TRCA的方法即通过最大化每个task中神经影像数据的复现性(reproducibility),提取任务相关成分(task-related com-ponents)。对于SSVEP这种锁时(time-locked)信号,该方法非常合适,因为在SSVEP中可以最大化多个trial之间的可再现性,提高SNR(Signal-to-Noise),抑制自发脑电活动。

(279条消息) 提取任务相关成分的TRCA算法_Ethan Hunt丶的博客-CSDN博客

在离线实验中，受试者进行模拟在线实验以记录数据以进行离线分析。实验由12个块组成。在每个块中，要求受试者凝视视觉刺激之一0.5 s，并完成对应于所有40个刺激的40个试验。每次试验都以刺激程序产生的指示目标刺激的视觉提示 (红色方块) 开始。提示在屏幕上出现了0.5秒。指示每个受试者在提示持续时间内尽快将视线转移到目标上。此后，所有刺激在监视器上同时闪烁0.5 s。为了减少眼球运动伪影，要求受试者在刺激期间避免眨眼。为了避免视觉乏力，在两个连续的block之间休息了几分钟。首先根据事件触发提取包含九通道ssvep的数据时期。将所有数据阶段下采样到250Hz，然后用IIR滤波器从7 hz到90Hz进行带通滤波。使用MATLAB中的filtfilt() 函数实现了零相位正向和反向滤波。考虑到视觉路径中的潜伏期延迟，在 [0.14 s] 中提取数据时期，其中时间0表示刺激开始，并且在离线分析中使用了数据长度。

训练阶段包括12个区块，每个区块包括40个试验。在此阶段获取的数据在测试阶段用作单独的训练数据。提示引导选择任务的测试阶段包括5个块，每个块还包括40个试验。每个试验持续0.8 s，包括0.3 s用于视觉刺激和0.5 s用于视线转移。下一个目标的提示出现在刺激偏移之后。实时向受试者提供视觉和听觉反馈。在线分析程序正确识别目标后，发出一声短促的哔哔声。同时，在屏幕顶部的文本输入字段中键入目标字符。

一个多通道的EEG信号由任务相关性成分si和任务无关的信号ni组成，任务相关部分在trial之间保持着不变性，而任务无关部分在trial之间是变化的。si之间的协方差为一正常数,si与ni之间的协方差为0

我们希望能够提取到任务相关成分s(t)，以增大信噪比。

首先将多通道的EEG信号加权求和，表示为一个线性模型y(t)，为了使得y(t)==s(t)，就必须使每个通道相关成分的加权求和结果为1，无关成分加权求和结果为0。如果我们得到了这样的一个解，那么多通道的EEG信号经过线性加权求和后，便能够得到在多个trial之间具有高度相关性的y(t)。

原本trial(颜色片段)之间变化较大的N通道EEG信号，经过处理后得到的y ( t ) y*(t)在trial之间相关性较高。空间滤波器表示为W=[W1,W2,..]，上述这一过程表示为Y=WTX，X表示原本trials各通道的信号xi(t)

空间滤波器

于是，问题的重点就来到了如何求解出空间滤波器W，这里给出了两种方法，分别是：

  • 协方差最大化(CovMax)
  • 相关性最大化(CorrMax)

相关性最大化CorrMax

通过皮尔逊相关系数，求解来自k-th trial和来自I-th trial的EEG信号xk(t)和xl(t)相关性，然后找到所有trial可能的组合中使相关系数之和最大的解，然而这种结果只是一个相关性成分，不是封闭解，也就是说不能求出问题的解，因此需要用最大化trial之间的协方差

协方差最大化CovMax

和CorrMax不同的仅是将trial之间相关系数的求解变为计算协方差矩阵

多个trial之间的协方差之和为目标函数
$$
\sum_{k,l=1,k≠l}^K{\hat{c}{kl}=}\sum{k,l=1,k≠l}^K{Cov\left( y^{\left( k \right)}\left( t \right) ,y^{\left( l \right)}\left( t \right) \right) =}\sum_{k,l=1,k≠l}^K{\sum_{i,j=1}^N{w_iw_jCov\left( x_{i}^{\left( k \right)}\left( t \right) ,x_{j}^{\left( k \right)}\left( t \right) \right) =w^TSw}}
$$
$$
\text{其中,对称矩阵}S_{ij}=\sum_{k,l=1,k≠l}^K{Cov\left( x_{i}^{\left( k \right)}\left( t \right) ,x_{j}^{\left( l \right)}\left( t \right) \right)}
$$

为了获得有限解，我们使y(t)的方差进行约束，归一化到1
$$
Var\left( y\left( t \right) \right) =\sum_{i,j=1}^{N_c}{w_iw_jCov\left( x_i\left( t \right) ,x_j\left( t \right) \right) =w^TQw=1,}
$$
$$
\text{其中，}Q=Cov\left( x_i\left( t \right) ,x_j\left( t \right) \right)
$$

这里Q应该是对于每一个y(t)进行的操作,

然后，我们的约束优化问题转变为Rayleigh–Ritz特征值问题最佳的系数向量W通过求解Q-1S的特征向量得到。其特征向量为一Nc维的向量矩阵，每一维对应一特征值，并且按特征值大小降序排序，特征值的大小表示了按其对应的特征向量对信号进行空间滤波后，y(t)在trial之间的任务相关性(task consistency)。

总结

总结一下，这个分类方法的核心就是TRCA，提取任务相关性分析，如何提取相关性成分成为了关键点。

简化流程就是：对于多个通道的信号，通过空间滤波器，得到任务相关性成分

这里我们复习一下线代乘法基础知识

空间滤波器就是各个通道对于权值的一个数组(一维矩阵)，假设为空间滤波器:
$$
W=\left( \begin{array}{c}
w_1\
\vdots\
w_{Nc}\
\end{array} \right)
$$
W=(w1,w2,…)，而多个通道的信号表示为:
$$
X=\left( \begin{matrix}
3.1& …& 7\
\vdots& \vdots& \vdots\
5.9& \cdots& 8.3\
\end{matrix} \right),每一行表示这一通道的采样点数值
$$
用公式表示就是Y=WTX。

而求解空间滤波器就利用到协方差矩阵。将每次trials之间(不包括自己)求解一次协方差矩阵

协方差

在统计学中，给定 $n$ 个观测样本的 $m$ 个随机变量 $X_1, X_2, \dots, X_m$，我们可以使用 $n \times m$ 的数据矩阵 $X$ 来表示这些样本。矩阵 $X$ 的每一行表示一个观测样本，每一列表示一个随机变量。假设 $X$ 的每一列的均值为 $0$，则其协方差矩阵 $C$ 的第 $i,j$ 个元素可以表示为：
$$
Ci,j=1n−1∑k=1n(Xk,i−Xiˉ)(Xk,j−Xjˉ)C_{i,j} = \frac{1}{n-1}\sum_{k=1}^n (X_{k,i} - \bar{X_i})(X_{k,j} - \bar{X_j})Ci,j​=n−11​∑k=1n​(Xk,i​−Xi​ˉ​)(Xk,j​−Xj​ˉ​)
$$

其中，$\bar{X_i}$ 表示 $X$ 的第 $i$ 列的均值，即第 $i$ 个随机变量的均值。上式可以改写为矩阵形式：
$$
C=1n−1(X−Xˉ)T(X−Xˉ)C = \frac{1}{n-1} (X - \bar{X})^T (X - \bar{X})C=n−11​(X−Xˉ)T(X−Xˉ)
$$

其中，$\bar{X}$ 是一个 $1 \times m$ 的向量，表示每个随机变量的均值，$(X - \bar{X})$ 表示去均值化后的数据矩阵，$(X - \bar{X})^T$ 表示其转置矩阵。因此，协方差矩阵可以看作是去均值化的数据矩阵的转置矩阵与去均值化的数据矩阵之积的标准化。

当数据矩阵 $X$ 中的每一行表示一个观测样本时，$X$ 的每一列表示一个随机变量的均值可以通过对 $X$ 按列求平均得到。在这种情况下，上式可以改写为：
$$
C=1n−1(X−xˉ)T(X−xˉ)C = \frac{1}{n-1} (X - \bar{x})^T (X - \bar{x})C=n−11​(X−xˉ)T(X−xˉ)
$$

其中，$\bar{x}$ 是一个 $1 \times n$ 的向量，表示每个观测样本的均值。在这种情况下，协方差矩阵可以看作是去均值化的观测样本数据矩阵的转置矩阵与去均值化的观测样本数据矩阵之积的标准化。

因此，我们可以得出结论，将去均值化的数据矩阵的转置矩阵与去均值化的数据矩阵之积除以 $n-1$，就可以得到协方差矩阵。这也是为什么可以通过两个矩阵相乘来计算协方差矩阵的原因。

深度学习方法

深度学习和机器学习

image-20230401234449494

机器学习特征通常需要手动设计，分类器需要手动选择，随着数据增大而收敛，停滞不前

深度学习，端到端，给一个网络数据和任务，特征提取和建模步骤都是自动完成的，随着数据变大而扩展，越来越好

迁移学习

加载预训练的网络，比如一个Alexnet能输出1000个分类，如果我们实际只需要4分类，那么可以替换掉最后几层来加快学习

比从空白开始训练省时省力

image-20230401234757051

image-20230401234810906

两种方法

时频域

1.将时域信号转换为时频域表示形式，并训练卷积神经网络，直接从这些时频表示中提取模式。

image-20230401233434429

时频表示，描述了信号中的频谱成分如何随时间的变化而变化，增强了可能不可见的模式

方法

将信号从时频表示保存为图像的技术，有：

  • 频谱图，spectrogram
  • 梅尔频谱图
  • 连续小波变换，scalogram或尺度图
  • 常数Q变化，constant Q

直接输入

直接将信号输入神经网络进行训练，如lstm

为了加快速度，一般需要进行降采样，在matlab中可以使用invariant scattering convolutional network不变散射卷积网络来自动提取特征，获得提供低波动表示的特征，而不会丢失关键信息

小波变换

两个基本概念

缩放

是指及时拉伸或收缩信号的过程

利用尺度图处理信号

步骤：将信号进行时频变换，输入神经网络进行训练；对于信号先进行时频表示然后用训练好的模型进行预测

降采样

Python脑电数据处理EEG-深度学习建模_哔哩哔哩_bilibili

lstm，提取12个特征，它数据有pos和neg两个阶段，已经标好label

要分析多少赫兹的信号就将采样到它的两倍

image-20230402005247706

滤了1-100.功率频谱图100之后骤降

image-20230402005339811

将功率谱密度图转为numpy array格式

image-20230402005509859

计算面积值

注意换算，比如取300ms的值，采样率对应出来的numpy array是多少到多少

预处理

滑动时间窗

分类方法

原始数据特征算法

原始数据特征的卷积神经网络分类算法由 robin 提出，该算法提取的特征是初始脑电信号中的时空特征。时空特征的提取主要是基于滑动时间窗方法，在每一个 7.5s 的试验中，选用 4s 的运动想象时间，滑动窗口的长度设为 2s，时窗步进为 0.1s，每一次试验产生 21个时间窗，总共产生 6048（288*21）个短时域信号图作为训练样本。该方法的分类器是VGGnet 的卷积神经网络（CNN）

这种原始数据特征算法具有两个优势，第一是数据预处理简单，对时序信号进行裁剪，并且相邻时间窗之间重叠率高，边缘信息对分类精度的影响较低。第二是易与 CNN 分类器结合，裁剪后生成的样本图可以作为二维图片输入 CNN 中进行训练分类。

缺点包含两点，第一点是时序特征的实质是信号波形，实验数据采集过程中被试者的脑区状态对于特征的影响较大，算法可靠性较低，不同被试的分类效果差异较大。第二点是网络参数较大，以 2s 的时间窗为例，采样频率为 250Hz，则时间窗的时间点长度为 500（250*2），远大于相同信号的频域长度（脑电信号一般在 50Hz 左右），因此需要多次迭代训练。

平行多层感知网络算法

平行多层感知网络（MLP）网络提取的是能量特征，包括静态能量特征和动态能量特征。如下图所示，标准的 MLP 网络用于分类静态能量，结合 MLP 层和 CNN（卷积层+池化层+全连接层）的结构用于分类动态能量，在两个并行网络的输出端是最大池化层，起到筛选识别分类的作用，选取两个网络识别的较大概率，对脑电信号分类作出判别（类似于数学中的 argmax 函数）。

image-20230402095023714

MLP 算法应用的网络结构相对简单，并没有过多的层数堆积，因此实际的分类时间相对较短，同时并行网络的优点是在保留卷积神经网络权值共享特点的基础上，实现更有针对性的特征提取和分类。

并行的神经网络处理架构是新兴的脑电处理思想之一，徐高伟[25]提出的方法是在脑电分类中，设置并行的 RNN 网络，一路为训练完毕网络，一路为训练网络（网络结构相同），在训练过程中完成模型的迁移和修正。而平行多层感知网络虽然具备并行网络并行取优的特点，但是仅把初始信号划分为动态能量和静态能量，缺乏可靠的数据预处理环节，导致数据分类准确率不高。并行网络的结构更适合与迁移学习或监督学习的方法结合，搭配合理高效的数据预处理环节，构建学习能力更强的脑电信号分类框架。

黎曼几何与支持向量机算法

黎曼几何与支持向量机算法是目前对于四分类脑电信号识别效果最好的方法之一（M. Hersche, T. Rellstab, P. D. Schiavone, L. Cavigelli, L.Benini, and A. Rahimi. Fastand accurate multiclass inference for mi-bcis using large multiscale temporal and spectralfeatures[C]. in 2018 26th European Signal Processing Conference (EUSIPCO), 2018, 1690-1694）

多尺度 CSP 算法

多尺度 CSP 算法也是提取的多尺度特征，包括时间，频率和空间特征

CNN SSVEP

Using variable natural environment brain-computer interface stimuli for real-time humanoid robot navigation.

在离线实验期间，受试者会固定在闪烁的刺激之一上。每个SSVEP类收集来自每个受试者的皮层大脑信号进行40个实验试验，以形成离线先验训练集或训练每个受试者的CNN模型 (离线校准)。

image-20230402010906679

我们使用离线先验实验数据集训练SSVEP卷积单元 (SCU) CNN架构 [17]，包括一维卷积层、批归一化和最大池化 (如图4所示)。我们首先对9至100Hz之间的输入信号进行带通滤波，以减少在这项工作中不感兴趣的不期望的高频或低频。通过使用大型初始卷积滤波器来捕获由九个输入通道组成的滤波信号，以捕获我们对干EEG数据进行分类感兴趣的频率。SCU CNN模型使用具有随机梯度下降的反向传播进行训练 [24]。对于此训练，最初通过网格搜索在验证集上选择的关键超参数是L2权重衰减缩放0.004，dropout级别0.5，卷积内核大小1 × 10，内核步长4，maxpool内核大小2，分类交叉熵作为优化函数，ADAM梯度下降算法 [25] 和remu作为所有隐藏层上的激活函数。

MFCNN

用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法 - 中国知网 (cnki.net)

将SSVEP信号数据转化为二维时频图像作为输入，基于MFCNN模型框架有效提取目标信号多尺度级联特征，实现SSVEP信号目标自适应特征提取及端到端识别。

时频化处理

由于SSVEP信号的非平稳、非线性、时变特性[18],传统的时域或者频域分析方法具有信号处理的不确定性，谱分析无法反映各个频段能量随时间的变化情况，也不能完整地表达信号的特征参数。小波变换在传统傅里叶变换基础上，引入尺度和时间变量来分析信号的不同频率成分，同时提供时域和频域的信息特征[19],适合处理短时间内的突变信号。因此，本文利用小波变换对SSVEP信号进行时频化图像处理，将时频域特征生成时频图，以不同颜色分布表征不同类别的信号差异，如下式

神经网络构建

小波变换将SSVEP信号转化成频率-时间-小波系数图(时频图),不同颜色分布的图像作为输入，利用CNN进一步提取图像特征进行学习并分类。

目标识别

首先，采集受试者在不同闪烁目标刺激下的多通道SSVEP信号，经过预处理整合后输入至网络模型中，利用小波变换构造SSVEP信号为二维时频图像样本集

随机选取数据集的70%为训练集对MFCNN模型进行训练，30%为测试集

image-20230402011721328

实验

实验开始时，受试者有２ｓ的

（ａ）实验时序图

（ｂ）实验场景图

图４ 实验时序图与场景图

image-20230402213147265

2s静息准 备 时 间，当 ＰＣ 机 提 示 音 响 起，正 式 开 始 闪烁，重复２０次为一轮，单次刺激目标的呈现时间为４ｓ，随后提示音响起闪烁停止，受试者间隔休息２ｓ后再次进行下一次闪烁，每个刺激目标呈现３轮，轮与轮之间也给予受试者充足的休息时间。

卷积

预处理(滑动时间窗，原数据少，避免过拟合)–功率谱特征提取PSD

我们选用功率谱密度（PSD）作为网络的输入特征。选用原因包含以下两点；第一，前文提到了为了降低信号分类中的个体差异影响，在数据预处理阶段首先利用 DWT 分析不同被试关于运动想象任务的频率分布情况，PSD 生成特征图横轴即为频率轴，可以和数据预处理做有效整合。第二，数据预处理部分的滑动时间窗方法，程序实现过程中是基于python 的 epoch 实现的，PSD 特征图可以伴随 epoch 生成，与数据准备环节做有效的衔接，没有窗口信号的多余操作，直接进行变换域处理，保证了特征图的有效性和稳定性。

本实验选用的是 Welch 方法[53]生成 PSD 特征图，该方法也是采用了信号的滑窗处理方法，并利用快速傅里叶变换（FFT）计算信号能量分布。

CNN+LSTM

image-20230402113108116

EEG系统以2048年Hz的采样率收集。放置八个Ag/AgCl电极PO7，PO3，POZ，PO4，PO8，O1，Oz和O2覆盖枕区。对于每个受试者，他们参加了15个模块的实验。每个块包含12个试验，对应于以随机顺序生成的所有12个刺激。每次试验持续5 s，分别包括1 s的提示期和4 s的目标刺激。总共收集了180个试验。

前景

image-20230423203429043