时间之间 https://tangly1024.com/ “每日都是新的，此事明日说吧。” Mon, 18 May 2026 02:59:33 GMT https://validator.w3.org/feed/docs/rss2.html https://github.com/jpmonette/feed zh-CN All rights reserved 2026, 浮森黑子 <![CDATA[支持向量机(SVM)分类实用指南]]> https://tangly1024.com/article/ML_SVM https://tangly1024.com/article/ML_SVM Wed, 12 Nov 2025 00:00:00 GMT

总结

使用SVM进行分类，需要注重数据的预处理、选择适合的核函数和调节合适的超参数。根据本文的介绍，初学者可以迅速获得一个较好的分类效果，但要注意避免数据缩放错误、过拟合问题以及选择不适当的核函数。最终，交叉验证和网格搜索是优化SVM模型的重要工具，能帮助你找到最适合的数据和参数组合。

1. SVM（支持向量机）分类的核心概念

支持向量机（SVM）是一种用于分类和回归分析的监督学习方法，特别适用于分类任务。它的基本思想是：在高维空间中，找到一个最佳的超平面（hyperplane），这个超平面能最大化不同类别数据点之间的间隔（margin）。间隔越大，分类器的泛化能力就越强，意味着它在面对未知数据时有更好的预测效果。
😀
为什么使用SVM？
  • 最大间隔原理：通过最大化类别之间的间隔来构造分类边界，减少模型的过拟合可能性。
  • 核函数的使用：SVM通过核函数将数据从原始空间映射到更高维度，使得原本不可分的数据变得可以分割。这一过程能有效地处理非线性分类问题。

2. 数据准备：数据格式化与预处理

SVM要求数据是数值型向量，因此，首先需要确保数据格式适合SVM的输入要求。数据预处理是获得良好分类性能的基础，文章中详细描述了两种常见的预处理步骤：类别特征处理和数据缩放。

2.1 类别特征的处理

在许多数据集里，原始数据中包含了类别特征（例如：颜色、性别等）。SVM要求数据是数值型的，因此需要将类别特征转换为数值型特征。最常见的做法是使用独热编码（One-Hot Encoding）。
例如，对于一个包含三种颜色（红、绿、蓝）的特征，可以将其转化为如下数值向量：
  • 红色 -> [1, 0, 0]
  • 绿色 -> [0, 1, 0]
  • 蓝色 -> [0, 0, 1]
这种方法的优势是可以避免类别之间的顺序关系被模型错误地理解。例如，SVM不会将“绿色”视为比“红色”大或小的值。

2.2 数据缩放的重要性

SVM的分类性能高度依赖于数据之间的距离计算。在SVM中，模型通过计算不同数据点之间的内积来衡量它们的相似性。如果某些特征的数值范围非常大，而其他特征的数值范围较小，数值较大的特征可能主导分类器的学习过程。为了避免这种情况，我们通常对数据进行缩放。
  • 标准化（Standardization）：将数据的均值调整为0，标准差调整为1，使得每个特征的分布具有相同的尺度。
  • 缩放到区间：将数据缩放到一个统一的范围（例如[-1, 1]或[0, 1]）。这一操作能确保每个特征在模型训练过程中有相似的影响力。
例如，如果某个特征的值范围是[10, 1000]，而另一个特征的值范围是[0, 1]，那么缩放操作可以将所有特征调整到统一的范围。
😀
为什么要缩放？
  • 确保所有特征在相同的尺度上，从而避免某些特征因数值范围较大而在模型中占据主导地位。
  • 避免数值计算中的精度问题，尤其是在计算核函数时，较大的数值可能导致计算不稳定。

3. 核函数与参数选择

SVM使用核函数将数据映射到高维空间，核心目标是找到能够将不同类别数据分开的超平面。常见的核函数有四种：线性核、多项式核、径向基函数（RBF）核和sigmoid核。

3.1 核函数的选择：RBF核的使用

  • 线性核：适用于数据是线性可分的情况，即数据可以通过一个直线（二维）或超平面（高维）完全分开。
  • RBF核：这是最常用的核函数，特别适合处理复杂的非线性问题。它能够将数据映射到一个高维空间，使得非线性问题变得线性可分。通过RBF核，SVM能够处理大多数实际问题。
  • 多项式核：适用于数据之间的关系是多项式的情形。
  • sigmoid核：这种核与神经网络中的激活函数类似，但通常较少使用。
😀
为什么推荐RBF核？
  • RBF核具有良好的性能，尤其适合于数据复杂、非线性可分的情况。
  • 通过调整RBF核中的参数γ，我们可以控制数据在高维空间的映射程度，进而影响分类效果。

3.2 C和γ的调节

选择合适的C和γ是SVM成功的关键。推荐的做法是使用交叉验证来找到最佳的参数组合。交叉验证将训练数据分成多个子集，每次用其中一个子集作为验证集，剩下的子集用来训练模型，最终通过不同的验证结果来评估模型的稳定性和泛化能力。
  • C（惩罚参数）：C参数决定了模型对于训练数据分类错误的容忍度。较大的C值会使得模型更倾向于尽可能避免训练错误，从而可能导致过拟合；较小的C值则会使模型更简化，可能出现欠拟合。
  • γ（核函数的参数）：γ决定了RBF核在高维空间中映射的“宽度”。较大的γ值会使得决策边界更复杂，容易导致过拟合；较小的γ值会使得决策边界较为简单，可能导致欠拟合。
😀
为什么调节C和γ如此重要？
这两个超参数控制了模型的复杂性，调节它们能有效避免过拟合和欠拟合，从而提高模型的预测性能。

4. 交叉验证与网格搜索

在SVM中，如何选择最佳的C和γ值是非常重要的。两种常用的调参方法是：交叉验证和网格搜索。

4.1 交叉验证

交叉验证是通过将训练集分成多个小子集，每次用其中一个子集作为验证集，剩余的作为训练集，训练多个模型并验证其表现。最终，交叉验证的结果可以帮助我们评估模型的泛化能力，避免过拟合。
交叉验证的好处是：即使某个子集的数据存在噪音或特殊情况，其他子集的数据仍然能够帮助训练出一个好的模型。

4.2 网格搜索

网格搜索是通过穷举的方式，逐一尝试多个C和γ的值组合，来找到最适合的参数组合。这种方法非常直观，能帮助找到最佳的超参数。
😀
为什么交叉验证和网格搜索有效？
  • 交叉验证：它能够评估模型的泛化能力，避免我们只在训练数据上表现好，但在新数据上表现差（即过拟合）。
  • 网格搜索：通过穷举不同的参数组合，确保我们选择了一个在验证数据上表现最优的模型。
在C和γ上进行松散网格搜索。注意横纵轴跨度。
在C和γ上进行松散网格搜索。注意横纵轴跨度。
在C和γ上进行精细网格搜索。注意横纵轴跨度。
在C和γ上进行精细网格搜索。注意横纵轴跨度。

5. 常见错误与注意事项

在使用SVM时，初学者常犯的一些错误包括：
  • 错误的缩放方式：确保训练集和测试集使用相同的缩放参数。不同的缩放方式会导致模型对测试集的预测不准确。
  • 选择不合适的核函数：在特征数量非常大的情况下，使用RBF核可能并不合适，反而使用线性核可能会更高效。
  • 过拟合与欠拟合：过拟合通常是因为C值过大或γ值过小导致模型过于复杂，欠拟合则可能是C值过小或γ值过大的结果。适当的调参是避免这两种情况的关键。
      • 图中展示了一个二元分类问题来说明这个问题。实心圆和三角形代表训练数据，空心圆和三角形代表测试数据。 图a和b中分类器的测试准确率并不理想，因为它对训练数据存在过拟合。如果把图a和b中的训练集和测试集看作是交叉验证中的训练集和验证集，那么准确率确实不高。另一方面，图c和d中的分类器没有对训练数据过拟合，因此在交叉验证和测试准确率方面都表现更佳。
      图中展示了一个二元分类问题来说明这个问题。实心圆和三角形代表训练数据，空心圆和三角形代表测试数据。 图a和b中分类器的测试准确率并不理想，因为它对训练数据存在过拟合。如果把图a和b中的训练集和测试集看作是交叉验证中的训练集和验证集，那么准确率确实不高。另一方面，图c和d中的分类器没有对训练数据过拟合，因此在交叉验证和测试准确率方面都表现更佳。

6. 初学者快速上手：从数据预处理到模型训练

  1. 数据转换：首先将数据转换为适合SVM的格式。
  1. 数据预处理：对数据进行缩放，确保特征之间在相同的数值范围内。
  1. 核函数选择：推荐默认使用RBF核，因为它适用于大多数非线性分类问题。
  1. 交叉验证与网格搜索：使用交叉验证找到最佳的C和γ参数，然后用这些参数训练整个训练集。
  1. 模型评估：使用测试集评估最终模型的准确性。
这些步骤可以帮助你在实际应用中高效使用SVM，避免陷入常见的困境。
 
 
 
]]> <![CDATA[如何正确分析神经振荡]]> https://tangly1024.com/article/oscillation_analysis https://tangly1024.com/article/oscillation_analysis Thu, 08 May 2025 00:00:00 GMT

振荡检查清单（Oscillation Checklist）

存在神经振荡
所选择的频率范围与关注的振荡相匹配
非周期性活动已被充分控制
已考虑并控制时间变异性
已考虑并控制波形形状
已应用源分离技术
所有使用的度量方法都具备足够的信噪比
 
神经振荡是大脑电活动中最显著的节律现象之一。在静息态脑电、任务诱发LFP和认知负荷相关的MEG中，我们都能观察到一系列具有清晰频率结构的振荡节律。这些振荡的研究为理解注意力、记忆、感知乃至精神疾病提供了强有力的理论工具。研究者主要通过功率谱（spectral power）、相位分析（phase analysis）和耦合度量（coupling metrics）等方法来揭示大脑信息处理中的振荡机制。
然而，Donoghue等人（2021）在其技术性综述中提出警示：这些分析方法往往建立在对信号特性的一系列"默认假设"之上，而这些假设在真实的神经信号中并不总是成立。一旦我们忽视了这些隐含前提，就很容易"过度解读"甚至"误读"数据。
本文将基于该文提出的七大误区，系统梳理每一项潜在的分析陷阱，解释其产生原因，并探讨如何在实际研究中规避这些问题。

一、功率谱中的能量并不等同于振荡的存在

在神经信号分析中，我们习惯将功率谱中特定频率段的能量峰值解释为"振荡的存在"。例如，当观察到8–12Hz频段有显著能量区时，我们会自然地称之为"alpha振荡"。然而，Donoghue等人提醒我们，这种推断过于武断。
神经场电位（如EEG、LFP等）不仅包含我们关注的节律成分（即真正的振荡），还包含广泛的非周期性（aperiodic）成分——尤其是所谓的"1/f噪声"。这种背景活动在功率谱中普遍存在，呈现一种典型的斜率结构：频率越高，功率越低。
问题在于，即使信号完全不包含真实节律，其功率谱在低频段仍可能出现"凸起"的能量。更为棘手的是，当使用窄带滤波器进行band-pass滤波时，它会强制从非周期性背景信号中"滤出"一段看似规则的波形，这种处理可能误导我们认为观察到了节律性活动。
Donoghue等人通过一个经典例子说明了这一点：对一个纯粹的1/f噪声信号使用narrowband filter进行滤波，在滤波后的波形中仍能观察到貌似真实的振荡节律。这种假象仅仅是滤波器"强行赋予"信号以节律结构（参见原文图1c）。
图 1 如果没有验证振荡活动，则应用的测量方法可能反映非周期性活动。 a）非振荡信号（例如狄拉克 delta 函数）在所有频率上都表现出功率。 b）类似地，非振荡 1/f 信号也在所有频率上具有功率，包括典型的窄带区域：Delta（黄色）、theta（绿色）、alpha（蓝色）和 beta（紫色）。该功率谱说明了一个事实，即仅仅因为某个频率有功率，并不意味着该频率存在主导振荡。 c）（b）中显示的窄带滤波信号轨迹看起来是有节奏的。请注意，这反映的是来自非周期性活动的带功率，而不是任何窄带振荡。 d）有节奏的信号（例如纯正弦波）在功率谱中表现为主要峰值。 e）包含非周期性活动和窄带 alpha 振荡的组合信号。在这种情况下，振荡在功率谱中以峰值的形式可见，高于非周期性1/f类信号的频谱贡献。 f）可以检测频谱峰值，以识别数据中的假定振荡，如已识别的峰值所示（绿色）。频谱峰值检测可用于选择需要进一步分析的频带，例如，选择需要滤波的alpha范围进行后续分析（底部）。
图 1 如果没有验证振荡活动，则应用的测量方法可能反映非周期性活动。 a）非振荡信号（例如狄拉克 delta 函数）在所有频率上都表现出功率。 b）类似地，非振荡 1/f 信号也在所有频率上具有功率，包括典型的窄带区域：Delta（黄色）、theta（绿色）、alpha（蓝色）和 beta（紫色）。该功率谱说明了一个事实，即仅仅因为某个频率有功率，并不意味着该频率存在主导振荡。 c）（b）中显示的窄带滤波信号轨迹看起来是有节奏的。请注意，这反映的是来自非周期性活动的带功率，而不是任何窄带振荡。 d）有节奏的信号（例如纯正弦波）在功率谱中表现为主要峰值。 e）包含非周期性活动和窄带 alpha 振荡的组合信号。在这种情况下，振荡在功率谱中以峰值的形式可见，高于非周期性1/f类信号的频谱贡献。 f）可以检测频谱峰值，以识别数据中的假定振荡，如已识别的峰值所示（绿色）。频谱峰值检测可用于选择需要进一步分析的频带，例如，选择需要滤波的alpha范围进行后续分析（底部）。

正确做法

因此，在开展任何振荡分析之前，最关键的第一步是确认信号中确实存在节律活动。Donoghue建议从两个维度进行检验：
  1. 频率域：观察功率谱中是否存在超出背景的清晰峰值（spectral peak），而非仅是斜坡式的背景。
  1. 时间域：直接观察原始波形，寻找是否存在可见的、近似周期的节律段落。
此外，FOOOF（Fitting Oscillations and One-Over-F）或eBOSC等工具可用于定量分离周期性与非周期性成分，帮助判断功率是否确实源于振荡而非背景漂移。

二、标准频段划分并不适用于所有人

在神经科学研究中，我们习惯将脑电或LFP信号划分为标准频段：delta（1–4 Hz）、theta（4–8 Hz）、alpha（8–12 Hz）、beta（13–30 Hz）、gamma（>30 Hz）。这种划分源于早期神经生理研究的总结，确实为群体水平分析提供了便利。然而，当我们机械地将其应用到每位被试、每个脑区时，却忽视了一个关键事实：神经振荡的真实频率往往具有个体差异，甚至区域差异。
Donoghue等人通过模拟数据清楚地展示了这个问题。他们比较了两个信号：一个具有8 Hz的振荡峰，另一个具有10.5 Hz的振荡峰。若按"alpha=8–12 Hz"的标准定义，这两个信号在平均功率上都属于alpha波段。但若以更细的子区间（如8–10 Hz对比10–12 Hz）分析，这两个振荡就会被分别归类，甚至被误解为"频段差异"，从而导致分析偏差（见原文图2a–c）。
更为棘手的是，当个体的真实振荡频率落在这些边界之外（如theta与alpha的交界处），该振荡可能被忽视、弱化或误判为其他频率的变化。这种现象在睡眠研究和发展性神经科学中尤为明显，因为振荡频率会随年龄增长和神经状态而动态变化。
图 2 典型频带范围可能无法捕捉窄带峰值。 a）模拟信号及其相应的功率谱，其中存在显著的 10 Hz α 振荡。蓝色阴影部分为典型 α 范围（8-12 Hz）。 b）另一个具有显著 α 振荡的信号，峰值频率为 8 Hz。 c）使用典型频带范围，发现 (a) 和 (b) 中信号的 α 功率存在显著差异。检查相邻频带时（右图），由于 α 峰值漂移到典型 θ 范围内，θ 功率也存在测量差异。这些结果表明信号之间存在振荡功率差异；然而，这实际上是由 α 峰值频率差异造成的。 d）来自 (b) 的时间序列，已使用典型范围（蓝色）和个性化范围（绿色）滤波到 α 频率范围内。个体化范围已调整至时间序列的峰值频率（见插图功率谱）。请注意，个体化滤波器捕获了更多窄带活动。 e） 使用个体化频段后，测量的 alpha 功率不再存在差异，这与 (c) 中由于峰值频率不匹配而导致的测量差异一致。
图 2 典型频带范围可能无法捕捉窄带峰值。 a）模拟信号及其相应的功率谱，其中存在显著的 10 Hz α 振荡。蓝色阴影部分为典型 α 范围（8-12 Hz）。 b）另一个具有显著 α 振荡的信号，峰值频率为 8 Hz。 c）使用典型频带范围，发现 (a) 和 (b) 中信号的 α 功率存在显著差异。检查相邻频带时（右图），由于 α 峰值漂移到典型 θ 范围内，θ 功率也存在测量差异。这些结果表明信号之间存在振荡功率差异；然而，这实际上是由 α 峰值频率差异造成的。 d）来自 (b) 的时间序列，已使用典型范围（蓝色）和个性化范围（绿色）滤波到 α 频率范围内。个体化范围已调整至时间序列的峰值频率（见插图功率谱）。请注意，个体化滤波器捕获了更多窄带活动。 e） 使用个体化频段后，测量的 alpha 功率不再存在差异，这与 (c) 中由于峰值频率不匹配而导致的测量差异一致。

正确做法

要克服这一问题，关键在于：**避免预设频率段，而应根据每位被试、每个脑区的功率谱，动态地定义个体化频段。**这并非过于复杂或理想化的建议，许多研究工具已经提供了相关功能：
  • FOOOF模型可以精确拟合功率谱中的峰值频率；
  • MODAL方法（Watrous et al., 2018）可基于群体数据计算最可靠的频段边界；
  • 对于任务相关研究，可根据baseline与任务期间的峰值差异来动态调整频段划分。
总之，个体化分析不是一种"奢侈"，而是确保科学严谨性的必要步骤。在处理不同被试或不同脑区的数据时，提前确认其主导节律的频率位置，是避免后续误判的关键。

三、不是所有功率变化都反映振荡的改变

神经科学中的频域分析主要关注特定频段的功率变化。比如，注意力任务中alpha功率下降常被解读为"皮层去同步"，认知任务中theta功率上升则被视为"执行负荷增强"。然而，Donoghue等人强调，功率谱中的变化不仅来自周期性振荡的增强或削弱，还可能源于非周期性背景活动的变化。
这种背景活动的变化主要体现在1/f谱结构上。当谱的斜率（exponent）改变时，整个功率谱会发生"倾斜"：或陡或平。这种斜率变化会导致高频能量下降、低频能量上升，即使周期性振荡本身并未发生实质性改变。
Donoghue通过示意图清晰地说明了这一点：两个功率谱中的周期性振荡（如alpha峰的位置和带宽）完全相同，仅背景谱斜率不同，就能在各频段产生"功率变化"。如果不区分周期性和非周期性成分，这些变化容易被误解为"神经节律调节"或"频段间功能交互"。
这个问题在"功率比值"指标中尤其明显。例如，ADHD研究中常用的theta/beta比值，按照Donoghue等人的观点，其变化更多反映的是背景谱的整体倾斜，而非真正的频带振荡变化。
图 3 非周期性活动的变化会影响频带功率测量。 a）非周期性白色（黑色）和粉红色（红色）噪声信号的示例，如其功率谱所示，它们在不同频率上显示出不同的功率模式。蓝色阴影表示典型的 α 范围，插图中显示的是 α 范围内的时间序列滤波。请注意，粉红噪声信号的“α”功率似乎有所增加。 b）包含非周期性和振荡功率（黑色）的模拟组合信号，以及在谱域中旋转后，具有相同周期分量但非周期分量发生变化的信号的变换版本（红色）。请注意，在（a）和（b）中，看似特定于频带的变化实际上反映了非周期性活动的差异。 c）使用相同振荡分量但不同非周期性活动模拟的组合信号的功率谱比较。阴影部分反映了不同的频带，包括 δ（黄色）、θ（绿色）、α（蓝色）、β（紫色）和 γ（红色）。 d）针对 (c) 图中光谱，分别计算每个频带的功率绝对差。请注意，尽管数据差异被模拟为非周期性成分的变化，但逐个频带的分析表明不同频带之间存在变化模式。 e）相对 α 功率（底部）的计算方法是将绝对频带功率（左上）除以所有频率的功率（右上）。请注意，尽管 α 功率的量没有差异，但由于信号之间存在系统性不同的非周期性活动，因此测量到的相对功率发生了变化。
图 3 非周期性活动的变化会影响频带功率测量。 a）非周期性白色（黑色）和粉红色（红色）噪声信号的示例，如其功率谱所示，它们在不同频率上显示出不同的功率模式。蓝色阴影表示典型的 α 范围，插图中显示的是 α 范围内的时间序列滤波。请注意，粉红噪声信号的“α”功率似乎有所增加。 b）包含非周期性和振荡功率（黑色）的模拟组合信号，以及在谱域中旋转后，具有相同周期分量但非周期分量发生变化的信号的变换版本（红色）。请注意，在（a）和（b）中，看似特定于频带的变化实际上反映了非周期性活动的差异。 c）使用相同振荡分量但不同非周期性活动模拟的组合信号的功率谱比较。阴影部分反映了不同的频带，包括 δ（黄色）、θ（绿色）、α（蓝色）、β（紫色）和 γ（红色）。 d）针对 (c) 图中光谱，分别计算每个频带的功率绝对差。请注意，尽管数据差异被模拟为非周期性成分的变化，但逐个频带的分析表明不同频带之间存在变化模式。 e）相对 α 功率（底部）的计算方法是将绝对频带功率（左上）除以所有频率的功率（右上）。请注意，尽管 α 功率的量没有差异，但由于信号之间存在系统性不同的非周期性活动，因此测量到的相对功率发生了变化。

正确做法

为避免这类误判，分析时应采取更精确的方法：
  • 使用FOOOF或类似工具将功率谱分解为周期性与非周期性成分，分别分析其变化；
  • 避免仅依赖"频带功率平均"或"功率比值"作为核心指标；
  • 结果报告时，明确说明所观察的功率变化是基于周期性峰值的变化，还是源于频谱结构的整体漂移。
通过准确区分"频段功率增加"与"谱结构变化"，我们才能更准确地理解神经振荡的功能意义，避免受背景因素干扰而得出错误结论。

四、振荡不是持续存在的，而是以"爆发"形式间歇出现

在许多分析中，我们常常假设神经振荡是持续存在的——比如认为alpha节律始终维持在8–12Hz，只是强度会有所变化。但在真实信号中，这种假设很少成立。Donoghue等人指出，大多数神经振荡在时间轴上呈现**断断续续、短暂爆发（burst-like）**的形式，而非稳定持续的"纯振荡"。
当我们将包含burst的多个试次取平均时，容易产生一个错觉：似乎信号中存在持续的振荡。例如，在注意任务中观察到的alpha功率上升，可能仅仅是因为某些trial中alpha burst出现得更频繁或持续更长，经过平均后形成了表观的"持续激活"（见原文Figure 4c）。
Donoghue等人通过模拟信号进一步证明，即使每个burst的幅度完全相同，仅仅是burst的出现频率、持续时间和分布时间的差异，就能导致平均功率的显著变化。这种变化容易被误解为"振荡增强"或"同步化改变"，但实际上只反映了爆发特征的统计差异（Figure 4b）。
图 4 神经振荡的时间动态影响频谱测量。 a）两个模拟信号，其 α 波段的爆发活动水平较低（顶部；蓝色）和较高（底部；绿色），以概率爆发开始和结束进行模拟。标识为爆发的片段以红色阴影表示。请注意，如果存在振荡功率，则两个信号中的振荡功率相同。 b）（a）中信号的功率谱。注意 alpha 峰值大小的差异，这表明信号之间的 alpha 功率存在差异。然而，当量化爆发内的功率时（插图条形图），发现功率大致相同。功率的明显差异是由于时间变异性的差异造成的。 c）时间变异性可能导致平均结果中出现虚假的持续功率。单次试验的声谱图（顶部）显示振荡功率的短暂爆发，平均下来产生看似持续的响应（底部）。 d–f）测量到的功率差异可能由于爆发振荡的多种特征而产生，包括爆发持续时间（d）、发生频率（e）和/或振幅（f）的变化。在这些模拟中，两个时间序列中有一个特征有所不同，而其他所有特征均保持不变。每个特征都会在最终的 α 峰值中产生类似的差异，这表明测量到的功率可以反映所分析时间序列的多个时间变异性。
图 4 神经振荡的时间动态影响频谱测量。 a）两个模拟信号，其 α 波段的爆发活动水平较低（顶部；蓝色）和较高（底部；绿色），以概率爆发开始和结束进行模拟。标识为爆发的片段以红色阴影表示。请注意，如果存在振荡功率，则两个信号中的振荡功率相同。 b）（a）中信号的功率谱。注意 alpha 峰值大小的差异，这表明信号之间的 alpha 功率存在差异。然而，当量化爆发内的功率时（插图条形图），发现功率大致相同。功率的明显差异是由于时间变异性的差异造成的。 c）时间变异性可能导致平均结果中出现虚假的持续功率。单次试验的声谱图（顶部）显示振荡功率的短暂爆发，平均下来产生看似持续的响应（底部）。 d–f）测量到的功率差异可能由于爆发振荡的多种特征而产生，包括爆发持续时间（d）、发生频率（e）和/或振幅（f）的变化。在这些模拟中，两个时间序列中有一个特征有所不同，而其他所有特征均保持不变。每个特征都会在最终的 α 峰值中产生类似的差异，这表明测量到的功率可以反映所分析时间序列的多个时间变异性。

正确做法

如果忽视振荡的burst特性，我们就无法真正理解信号背后的动力学机制。因此，分析时应采用burst分析范式：
  • 不仅关注功率变化，还要统计burst的三个关键特征：出现频率、持续时间和振幅；
  • 采用burst检测算法，如eBOSC、cycle-by-cycle或HMM方法，提取每次burst的动态特征；
  • 保留单次trial的分析结果，避免仅依赖平均时频图来判断"振荡是否存在"。
特别是在研究任务反应、行为预测或治疗效果时，burst的微观结构（如"刺激后250ms内是否出现burst"）往往比平均功率能提供更有价值的信息。

五、振荡波形并非正弦形状，错误波形会产生"耦合假象"

在所有时频分析方法中，有一个几乎不被质疑的基础假设：神经振荡呈现正弦波（sinusoid）形状。这看似理所当然——大多数滤波器设计、Hilbert变换提取相位/幅度、傅里叶分析建模，都建立在正弦假设之上。
然而，大脑并非如此规整的发电机。Donoghue等人指出，许多常见神经振荡（如感觉运动mu节律、海马theta、视觉alpha）在时域中往往呈现非正弦形态：可能带有尖锐峰、不对称的上升/下降时间，甚至呈锯齿状。这种波形变形会带来两个严重后果：
  1. 相位估计失真：当对非正弦波进行带通滤波时，滤波器会丢失原波形的高次谐波成分，导致重构波形变形，进而影响每个采样点的相位值（Figure 5a）。
  1. 伪造频率耦合现象：一个非正弦的alpha波（如10Hz）会在功率谱中自然产生二次、三次谐波（20Hz、30Hz），这可能被某些算法错误解读为beta/gamma与alpha之间存在PAC（相-幅耦合）（Figure 5b–e）。
这意味着，即便只测到单一频率的振荡，如果它不是正弦形状，传统算法也会显示"存在跨频交互"，从而误导研究者推断大脑中存在功能性节律耦合机制。
图 5 神经振荡的波形形状影响功率和耦合测量。 a）四种具有不同上升-衰减不对称性的时域信号（彩色轨迹）及其窄带滤波版本（黑色轨迹）。不对称振荡的窄带滤波会移动信号的峰值时间，阴影区域标记了原始信号和滤波版本峰值之间的距离。 b）在相应的功率谱中，由于不对称性，在谐波频率（恰好是振荡频率的两倍和三倍）处出现了频谱峰值。 c）这些谐波峰值的尺度与不对称性有关，因此增加波形不对称性可以表现为β频率范围内的功率增加。 d）非正弦节律也会产生杂散相位幅度耦合。10 Hz 非正弦 α 信号在 β 峰值频率（15-25 Hz）附近进行带通滤波。 β信号表现出幅度偏差，这取决于非正弦波形驱动的 α 相位（插图显示每个信号的功率谱）。 e）通过计算β包络作为α相位的函数来量化相位幅度耦合。与纯β正弦波（红色）相比，非正弦信号（蓝色）的β包络在特定α相位处呈现最小值，表明存在相位-幅度耦合，这种耦合由α节律的波形形状驱动。
图 5 神经振荡的波形形状影响功率和耦合测量。 a）四种具有不同上升-衰减不对称性的时域信号（彩色轨迹）及其窄带滤波版本（黑色轨迹）。不对称振荡的窄带滤波会移动信号的峰值时间，阴影区域标记了原始信号和滤波版本峰值之间的距离。 b）在相应的功率谱中，由于不对称性，在谐波频率（恰好是振荡频率的两倍和三倍）处出现了频谱峰值。 c）这些谐波峰值的尺度与不对称性有关，因此增加波形不对称性可以表现为β频率范围内的功率增加。 d）非正弦节律也会产生杂散相位幅度耦合。10 Hz 非正弦 α 信号在 β 峰值频率（15-25 Hz）附近进行带通滤波。 β信号表现出幅度偏差，这取决于非正弦波形驱动的 α 相位（插图显示每个信号的功率谱）。 e）通过计算β包络作为α相位的函数来量化相位幅度耦合。与纯β正弦波（红色）相比，非正弦信号（蓝色）的β包络在特定α相位处呈现最小值，表明存在相位-幅度耦合，这种耦合由α节律的波形形状驱动。

正确做法

  • 在时域中明确量化振荡的形态特征，如上升/衰减的非对称性、峰值锐度、波谷宽度等；
  • 判断频谱中的多个峰值是否为谐波（整倍数关系），可使用双相干性、谐波PAC指标进行筛查；
  • 进行PAC分析时需特别注意：若高频信号总是出现在低频的特定相位上，不能直接推断为"调制"，还需验证是否源于波形结构本身。
Donoghue等人建议：只有在准确量化并控制波形形状后，才能可靠地解释频率间的交互关系，否则容易得出"虚假耦合"的结论。

六、多源信号的混合常常掩盖真实振荡结构

在EEG/MEG等体表记录方式中，每个电极记录到的并非单一脑区的信号，而是多个脑区、多个振荡源通过体积传导（volume conduction）混合的结果。这种混合不仅影响功率测量，更会扭曲我们对节律来源与特征的理解。
举例来说，当两个脑区各自产生alpha波（一个是10.5Hz，另一个是9Hz），它们混合后会在功率谱中表现出"双峰"（split alpha）现象。我们容易误认为这是"一个脑区内部的两种alpha机制"，实际上只是两个来源的重叠（Figure 6b）。更有趣的是，当两个源振荡频率相同但相位相反时，它们甚至可能在sensor level完全抵消（Figure 6c）。这会让研究者误以为"振荡消失了"，而实际上是"被干扰了"。
这个问题在连接性分析中尤为突出：当你观察到两个通道之间存在高相位同步时，很可能仅仅是因为同一个源同时投影到了两个通道，并非存在真实的神经连接。
图 6 多个同时发生的节律会干扰并影响传感器级数据。 a）一个真实的头部模型，其中两个振荡源（红色和蓝色）放置在后皮质中，投射到突出显示的电极（绿色）上。下方是两个对记录电极有贡献的源的拓扑结构。两个源的导联场系数具有大致相等的值，表明对绿色电极上记录的活动的贡献相等。 b）在此模拟中，电极信号（绿色；底部）反映了多个底层源，包括两个不同的节律成分，其峰值频率略有不同。这些源可以看作是功率谱中的两个谱峰。 c）对两个具有相同峰值频率但具有相位差的振荡源进行单独模拟。由于相位差为π，两个源会相消叠加。在这种情况下，即使各个源的振荡功率稳定且一致，源的干扰也会在电极级相互抵消。请注意，在这些模拟中，振荡是非正弦的，这也会产生功率谱中看到的谐波峰值。
图 6 多个同时发生的节律会干扰并影响传感器级数据。 a）一个真实的头部模型，其中两个振荡源（红色和蓝色）放置在后皮质中，投射到突出显示的电极（绿色）上。下方是两个对记录电极有贡献的源的拓扑结构。两个源的导联场系数具有大致相等的值，表明对绿色电极上记录的活动的贡献相等。 b）在此模拟中，电极信号（绿色；底部）反映了多个底层源，包括两个不同的节律成分，其峰值频率略有不同。这些源可以看作是功率谱中的两个谱峰。 c）对两个具有相同峰值频率但具有相位差的振荡源进行单独模拟。由于相位差为π，两个源会相消叠加。在这种情况下，即使各个源的振荡功率稳定且一致，源的干扰也会在电极级相互抵消。请注意，在这些模拟中，振荡是非正弦的，这也会产生功率谱中看到的谐波峰值。

正确做法

  • 避免仅在sensor level进行解读，应尽量使用源分离算法，如ICA、beamforming、GED等；
  • 在无法进行源定位时，选用能排除体积传导影响的连接性指标（如imaginary coherence、PLV的非零延迟版本）；
  • 当观察到"多个频率峰"时，应优先考虑是否为多个来源混合所致，而非同源双节律。
Donoghue强调，虽然这些方法并非万能，但至少比直接依赖sensor level功率谱的解读更为可靠。

七、低信噪比下，一切分析都不可信

Donoghue等人最后指出，即便做足了前六点准备，如果信号本身的信噪比（SNR）过低，所有分析结果都可能是误判。
低SNR最常见的后果是：相位估计不稳定（phase slips）。这表现为相位的突然跳跃，同时功率变化也极不稳定。你原本想测量的"振荡变化"，实际测到的可能只是"噪声抖动"。这对phase-locking value、inter-trial coherence、PAC等分析特别致命——在SNR不足时，这些指标会偏离理论值，无法反映任何认知机制（Figure 7c–f）。
更隐蔽的危害在于：当比较两个条件间的这些指标时，差异可能仅源于SNR的不同，而非振荡本身的变化。这会让研究者错误地认为"大脑发生了功能重组"。
图 7 低振荡信噪比 (SNR) 对测量的影响。 a）具有可变 SNR 的 α 振荡模拟信号的功率谱，如不同的峰高所示。 b）具有高 SNR 的模拟信号之一，带有经 α 滤波的信号（顶部；蓝色），从中计算出瞬时相位（中间；红色）和频率（底部；绿色）。请注意，模拟信号具有一致的相位和频率。 c）与（b）相同，对于具有低 SNR 的信号。请注意，在这种情况下，由于低 SNR 导致的错误估计，相位和频率的估计是可变的。这导致瞬时相位出现箭头所示的相位滑移，这也会导致瞬时频率估计不稳定。 d）高和低 SNR 信号的滤波版本。在模拟信号中，底层信号（灰色）除了功率差异外是相同的，并且具有均匀的相位。滤波后的轨迹（蓝色）与底层信号存在偏差，尤其是在低 SNR 信号中。 e）（d）中信号的相位估计，其中实心红色表示模拟振荡的真实相位，阴影表示在每个 SNR 范围内经过多次相位估计迭代后估计相位的标准偏差。这表明，SNR 越低，相位估计的方差就越大。这些不稳定的相位估计将影响后续测量，例如相位耦合。 f）在高功率振荡和功率降低的模拟信号之间计算出的锁相值，如（a）所示。请注意，所有模拟振荡都具有相同的模拟相位时间过程，因此预期的锁相值为 1，任何低于此值的估计都是由于低功率导致的错误估计。
图 7 低振荡信噪比 (SNR) 对测量的影响。 a）具有可变 SNR 的 α 振荡模拟信号的功率谱，如不同的峰高所示。 b）具有高 SNR 的模拟信号之一，带有经 α 滤波的信号（顶部；蓝色），从中计算出瞬时相位（中间；红色）和频率（底部；绿色）。请注意，模拟信号具有一致的相位和频率。 c）与（b）相同，对于具有低 SNR 的信号。请注意，在这种情况下，由于低 SNR 导致的错误估计，相位和频率的估计是可变的。这导致瞬时相位出现箭头所示的相位滑移，这也会导致瞬时频率估计不稳定。 d）高和低 SNR 信号的滤波版本。在模拟信号中，底层信号（灰色）除了功率差异外是相同的，并且具有均匀的相位。滤波后的轨迹（蓝色）与底层信号存在偏差，尤其是在低 SNR 信号中。 e）（d）中信号的相位估计，其中实心红色表示模拟振荡的真实相位，阴影表示在每个 SNR 范围内经过多次相位估计迭代后估计相位的标准偏差。这表明，SNR 越低，相位估计的方差就越大。这些不稳定的相位估计将影响后续测量，例如相位耦合。 f）在高功率振荡和功率降低的模拟信号之间计算出的锁相值，如（a）所示。请注意，所有模拟振荡都具有相同的模拟相位时间过程，因此预期的锁相值为 1，任何低于此值的估计都是由于低功率导致的错误估计。

正确做法

  • 在分析前评估SNR：可通过目标频段峰值高度与周围背景均值的比值来估计；
  • 确保不同条件、被试间的SNR保持一致，或在结果解释时控制SNR差异的影响；
  • 采用在高SNR下更稳健的分析方法，如Kalman平滑器、Monte Carlo估计，或使用burst-level时间窗进行相位统计。
Donoghue等人一针见血地指出："问题不在于方法不对，而在于根本没有可测量的信号。"

结语：从功率谱到神经机制，我们应该更谨慎地谈论振荡

神经振荡曾被誉为大脑节奏的语言，是大脑信息处理过程的组织者。Donoghue等人在这篇重要的综述中提醒我们，要想科学地谈论"振荡"，我们首先必须弄清楚：我们分析的信号到底是不是振荡。
这七条分析陷阱表面上看是技术性问题——"有没有振荡"、"频段准不准"、"背景有没有变"。但其深层含义远不止如此。它们从不同角度指向一个核心事实：**神经信号极其复杂，我们用来处理它的工具却往往过于简化。**不恰当的假设、不充分的验证、过早的归因，都可能让我们在信号表面看到的"规律"变成误导。
这七点之间并非孤立存在，而是层层相扣，互为因果：
  • 没有节律的信号（陷阱一）会被固定频段划分（陷阱二）误判为有；
  • 背景1/f变化（陷阱三）会掩盖或伪造功率变化，并干扰burst检测（陷阱四）；
  • 非正弦波形（陷阱五）产生假频率耦合，而多源干扰（陷阱六）会让你误以为"发现了一个神经网络"；
  • 低信噪比（陷阱七）则会使所有上述分析结果都趋向随机。
这些陷阱有一个共同特点：它们都不是源于"算法不对"，而是"方法和数据之间的假设不匹配"。正如作者所强调：问题不在于分析公式的数学正确性，而在于我们对分析结果的生理意义解读是否成立。

如何面对这种复杂性？

Donoghue等人并非否定神经振荡的研究意义，他们提出的是建设性反思，而非质疑。以下是对研究者们的几点建议：
  1. 在分析前设定检查点，而不是在结果后寻找解释。在进行任何频率分析、滤波、相位计算之前，请先确认信号中确实存在你要找的内容。
  1. 不怕复杂，怕的是简化不当。每个功率变化都可能同时来自峰值、burst率、1/f斜率、SNR变化等多种因素。不要用简单的"XX频段增强了"来解释复杂的大脑过程。
  1. 让可视化和数据探索回到神经科学分析流程中。绘制功率谱、trial-level波形、burst分布、非正弦波形，让你更贴近数据本身，而不是算法的想象。
  1. 引入新的工具，不等于抛弃已有知识。如 FOOOF、eBOSC、cycle-by-cycle、source separation、harmonic control 等方法，都是为了更合理地运用已有分析思路，而非推倒重来。

最后

💡
不是所有功率谱的峰都是振荡，不是所有耦合现象都有生理意义，不是所有频率变化都意味着功能变化。

总结表

主题
数据特性
方法学问题
建议
#1 振荡是否存在
神经振荡的存在具有变异性，可能在记录中并不总是出现
如果没有振荡存在，所用分析方法将无法反映真实的振荡活动，结果可能只是反映了非周期性成分
在开始分析前确认振荡是否存在，例如使用频谱峰值检测，或在时间域中使用 burst 检测方法
#2 频率变化
神经振荡的峰值频率在个体或区域间具有变异性
使用经典固定频段（如8–12 Hz）可能无法准确捕捉真实的振荡活动
在分析前验证频段设置的合理性，并根据实际数据进行个体化调整
#3 非周期性活动
神经振荡与动态变化的非周期性活动共存
所观测到的功率变化可能源自非周期性成分的变化，而非周期性振荡本身的变化
分析中应衡量并控制非周期性成分的影响，明确其是否解释了观察到的变化
#4 时间上的可变性
神经振荡在时间轴上具有可变性，常呈现 burst（突发）特征
若只分析平均功率，可能会将多个 trial 中的 burst 混合，形成虚假的“持续性活动”印象
检查单试次数据以评估时序变化，使用 burst 检测方法来准确量化 burst 特性
#5 波形形态
神经振荡常呈现非正弦形状的波形
分析方法常假设振荡为正弦形，若波形不规则，可能导致错误结果
应分析波形的形态特征（如对称性、尖锐度等），评估其是否影响了分析结果
#6 多源振荡重叠
大脑中存在多个共存的振荡源，这些源在空间上可能重叠
多源干扰可能导致破坏性叠加，使结果无法准确反映真实活动
使用源分离技术（如ICA、beamforming）以减少不同振荡类型之间的混叠
#7 信噪比变异
神经振荡的信噪比存在变化
若信噪比不足，则任何分析结果都可能不可靠甚至失真
评估分析所需的最低信噪比，并优化获取路径，以保障所有测量方法的可靠性
 
 
]]> <![CDATA[期末考试最实用的20个聊天提示]]> https://tangly1024.com/article/exam_chats https://tangly1024.com/article/exam_chats Thu, 08 May 2025 00:00:00 GMT
💡
来自世界各地大学的学生分享了他们正在使用的具体聊天功能。您可以将这些内容复制粘贴到 ChatGPT 中，亲自尝试一下。
  1. 我想通过教学来学习。问我一些关于 [xx话题] 的问题，这样我可以练习向你解释核心概念。
      2. [I want to learn by teaching. Ask me questions about [topic] so I can practice explaining the core concepts to you.]
  1. 用三个不同的理解层次向我解释 [xx话题]，从小学水平到大学水平。
      2. [Explain [topic] to me in 3 different levels of understanding from elementary school level to college level.]
  1. 我想在继续写作前测试我的论文压力点。提出现有的反对观点和我逻辑中的任何漏洞。
      2. [I want to pressure test my thesis before I keep writing. Suggest the existing opposing viewpoints and any flaws in my logic.]
  1. 我想为 [xx课程] 的最终展示进行练习。扮演我的公众演讲教练并给我反馈，帮助我提升。
      2. [I want to practice my final presentation for [course]. Act as my public speaking coach and give me feedback to help me improve.]
  1. 我想了解 [xx话题]。识别并分享这个主题中最重要的20%内容，这将帮助我理解80%的内容。
      2. [I want to learn about [topic]. Identify and share the most important 20% of learnings from this topic that will help me understand 80% of it.]
  1. 你能否把以下幻灯片内容变得更快速、更有趣地让我学习？
      2. [Can you take the following slides and help me learn the content in a faster and more interesting way?]
  1. 创建一张图像来帮助我直观理解 [xx概念]。
      2. [Create an image to help me visualize [concept].]
  1. 我在理解 [xx话题] 上有困难，为我设计一个游戏，帮助我实现 [xx学习目标]。
      2. [I am struggling to understand [topic] and want you to create a game to help me [learning goals].]
  1. 把这段晦涩的文字解码为我能理解的语言。
      2. [Decode this dense passage into language I can understand.]
  1. 提供一份关于 [xx话题] 的顶级同行评审期刊文章清单。包括标题、作者、日期和论文链接，并总结主要发现及其与主题的关联。
      2. [Provide a comprehensive list of articles from top tier peer reviewed journals on [topic]. Include the title, authors, date and link to the full paper and summarize the main findings and their relevance to the topic.]
  1. 扮演我的教授，根据评分标准为我的作业评分。
      2. [Act as my professor and grade my assignment according to the rubric.]
  1. 用APA格式引用这个网站：[xx链接来源]。
      2. [Please cite this website for me in APA format: [source].]
  1. 为我提供一个逐步指南，帮助我完成 [xx项目]。每一步都尽量细小且可实现。
      2. [Give me a step-by-step guide to help me finish [project]. Make the steps as small and achievable as possible.]
  1. 查看这个作业中的所有规则和要求，并制作一个易于理解的检查清单。
      2. [Look for any rules and requirements in this assignment and make a checklist that's easy to understand.]
  1. 我今天没有状态。根据我的心情帮助我理解这节课的内容。
      2. [I’m not feeling it today. Help me understand this lecture knowing that's how I feel.]
  1. 把这些内容变成抽认卡风格的问题和答案。
      2. [Turn this into flashcard style questions and answers.]
  1. 我即将参加 [xx课程] 的考试。基于该课程内容为我创建一份练习测验。逐题提问。考试形式为 [xx考试形式]，遵循这种风格。
      2. [I have an upcoming exam for [course]. Create a practice quiz for me based on the material. Ask me each question one by one. The exam will be [exam format] so please follow this style.]
  1. 用语法错误的西班牙语写句子，我来尝试改正。用英文提供纠正。
      2. [Write sentences in Spanish with incorrect grammar and I will try to fix them. Please provide corrections in English.]
  1. 我正在学习 [xx话题]。鼓励我。
      2. [I'm studying [topic]. Motivate me.]
  1. 我正在写关于 [xx话题] 的文章，想从多个角度进行思考。找出三位对此持不同观点的专家并比较他们的意见。
      2. [I am writing about [topic] and want to consider multiple perspectives. Find 3 experts with different points of view and compare their opinions.]
 
感谢所有分享和测试这些对话的同学 ✨
 
]]> <![CDATA[网络爬虫和HTML基础]]> https://tangly1024.com/article/python_webscrap https://tangly1024.com/article/python_webscrap Fri, 18 Apr 2025 00:00:00 GMT
notion image

目标

完成本次阅读后，您将能够：
  • 理解HTML结构和标签组成的关键概念
  • 掌握HTML文档树的概念
  • 熟悉HTML表格的使用
  • 掌握使用Python和BeautifulSoup进行网页抓取的基础知识

网络爬虫简介

网络爬虫（web scraping，也称为网络采集或网络数据提取）是从网站中自动提取信息的过程。它被广泛应用于数据分析、数据挖掘、价格比较和内容聚合等领域。

网络爬虫如何工作

HTTP请求

网络爬虫的工作始于发送HTTP请求。它向特定URL发送请求（通常是HTTP GET请求）来获取网页内容，这个过程类似于浏览器访问网站。

网页检索

网站服务器接收到请求后，会返回网页的HTML内容，包括可见的文本、媒体元素以及定义页面布局的HTML结构。

HTML解析

获取HTML内容后，需要将其解析成可处理的格式。在Python中，我们使用BeautifulSoup库来完成这项工作。它能将HTML内容转换为结构化的格式，便于导航和操作。

数据提取

完成HTML解析后，爬虫可以开始提取所需的特定数据，如文本、链接、图像、表格、产品价格或新闻文章等。爬虫通过识别HTML标签、属性和结构模式来定位这些数据。

数据转换

提取的数据通常需要进一步处理，如移除HTML标签、转换数据格式或清理杂乱数据。这个步骤确保数据可用于后续分析或其他用途。

存储

处理后的数据可以存储在数据库、电子表格、JSON或CSV文件等多种格式中。存储格式的选择取决于具体项目需求。

自动化

网页抓取通常通过脚本或程序实现自动化。这些工具可以定期从多个网页或网站提取数据，特别适合采集动态更新的网站内容。
notion image

HTML结构

超文本标记语言（HTML）是网页的基础，理解其结构对网络爬虫至关重要。
  • <html>是HTML页面的根元素
  • <head>包含网页的元信息
  • <body>包含网页的主要内容
  • <h3>定义三级标题，使文本变大并加粗
  • <p>定义段落内容

HTML标签的组成

HTML标签定义了网页内容的结构，并可包含多个属性。
  • 每个HTML标签都有开始标签和结束标签
  • 标签都有特定的名称（如<a>表示链接标签）
  • 标签可以包含属性，通过名称和值对为标签提供额外信息

HTML文档树

HTML文档可以视为一个由标签构成的树状结构。
  • 标签可以包含文本和其他标签，形成父子关系
  • 同级标签互为兄弟节点
  • 例如，<html>标签包含<head>和<body>标签作为子节点，而<head>和<body>互为兄弟节点
notion image

HTML表格

HTML表格是展示结构化数据的重要工具。
  • 使用<table>标签创建表格
  • 使用<tr>标签定义表格行
  • 使用<th>标签定义表头单元格
  • 使用<td>标签定义普通单元格
notion image

网络爬虫

网络爬虫使用Python从网页中提取信息，可以节省时间并实现数据收集自动化。

所需工具

网页抓取主要需要两个Python模块：Requests和BeautifulSoup。请确保在开始前已安装这些模块。

获取和解析HTML

以下是使用BeautifulSoup解析网页内容的基本步骤：

导航HTML结构

BeautifulSoup将HTML内容转换为树状结构，便于导航。您可以使用find_all等函数来查找和提取特定的HTML元素。例如，查找所有链接标签并打印其文本内容：

自定义数据提取

网络爬虫可以根据需求浏览HTML结构并提取特定信息，这通常涉及在HTML文档中查找特定的标签、属性或文本内容。

使用BeautifulSoup进行HTML解析

BeautifulSoup是一个强大的HTML解析工具，它能够根据标签、属性或文本查找元素，简化了信息提取的过程。

使用pandas的read_html进行表格提取

Pandas库提供了read_html函数，可以自动从网页中提取表格数据，并将其转换为便于分析的格式，类似于将网页表格导入电子表格。

结论

本文介绍了使用BeautifulSoup和Pandas进行网页抓取的基础知识，重点讲解了元素提取和表格处理。BeautifulSoup简化了HTML解析过程，而Pandas的read_html功能使表格数据提取变得便捷。我们还强调了遵守网站使用条款进行负责任的网页抓取的重要性。掌握这些知识后，您就能够进行准确的数据提取工作。
作者
Akansha Yadav
 
]]> <![CDATA[使用独立成分分析（ICA）清理伪影]]> https://tangly1024.com/article/preproc-reject_ica https://tangly1024.com/article/preproc-reject_ica Thu, 17 Apr 2025 00:00:00 GMT

引言

在本教程中，我们将演示如何在ArtifactMEG.zip示例MEG数据集上进行ICA清理。这是一个没有明确实验任务的静息态记录，但在记录过程中，受试者特意制造了某些类型的伪影，比如眨眼、来回看、做头部运动，以及咬牙以在颌肌中产生肌电活动。
该数据集不仅包含MEG数据，还包含来自EOG和ECG的独立双极记录，以及记录颈部和颌部肌肉活动的两个双极EMG通道。原则上，我们可以使用这些额外的通道来查找伪影，或促进甚至自动识别ICA伪影成分。在接下来的内容中，我们将不使用EOG、ECG和EMG通道，我们只展示如何在MEG通道上使用ICA。

背景

独立成分分析（ICA）是一种时空分解策略，它假设EEG或MEG的潜在信源具有固定的空间投射到各个通道，并且在时间上最大程度地独立。使用ICA可以估计与通道数量相等的成分数。我们知道神经元信源的数量远多于通道数量，特别是在记录时间很长的情况下。因此，ICA分解只能对最显著的独立成分进行近似。我们也知道，数据中显著的伪影贡献通常相当有限，这意味着我们可能只需要少数几个成分就能解释这些伪影。在ICA分解之后，我们可以识别出伪影成分，并将其他所有成分反投影到通道层面，从而排除伪影。
由于ICA假设信源在空间上是固定的，且只能估计有限的信源集，我们应该尽量预处理数据，以避免ICA成分被简单的数据伪影"占用"。如果你的受试者在实验尚未开始的前几分钟仍在移动，你会希望将该部分数据从ICA分解中排除。
出于效率考虑，我们通常通过首先识别感兴趣的试次并仅将这些数据读入内存来进行预处理。然而，某些典型的伪影可能在试次间隔中更为频繁，例如当受试者不需要保持注视时更可能眨眼或做眼跳。因此，包含这些试次间隔可以有助于识别与眼动相关的成分。

程序

要使用ICA清理MEG数据，我们将遵循以下程序
notion image
在流程示意图中，您可以看到我们将使用ft_rejectvisual或ft_databrowser来识别非典型伪影。数据浏览器将帮助您深入理解数据的特征，这在您不是亲自记录数据的情况下尤其重要。可视化概要模式可以非常快速且高效，这对于具有大量通道或较长时间的数据集特别重要。
此外，流程示意图显示，如果我们在完成ICA之后发现非典型伪影或坏通道，我们可能需要返回到ft_rejectvisual或ft_databrowser。在这种情况下，我们需要重复初始清理并重新进行ICA。

预处理

MEG数据是使用151通道CTF系统记录的。虽然数据是连续的，但CTF数据集被组织成10秒的试次。由于试次之间没有不连续性，我们可以将其视为连续记录。
要将此数据集加载到MATLAB中并使用FieldTrip进行预处理，请使用：
ICA分解可能需要很长时间，特别是当您需要多次执行时。如果耗时太长，您可以考虑将数据降采样到较低的采样率，这里从1200Hz降至300Hz。使用降采样后的数据集，您可以估计ICA成分，然后从原始数据中移除这些成分。但是，您应该意识到降采样可能会影响某些数据特征和伪影。例如，高频肌肉伪影的捕获效果会降低。这导致这些伪影的去除可能也不那么理想。
出于本教程的目的，并且由于我们想让您尝试各种设置，我们将继续使用降采样后的数据。如果您在处理自己的数据时，请尽量使用原始数据而不是降采样数据；这将提高分解的质量。

去除非典型伪影

ICA假设有固定成分的混合，且无法估计超过通道数量的成分。如果您有一些不频繁的非典型伪影，这些将在成分中表现出来。这会导致损失一些用于有趣内容的成分，并可能导致次优的分解。因此，我们首先要去除稀疏的非典型伪影。

使用ft_databrowser

我们可以使用ft_databrowser来查看数据。由于我们在寻找可能出现在数据任何位置的不频繁伪影，我们应该查看所有通道和完整的时间过程。在时间上"缩小"视图会有帮助，这样我们可以一次看到较大的数据时间窗口。
注意，我们对ft_databrowser的输出cfg感兴趣：它将包含我们标记的伪影。
notion image
在记录的最后部分出现了一些异常现象：CTF采集软件以10秒为块写入数据。如果在最后一个数据块完成之前结束采集（这种情况总是会发生），该块的剩余部分将被写入磁盘为全零值。因此，您应该将数据的最后部分标记为伪影。
在MLT024通道（以及同时在其他一些通道）中，您可以观察到所谓的SQUID跳变。这些是由SQUID硬件不稳定导致的，造成信号中出现一个磁通量子的巨大变化。这些表现为大幅度跳变。请识别MLT024中的每个跳变并将其标记为伪影。
作为参考，以下是我在降采样数据中识别的伪影：
以下是这些伪影在连续记录中出现的时间（以秒为单位）：
请注意，如果在初始预处理时没有应用高通滤波器，并且我们没有对数据进行降采样，这些跳变会更容易识别。特别是高通滤波器在这里比较麻烦：它使跳变扩散到更长的时间范围。

练习

预处理和滤波用于减少伪影（如漂移），因此会使伪影不太明显。未经预处理的数据能最好地展示伪影的特征。
在原始数据上重复使用ft_databrowser进行检查，不要使用高通滤波器和重采样。这需要您重新调用ft_preprocessing。查看记录开始后约178秒处以MTL*开头的通道，并将跳变与您在经过滤波和降采样的数据中观察到的跳变进行比较。
请注意，伪影（和试次）是以采样点表示的，所以您可以查看记录中的相同时间点，但不能使用相同的采样点数来引用原始数据和降采样数据中的伪影。
在识别非典型伪影之后，您可以将它们从后续分析中移除。出于本教程的目的并且是在处理连续数据，我们不会将其剔除，而是用NaN值（非数字值）填充。在连续数据上，也可以使用ft_rejectartifact，配合选项cfg.artfctdef.reject = 'partial'。这里我们将使用选项nan。
注意，这里我们以不同方式重复使用data和data_clean变量，因为我们在来回演示不同的数据处理和清理方法。不要对清理后的数据代表什么感到困惑。
要回到原始数据，您随时可以执行data = data_orig。

使用ft_rejectvisual

移除不频繁和非典型伪影的另一种策略是使用ft_rejectvisual。但是，这需要将数据分段为试次。在这种情况下，我们可以将数据分段为一秒长的连续片段。
注意，这里我们依赖于预处理期间的cfg.hpfilter='yes'选项。信号中的低频漂移并不重要，而且会影响ICA分解；因此我们无论如何都要去除它。由于我们处理的是连续数据，我们使用高通滤波器。如果我们最初就是从基于试次的数据开始，那么在最初预处理阶段使用cfg.demean='yes'会是一个更简单的选择。
现在数据被切分成每秒一段的片段（即试次），我们可以识别具有非典型伪影的片段。为此，我们使用带有summary方法的ft_rejectvisual。这将直接返回清理后的数据。由于我们不想从后续分析中排除任何通道，我们指定要保留所有通道。由于我们希望数据之后能够再次连续表示，我们指定用NaN替换伪影。
notion image
现在我们可以将分段数据重新"缝合"成连续表示：
如果您在ft_databrowser中检查data_clean，您会看到数据的某些部分不可见，这些部分已被NaN值替代。

ICA分解

我们使用ft_componentanalysis进行ICA分解。它有许多选项，支持不同的数据分解方法，包括PCA和不同的ICA算法。这里我们将使用来自EEGLAB的Extended Infomax算法，即runica方法。您不需要安装EEGLAB，所需的函数都包含在fieldtrip/external目录中。
您可以考虑其他ICA算法。例如，fastica算法速度快，不需要对数据进行完整分解；它也可以只识别少量成分。fastica首先识别的成分是具有最大方差的成分，这些通常是伪影。amica算法是识别生物物理学上合理的ICA成分的最佳算法之一。它产生的成分比runica更加独立。
Delorme等人的论文独立EEG源是偶极子的。PLoS One (2012)比较了多种ICA算法，并得出结论：更独立的成分也更具偶极子特性，这与许多最大独立EEG成分是单个紧凑皮层区域内部分同步局部皮层场活动的体积传导投影的解释相符。
另一种不完全盲目的成分分析策略是"去噪源分离"或dss，这种方法在ICA分解过程中最大化特定的显式特征。如果您预先知道EOG或ECG伪影的样子，您可以使用dss来利用这一点并高效地清理数据。
要执行ICA分解，您可以使用以下代码。这里我们在分解之前使用PCA降维来加快处理速度，以适应本教程的目的。请注意，PCA降维可能会对分解质量产生负面影响，所以通常最好在计算运行时保持更多的耐心。
您应该采用类似的方式，这些共同代表了底层源的线性混合。如果您有使用相同参考的EEG和EOG通道，EEG和EOG通道可以一起使用。如果您的EEG使用一个参考而EOG通道是双极性的，则不应将它们组合在单个ICA分解中。当您同时有MEG和EEG数据时，MEG和EEG通道都会检测到大脑和伪影源，但对它们的敏感度不同，对头部相对于MEG头盔运动的效应也有不同的敏感度；在这种情况下，我们也建议分别对MEG和EEG通道使用ICA。

识别伪影成分

分解后的数据结构data_comp表示成分的地形图，即每个源如何投射到通道，以及表示每个源的时间激活。这两者都可用于识别对应于伪影的成分。
notion image
有了一些经验，您就可以相对快速地识别可疑的伪影成分。眼动相关的成分在前额通道上呈现局部空间分布，眨眼和垂直眼跳呈对称分布，而水平眼跳则呈现明显的左右模式。MEG中与心跳相关的成分表现为一个非常深的信源，在头盔的左右两侧呈现双极性投射。对于眼动和心跳成分来说，通常都会观察到多个相关成分。您可能需要记下每个可疑成分的编号。
在上图中，成分10和12看起来是眼动相关的成分。成分5和6可能仍与MLT24及其相邻通道的SQUID跳变有关。在这种情况下，没有明显的心跳相关成分。
接下来您可以查看成分的时间进程。心跳相关的成分会显示规律的心跳，在分解的最初几秒内就应该能够识别出来。眼动相关的成分只有在受试者眨眼或做眼跳时才会在时间序列中出现偏移；要看到这些，您可能需要滚动浏览数据或缩小查看更大段的数据。
notion image
再次记下代表伪影的成分。
请注意，MEG中的眼动成分看起来与EEG中的眼动成分不同，这是由于MEG通道的方向所致：头部左侧的通道指向右侧，右侧的通道指向左侧，这导致它们的"极性"发生翻转。而对于EEG电极，所有额叶电极具有相同的极性。结合成分时间序列，您可以确定哪个成分反映水平运动，哪个反映眨眼。

识别不良通道

EEG和MEG都对生理活动给出相对模糊的表示。在空间上高度局部化的成分，即仅在单个或极少数通道上活跃的成分，不太可能代表来自大脑或心脏的生理源。如果您之前没有移除SQUID跳变，这些会表现为高度局部化的伪影。移动的EEG电极或阻抗突然变化的电极也可能表现为高度局部化。
如果发生这种情况，您可以使用ft_databrowser查看成分时间序列，以确定跳变或其他短暂伪影出现的时间，您可以将该时间窗标记为视觉伪影，并使用ft_databrowser的输出cfg返回并在ICA分解之前从数据中删除该部分（或像我们在这里做的那样用NaN填充该部分）。随后，您需要重新进行ICA分解，并再次检查成分地形图和时间序列。
也可能会发现一个或几个成分在空间上高度局部化，这是由于相应的通道在较长时间段内状态不佳或有噪声。在这种情况下，您需要从数据中剔除这些通道，并在没有这些通道的情况下进行ICA分解和反投影。如果许多受试者都有不良通道，且/或这些不良通道在受试者之间变化很大，您可能需要使用ft_channelrepair对这些通道进行插值；这是在成分反投影之后获得清洁的通道级数据时要做的事情，但要在进行时锁ERP或频率/时频分析之前完成。
使用高密度EEG时，您有时可能会看到非常局部化的肌肉抽搐，特别是在颞区，但也可能出现在头皮的其他部位。这些可能较少或较多发生，这取决于您的受试者和任务。尽管这些在空间上相当紧凑，但它们确实代表了一个生理源，ICA是去除它们的适当技术。

移除伪影成分

在识别出伪影成分后，您可以使用ft_rejectcomponent将所有成分反投影到数据的通道级表示，同时排除伪影。
如果您在数据重采样版本上计算了成分，您也可以使用ft_rejectcomponent将伪影从原始数据中投影出去。这只需要成分地形图，然后将其应用于以原始采样率解混和重混数据。

总结和结论

在本教程中，我们研究了如何准备数据进行ICA分解，如何处理不频繁和非典型伪影。我们简要讨论了不同的ICA方法，并使用特定方法展示了如何通过降采样数据和减少估计的成分数量来加快ICA速度。给定ICA分解后，我们演示了如何可视化它们并识别伪影，并讨论了如果得到非常局部的成分（在空间和/或时间上），您可能需要删除数据的该部分并重新开始。在获得干净的ICA分解后，我们解释了如何将成分反投影到通道级表示以进行进一步分析，或如何使用成分来清理原始数据。
在本教程中我们没有展示的是，您还可以将ICA成分解释为大脑中的源。正如可以对伪影成分使用所有FieldTrip绘图和分析策略一样，也可以分析大脑成分。所有成分都表示为通道时间序列，可以应用所有通道级分析。例如，在将数据分段为刺激锁定试次后，您可以使用ft_timelockanalysis、ft_freqanalysis或ft_componentanalysis来研究每个感兴趣的成分，并使用统计方法比较条件之间的差异。
分解不仅给出了成分时间序列，还给出了它们的地形图。除了用这些来识别伪影外，您还可以清楚地识别代表大脑活动的成分。您可以使用ft_dipolefitting用简单的偶极子模型定位这些成分，或使用ft_sourceanalysis用分布式模型定位它们。您不能（轻易）应用的唯一源重建策略是波束成形，因为在成分级别您只有一个地形图，没有数据协方差矩阵。作为空间滤波技术，波束成形与独立成分分析太相似（尽管基于生物物理模型和非相关而不是独立源的假设）。

建议进一步阅读

关于如何在FieldTrip中一般处理伪影的介绍，您应该看看伪影处理简介教程。在本教程使用ICA清理数据之后，您可能想回去看看视觉伪影拒绝和自动伪影拒绝教程。
 
]]> <![CDATA[伪影处理简介]]> https://tangly1024.com/article/preproc_reject_intro https://tangly1024.com/article/preproc_reject_intro Sun, 16 Apr 2023 00:00:00 GMT
本教程解释了有关如何处理伪影的一般方法。
由于 FieldTrip 支持许多不同采集系统的数据，因此您数据中的特定伪像可能与此处演示和讨论的示例有很大不同。因此，您应该了解前面描述的不同方法和伪影拒绝（自动 / 手动）程序的可变性。 在自动化程序结束时，考虑在拒绝后始终目视检查您的数据。

背景

一般来说，artifact（美式英语拼写）或 artefact（英式英语拼写）是我们使用 EEG 或 MEG 系统获取的数据中的一些意外或不需要的特征。伪影的起源可以是生理性的或非生理性的。
眨眼是脑电图中出现的生理伪影的一个例子。视网膜带电，眼睛的运动导致头皮电位偏转。这种所谓的眼电图的贡献主要在额叶电极上可见，但当足够仔细地观察时，您可以在所有电极上看到它。非生理性伪影的一个例子是与头皮接触不良的 EEG 电极。相应的 EEG 通道将显示一条平坦的线，或者可能有很多噪音。
除了考虑伪影的生理或非生理方面外，您还可以考虑伪影是否由参与者的行为（例如，眼球运动）引起，是否由环境中的某些东西（例如，50Hz）引起线路噪声）或是否由设备故障引起（例如，电极连接不良）。行为伪影通常是短暂的，而环境和仪器伪影通常更持久。
没有一种最佳的方法来检测伪影：它取决于数据属性、您预计会出现的伪影类型（给定您的记录设置、您的任务和您的参与者）以及您自己的偏好。

FieldTrip 如何管理伪影？

FieldTrip 通过首先识别它们然后删除它们来处理伪影。伪影的检测可以通过目视或使用自动例程或两者的组合来完成。在您知道伪影是什么之后，它们将被以下任一方式移除
  • 拒绝包含伪影的数据，例如，对于短暂的伪影或连接不良的 EEG 电极，或
  • 从数据中减去伪影的时空贡献，例如，使用滤波器或 ICA
FieldTrip 中可用于伪影检测的函数取决于您的数据是连续的还是基于试次的（即分段之间有时间间隔）以及您的数据是存储在磁盘上还是已读入内存。
在分割之前检测连续数据中的伪影允许您应用滤波器（例如，带通滤波器以放大时间通道上的肌肉伪
影）而不必担心由于滤波器引起的边缘效应（即滤波器振铃）。分割后将数据保存在内存中是一种直观浏览感兴趣的数据段的有效方法，尤其是当您知道试次之间存在伪影时（例如，眨眼期间的 EOG 伪影）。
在不将完整数据读入内存的情况下检测伪影，允许您处理过大而无法一次放入内存的数据集。

拒绝带有伪影的片段

通过这种策略，可以识别出被人为因素污染的数据片段，并将其从进一步分析中移除。例如，排除不良通道，或删除带有伪影的试次。您可能不仅要使用此策略来处理伪影，还要处理参与者的不良行为。例如，如果在视觉刺激检测任务中，受试者恰好在（短）刺激出现在屏幕上的那一刻眨眼，那么他很可能没有看到刺激。在那种情况下，排除试验的原因不是因为 EOG 伪影，而是因为受试者在该试次中的大脑活动不是我们感兴趣的。

手动 / 视觉检测

在手动 / 视觉伪影检测中，用户通过目视检查数据并识别受影响的试次或数据段和 / 或通道。目视检查会生成一个包含噪声数据段和 / 或通道的列表。
这些功能可用于手动 / 视觉伪影检测：
ft_rejectvisual 函数仅适用于已经读入内存的分段数据（即试次）。它允许您通过一次显示所有通道（每个试次），或一次显示所有试次（每个通道），或通过显示所有通道和试次的摘要来浏览 MATLAB 图中的大量数据单图。使用鼠标，您可以选择要删除的试次和 / 或通道。此函数直接返回去除噪声部分的数据，您不必调用 ft_rejectartifact 或 ft_rejectcomponent 。
如果你想在连续数据上使用ft_rejectvisual，你可以先使用 ft_redefinetrial 将它分割成一秒钟的片段，然后调用 ft_rejectvisual。本FAQ中解释了分割连续数据。
ft_databrowser 函数适用于连续数据和分段数据，适用于仍在磁盘上或已读入内存的数据。它允许您浏览数据并使用带有工件的鼠标片段进行标记。与 ft_rejectvisual 相反，ft_databrowser 不会返回清理后的数据，也不允许您删除坏通道（尽管您可以将它们从可视化中关闭）。相反，它在输出中返回一个cfg片段列表，表示为相对于记录的开始和结束样本。在检测到带有伪影的片段后，您调用ft_rejectartifact 将它们从您的数据（当数据已在内存中）或从您的试次定义（当数据仍在磁盘上）中删除。
值得注意的是，ft_databrowser 函数还可用于可视化 ICA 成分的时间进程，从而使您可以轻松识别与眨眼、心跳和线路噪声对应的成分。良好的 ICA 数据分离需要在调用 ft_componentanalysis 之前移除非典型伪影（例如，电极移动、SQUID 跳跃）。在确定了哪些是坏成分后，您可以调用 ft_rejectcomponent 将数据投影回传感器级别，排除坏成分。
有关手动处理伪影的更多信息，请参阅视觉伪影拒绝教程。

自动检测

为了加快处理许多和 / 或大型数据集，并促进对伪影使用客观标准，FieldTrip 还包括许多用于自动工件检测的功能。尽管这些对于行为良好的数据中的众所周知的成分有效，但如果您（还）不了解您的数据，则不应将自动检测功能用作默认方法。
自动伪影检测功能允许对数据应用一些过滤和预处理，使伪影更加明显。为此，通过cfg结构为它们中的每一个预先设置相关参数。
这些功能可用于自动工件检测：
检测 eog、jump 和 muscle artifacts 的函数都只是 ft_artifact_zvalue 的包装器，其中 filter 和 padding 选项设置为合理的默认值。ft_artifact_zvalue 计算每个通道的预处理表示，通过减去通道平均值并除以其标准差将其转换为 z 值，然后对通道上的 z 值求和。这适用于预期会出现在多个通道中的伪影，例如眨眼和肌肉活动。
ft_badchannel 和 ft_badsegment 函数使用cfg.method='summary'实现与ft_rejectvisual 函数相同的指标，并允许设置固定的先验阈值以排除通道或片段。
可以在自动伪影拒绝教程中找到更多信息。

从数据中拒绝带有伪影的片段

如果您使用人工 / 视觉或自动检测伪影片段，您通常会继续使用 ft_rejectartifact 拒绝这些片段进行后续分析。FieldTrip 支持可变的试验长度的数据，这允许您仅拒绝那些包含伪影的数据，保留试验的其余部分。如果您的实验包含很长的试次，这将特别有用。

从数据中拒绝带有伪影的通道

如果您已识别出不良通道，则可以通过在cfg.channel选项中指定它们并将它们排除在后续处理之外。除了指定要保留的所有频道，您还可以像这样指定要删除的明确频道：

从数据中减去伪影

在某些情况下，您可以假设伪影是感兴趣信号的线性添加，而不是排除带有伪影的片段。如果您能够识别伪影，则可以减去它，留下您感兴趣的 EEG 或 MEG 信号。这适用于某些类型的伪影，例如 EEG 中的高频噪声或 50 或 60 Hz 的线路噪声。这也可用于消除眼球运动对脑电图数据的影响，假设眨眼和运动对于正确执行任务不是问题。

使用滤波器去除伪影

一些伪影以特定频带表示。例如，由于电极漂移，伪影可能会出现在低频，或者以您不期待的方式出现在您感兴趣的高频 EEG 活动，或者出现在非常特定的频率，例如 50 Hz 线路噪声。您可以在 ft_preprocessing 中使用滤波器来删除这些对数据的伪影贡献。

使用 ICA 识别和移除伪影

您可以使用独立成分分析 (ICA) 或主成分分析 (PCA) 对数据进行线性分解。使用这些方法，您可以将一组空间滤波器应用于数据，之后数据不再以记录（头皮）通道的级别表示，而是作为一组虚拟通道或成分表示。在 ICA 分解的情况下，选择滤波器以产生成分的最大独立时间过程。在 PCA 的情况下，滤波器产生正交时间过程。某些伪影，例如由眨眼引起的伪影，通常由一些相当容易识别的成分反映出来。然后可以从数据中删除这些视觉识别的组件，并且可以使用 ft_rejectcomponent 将剩余的成分投影回通道级别。
以下示例脚本说明了如何使用 ICA 检测和移除EOG和ECG伪影。

# 建议进一步阅读

在这个关于处理 FieldTrip 中的伪影的简短介绍之后，您可以继续学习视觉伪影拒绝和自动伪影拒绝教程。还可以在一些示例脚本和常见问题解答中找到有关处理工件的更多信息。
 
]]>