使用Pandas根据中位数绝对离差（MAD）选择高变异性列

本文详细介绍了如何利用pandas库，通过计算中位数绝对离差（mad）来识别并提取dataframe中变异性最高的列。我们将通过一个实际示例，演示如何高效地从包含大量列的数据集中筛选出最具有代表性的特征，从而构建一个更精简、更具信息量的新dataframe，这对于数据分析和特征工程至关重要。

在处理包含数万甚至数十万列的大型数据集时，识别并选择最具信息量的特征是数据预处理和特征工程中的关键一步。这些数据集通常包含许多冗余或低变异性的列，它们不仅会增加计算负担，还可能引入噪声，影响模型的性能。中位数绝对离差（Median Absolute Deviation, MAD）是一种衡量数据变异性的稳健统计量，相比于标准差，它对异常值不那么敏感，因此在存在异常值的数据集中更具优势。

本教程将指导您如何使用Pandas库，通过计算每一列的MAD值，并选择MAD值最高的列来创建一个新的DataFrame。

1. 理解中位数绝对离差（MAD）

中位数绝对离差（MAD）的计算步骤如下：

1. 计算数据集中所有观测值的中位数（median）。
2. 计算每个观测值与该中位数之间的绝对差值。
3. 计算这些绝对差值的中位数。

MAD提供了一个数据分散程度的度量，其优点在于它不像标准差那样容易受到极端值的影响。

2. 计算DataFrame各列的MAD

假设我们有一个包含大量列的Pandas DataFrame。首先，我们需要计算每一列的MAD。Pandas并没有直接提供计算MAD的内置函数，但我们可以通过组合其现有方法来实现。

计算MAD的公式可以表示为：$MAD = median(|X_i - median(X)|)$。

在Pandas中，这可以通过以下步骤完成：

import pandas as pd
import numpy as np

# 假设df是您的原始DataFrame
# 为了演示，我们先创建一个示例DataFrame
rng = np.random.default_rng(seed=2025)
df = pd.DataFrame(rng.random((1000, 20000))) # 1000行, 20000列

# 计算每一列的MAD
mad = df.sub(df.median()).abs().median()

代码解释：

Motiff妙多

Motiff妙多是一款AI驱动的界面设计工具，定位为“AI时代设计工具”

334 查看详情

• df.median(): 计算DataFrame df 中每一列的中位数。这将返回一个Series，其索引是列名，值是对应列的中位数。
• df.sub(df.median()): 从DataFrame df 中的每个元素减去其所在列的中位数。Pandas会自动进行广播操作。
• .abs(): 对上一步结果中的所有元素取绝对值。
• .median(): 计算每个列的绝对差值的中位数，即得到每列的MAD值。mad 将是一个Series，其中包含每个列的MAD值。

3. 选择MAD值最高的列

得到每列的MAD值后，我们需要根据这些值进行排序，并选择我们感兴趣的前N个列。

# 假设我们想选择MAD最高的1000列
num_cols_to_select = 1000
cols = mad.sort_values(ascending=False).head(num_cols_to_select).index

代码解释：

• mad.sort_values(ascending=False): 对mad Series进行降序排序，这样MAD值最高的列会排在前面。
• .head(num_cols_to_select): 选择排序后Series的前num_cols_to_select个元素。这将返回一个包含最高MAD值的Series片段。
• .index: 获取这些选定元素的索引，即对应列的名称。cols 将是一个包含我们希望保留的列名的Index对象。

4. 构建新的DataFrame

最后一步是使用筛选出的列名来创建一个只包含这些高变异性列的新DataFrame。

out_df = df[cols]

代码解释：

• df[cols]: 使用我们从cols中获得的列名列表来从原始DataFrame df 中选择相应的列，从而创建一个新的DataFrame out_df。

5. 完整示例代码

以下是一个完整的、可运行的示例，演示了如何从一个包含20000列的DataFrame中选择MAD最高的1000列：

import pandas as pd
import numpy as np

# 1. 创建一个示例DataFrame
# 包含1000行和20000列，数值介于0到1之间
rng = np.random.default_rng(seed=2025)
df = pd.DataFrame(rng.random((1000, 20000)))

print("原始DataFrame的形状:", df.shape)
# 原始DataFrame的形状: (1000, 20000)

# 2. 计算每一列的中位数绝对离差（MAD）
# df.median() 计算每列中位数
# df.sub() 从每列元素减去对应中位数
# .abs() 取绝对值
# .median() 计算绝对差值的中位数，得到每列的MAD
mad = df.sub(df.median()).abs().median()

print("\nMAD值的Series（前5个）:")
print(mad.head())
# MAD值的Series（前5个）:
# 0    0.248384
# 1    0.248917
# 2    0.246473
# 3    0.247949
# 4    0.248358
# dtype: float64

# 3. 排序MAD值并选择MAD最高的列的索引
num_cols_to_select = 1000
cols = mad.sort_values(ascending=False).head(num_cols_to_select).index

print(f"\n选择的列数量: {len(cols)}")
# 选择的列数量: 1000
print("选择的列索引（前5个）:")
print(cols[:5])
# 选择的列索引（前5个）:
# Index([14988, 11488, 14902, 10735, 12693], dtype='int64')

# 4. 使用选定的列索引创建新的DataFrame
out_df = df[cols]

print("\n新DataFrame的形状:", out_df.shape)
# 新DataFrame的形状: (1000, 1000)
print("\n新DataFrame的前5行和前5列:")
print(out_df.iloc[:5, :5])
# 新DataFrame的前5行和前5列:
#      14988    11488    14902    10735    12693
# 0  0.076846  0.640284  0.038596  0.940822  0.007620
# 1  0.024925  0.017770  0.134509  0.963283  0.864700
# 2  0.962535  0.126436  0.942978  0.054366  0.013063
# 3  0.027063  0.826620  0.137837  0.988022  0.091396
# 4  0.999650  0.852570  0.945242  0.003185  0.892550

6. 注意事项与最佳实践

• 选择列的数量： num_cols_to_select 的值应根据您的具体分析需求和数据集特性来确定。没有一个放之四海而皆准的数字，这通常需要通过实验或领域知识来决定。
• 性能考量： 对于极大规模的DataFrame（例如，行数和列数都非常大），计算MAD可能会消耗较多的内存和时间。Pandas操作通常是高度优化的，但在极端情况下，可能需要考虑更底层的Numpy操作或分块处理。
• MAD的适用性： MAD对于识别具有高变异性的特征非常有效，尤其是在数据可能包含异常值时。然而，它主要关注单变量的变异性。在某些情况下，您可能还需要考虑特征之间的相关性或多变量分析方法。
• 替代方法： 除了MAD，还有其他特征选择方法，如基于方差选择（VarianceThreshold）、卡方检验、互信息等。选择哪种方法取决于数据的类型和您的目标。

总结

通过计算中位数绝对离差（MAD），我们可以有效地从大型Pandas DataFrame中筛选出最具变异性的列。这种方法不仅能够帮助我们精简数据集，减少计算负担，还能确保我们选择的特征对异常值具有一定的鲁棒性。掌握这一技术对于进行高效的数据预处理和特征工程至关重要。

以上就是使用Pandas根据中位数绝对离差（MAD）选择高变异性列的详细内容，更多请关注其它相关文章！

# 新都区seo排名  # SEO人才公寓租房  # 网站优化推广包年多少钱  # 平湖外贸网站优化  # 惠州网站推广代运营  # 青山网络营销推广  # seo工作难点  # 百度seo引流平台  # 微信养号 营销推广  # 昆明网站关键词优化费用  # 创建一个  # 标准差  # 情况下  # 是一个  # 这将  # 至关重要  # 更具  # 将是  # 最具  # 您的 

相关文章： J*aScript设计模式实践_j*ascript代码优化  qq邮箱发邮件给国外发不出去_QQ邮箱国际邮件发送失败原因与解决  Eclipse怎么运行工程_Eclipse工程运行配置说明  Go语言中对Map值调用带指针接收者方法：原理与最佳实践  Log4j Console Appender性能瓶颈与高并发优化策略  谷歌学术网站直达地址 谷歌学术搜索网页版一键进入  Lar*el 递归关系中排除指定分支的教程  蛙漫2日版入口 WAMAN2(日版)无删减漫画官网链接  J*a ArrayList索引越界异常：动态构建列数据的高效策略  在J*a中如何实现对象克隆避免共享数据_对象克隆安全实践指南  在Go开发中优雅管理ListenAndServe进程：GoSublime集成方案  蛙漫安全无毒 官方认证的绿色入口  Fabric模组开发：自定义物品与物品组的现代管理方法  Win11怎么开启卓越性能模式 Win11电源选项启用高性能释放硬件潜力【方法】  使用J*aScript检测输入元素是否包含在特定类中  css卡片内容溢出如何处理_使用overflow隐藏或scroll显示内容  J*a 递归快速排序中静态变量的状态管理与陷阱  vivo手机参数配置怎么增强信号_vivo手机参数配置信号增强方法  优化大型XML文件解析：基于Python流式处理的内存高效方案  PDO预处理语句中冒号的正确处理：区分SQL函数格式与命名占位符  yandex入口引擎手机版 yandex安卓版下载入口  qq浏览器打开空白页怎么办 qq浏览器启动后显示白屏的解决教程  谷歌浏览器怎么给标签页静音_Chrome标签静音快捷操作  Win10磁盘清理工具在哪 Win10打开并使用磁盘清理【教程】  汽水音乐网页版使用入口_汽水音乐电脑版播放指南  绝地鸭卫平a核爆刀流玩法攻略  Node.js CSV 数据处理：基于字段空值条件过滤整条记录的策略  微博网页版怎么开启两步验证_微博网页版账号安全两步验证设置方法  Win11怎么关闭快速启动_Win11彻底关机设置教程  PHP URL参数传递与500错误调试指南  2026年发布！ 美少女养成动作RPG《神剑少女战记》发布实机演示  虚幻5科幻题材ARPG大作遭取消！本是《奇异人生》厂商新作  Golang如何测试channel通信行为_Golang channel通信测试与分析方法  迅雷下载到U盘速度很慢怎么办_迅雷U盘下载慢优化方法  AngularJS $http POST请求数据传递与Go后端接收实践  新手怎么开始学化妆 零基础化妆入门教程  内存疯狂猛猛涨价：主板销量直接腰斩！  在J*a中如何使用Stream.map转换元素_Stream映射操作解析  J*aScript实现单选按钮与关联输入框的联动禁用教程  小米汽车11月交付量突破40000台！雷军：将继续努力  网站内容防复制粘贴的实现策略与局限性  J*aScript中localStorage数据的获取、清洗与格式化教程  windows10怎么查看本机ip_windows10命令提示符ipconfig使用  TikTok国际版官网直达_TikTok国际版官网直达进入在线观看  J*aScript中如何高效提取对象指定属性  Node.js 中使用 node-cron 实现定时 API 数据抓取与处理  J*a如何实现并发下载文件_J*a多线程IO性能优化案例  sublime怎么设置启动时打开的窗口_sublime会话管理与热退出  如何在Promise链中优雅地中断后续then执行  高德地图总提示网络异常怎么办 高德地图离线导航设置与网络排查方法