使用Pandas和NumPy计算首个唯一值对应的累计总和

本文详细介绍了如何使用pandas和numpy高效地在数据集中为每个唯一客户id的首次出现计算并显示其总销售额，而后续记录则显示为零。通过巧妙结合`series.duplicated()`、`groupby.transform()`和`numpy.where()`函数，可以简洁且高性能地实现这一数据转换，生成所需的累计销售列，适用于数据分析和报告场景。

在数据分析中，我们经常需要对特定分组的数据进行汇总，并只在每个分组的首次出现时显示这个汇总值，而后续的记录则显示为零。这种需求在处理客户交易、项目里程碑或任何具有唯一标识符的序列数据时尤为常见。例如，我们可能需要计算每个客户的总销售额，但只希望在客户的第一条销售记录旁显示这个总额，其余记录则留空或显示为零，以避免重复计算或视觉上的混淆。

问题描述与示例数据

假设我们有一个包含客户ID、日期和每日销售额的数据集，如下所示：

  ClientID        Date  Total sales
0        A  01-01-2000          100
1        A  01-02-2000          100
2        A  01-03-2000          100
3        B  01-01-2000           50
4        B  01-02-2000           50
5        C  01-01-2000           70
6        C  01-02-2000           70
7        C  01-03-2000           70
8        D  01-01-2000           20
9        D  01-02-2000           20

我们的目标是创建一个名为Cumulative Sales的新列。对于每个唯一的ClientID，该列应在其首次出现时显示该客户的所有Total sales之和，而在该客户ID的后续记录中显示0。

期望的输出结果如下：

  ClientID        Date  Total sales  Cumulative Sales
0        A  01-01-2000          100               300
1        A  01-02-2000          100                 0
2        A  01-03-2000          100                 0
3        B  01-01-2000           50               100
4        B  01-02-2000           50                 0
5        C  01-01-2000           70               210
6        C  01-02-2000           70                 0
7        C  01-03-2000           70                 0
8        D  01-01-2000           20                40
9        D  01-02-2000           20                 0

解决方案：Pandas与NumPy的结合

为了高效地实现这一目标，我们可以利用Pandas库的强大数据处理能力，并结合NumPy的条件逻辑函数。核心思想是：

1. 识别出每个ClientID的首次出现。
2. 计算每个ClientID的总销售额。
3. 根据首次出现的条件，将总销售额赋值给新列，否则赋值为零。

我们将使用以下三个关键函数：

• pandas.Series.duplicated()：用于标记重复值，可以轻松识别每个分组的首次出现。
• pandas.core.groupby.DataFrameGroupBy.transform()：用于在分组后执行聚合操作，并将结果广播回原始DataFrame的索引。
• numpy.where()：一个强大的条件函数，根据条件数组选择不同来源的值。

代码实现

首先，我们创建示例DataFrame：

Musho

AI网页设计Figma插件

76 查看详情

import pandas as pd
import numpy as np

data = {
    'ClientID': ['A', 'A', 'A', 'B', 'B', 'C', 'C', 'C', 'D', 'D'],
    'Date': ['01-01-2000', '01-02-2000', '01-03-2000', '01-01-2000', '01-02-2000',
             '01-01-2000', '01-02-2000', '01-03-2000', '01-01-2000', '01-02-2000'],
    'Total sales': [100, 100, 100, 50, 50, 70, 70, 70, 20, 20]
}
df = pd.DataFrame(data)
df['Date'] = pd.to_datetime(df['Date']) # 将日期列转换为日期时间类型

print("原始DataFrame:")
print(df)

现在，应用解决方案来创建Cumulative Sales列：

df['Cumulative Sales'] = np.where(
    df['ClientID'].duplicated(),  # 条件：如果ClientID是重复的（即非首次出现）
    0,                            # 如果条件为真，则赋值为0
    df.groupby('ClientID')['Total sales'].transform('sum') # 如果条件为假（即首次出现），则计算该ClientID的总销售额
)

print("\n处理后的DataFrame:")
print(df)

结果展示

运行上述代码后，我们将得到与期望完全一致的输出：

原始DataFrame:
  ClientID       Date  Total sales
0        A 2000-01-01          100
1        A 2000-01-02          100
2        A 2000-01-03          100
3        B 2000-01-01           50
4        B 2000-01-02           50
5        C 2000-01-01           70
6        C 2000-01-02           70
7        C 2000-01-03           70
8        D 2000-01-01           20
9        D 2000-01-02           20

处理后的DataFrame:
  ClientID       Date  Total sales  Cumulative Sales
0        A 2000-01-01          100               300
1        A 2000-01-02          100                 0
2        A 2000-01-03          100                 0
3        B 2000-01-01           50               100
4        B 2000-01-02           50                 0
5        C 2000-01-01           70               210
6        C 2000-01-02           70                 0
7        C 2000-01-03           70                 0
8        D 2000-01-01           20                40
9        D 2000-01-02           20                 0

核心函数解析

1. df['ClientID'].duplicated()

   • 这个方法返回一个布尔型Series，其长度与df['ClientID']相同。
   • 对于每个元素，如果它是其所在Series中第一次出现的值，则返回False；如果它是重复出现的值（即非首次出现），则返回True。
   • 在我们的例子中，df['ClientID'].duplicated()会生成[False, True, True, False, True, False, True, True, False, True]，这正是我们用来判断是否为首次出现的条件。

2. df.groupby('ClientID')['Total sales'].transform('sum')

   • df.groupby('ClientID')：将DataFrame按ClientID列进行分组。
   • ['Total sales']：选择Total sales列进行聚合操作。
   • .transform('sum')：这是一个非常关键的步骤。transform()方法会在每个分组上应用聚合函数（这里是sum），然后将聚合结果广播回原始DataFrame的索引。这意味着，对于同一个ClientID的所有行，transform('sum')都会返回相同的总销售额。
   • 例如，对于ClientID 'A'，transform('sum')会返回300，并且这个300会被填充到所有ClientID 'A'的行中。

3. np.where(condition, x, y)

   • 这是一个NumPy的通用函数，用于根据条件选择元素。
   • condition：一个布尔型数组或Series。
   • x：当condition为True时选择的值。
   • y：当condition为False时选择的值。
   • 在本例中：
     • condition是df['ClientID'].duplicated()。
     • x是0（因为当ClientID是重复的，我们希望Cumulative Sales为0）。
     • y是df.groupby('ClientID')['Total sales'].transform('sum')（因为当ClientID不是重复的，我们希望Cumulative Sales为该客户的总销售额）。

注意事项

• 数据顺序： duplicated()方法默认会根据数据在DataFrame中的出现顺序来判断是否为“首次”。如果DataFrame的顺序很重要（例如，你希望某个特定日期被认为是首次），请确保在应用此方法前，DataFrame已按相关列（如ClientID和Date）正确排序。例如：df = df.sort_values(['ClientID', 'Date'])。
• 性能： 这种结合groupby().transform()和np.where()的方法在处理大型数据集时通常非常高效，因为它利用了Pandas和NumPy的底层优化。
• 灵活性： 除了sum，你还可以使用transform()结合其他聚合函数（如mean, max, min, count等），以满足不同的业务需求。

总结

通过本教程，我们学习了如何利用Pandas和NumPy的强大功能，高效地为数据集中每个唯一标识符的首次出现计算并填充聚合值，而将其余重复项设置为零。这种方法结构清晰、性能优越，是处理类似数据转换任务的推荐实践。掌握duplicated()、groupby().transform()和np.where()的组合使用，将极大地提升你在数据处理和分析中的效率。

以上就是使用Pandas和NumPy计算首个唯一值对应的累计总和的详细内容，更多请关注其它相关文章！

# 如何实现  # 卢龙自制网站建设材料  # 宁波抖音seo策划培训  # 购物网站推广活动总结ppt  # 新闻网站建设概述  # SEO管理员工关系  # 营销推广及媒体投放种类  # 沈阳网站建设入门到精通  # 培训学校新闻推广营销  # 信用卡营销推广策划案  # 物流网站优化设计  # 大数据  # 现时  # 分页  # 这是一个  # 它是  # 首个  # 为零  # 布尔  # 总销售额  # 首次  # 聚合函数 

相关文章： 在Google App Engine Go中实现独立模块代码库与灵活路由  如何在低配置电脑上搭建轻量级J*a环境_占用更小的环境选择技巧  我的世界官方游戏入口 我的世界官网平台直达链接  外媒分析《GTA6》定价：卖100美元可以但真没必要！  Win10怎么制作U盘启动盘 Win10系统安装U盘制作教程【详解】  Lar*el Migration：重命名列后添加新列的正确操作顺序  PHP：根据嵌套关联数组项值动态添加新键值对  蛙漫正版漫画平台入口_蛙漫免费阅读全站漫画资源  在WordPress中通过REST API获取BasicAuth保护的远程文章  现代化 SciPy 一维插值：interp1d 的替代方案与最佳实践  多闪网页版在线观看免费入口_多闪官网访问入口  C++指针和引用有什么区别_C++内存管理核心概念深度解析  小红书怎么解除第三方平台绑定_小红书多平台登录解绑方法介绍  支付宝碰一碰设备是REDMI手机吗 博主拆机辟谣：处理器、内存都不一样  C++20的source_location是什么_C++在编译期获取源码位置信息用于日志和断言  UC浏览器网页版登录入口官网 电脑版网址入口  QQ网页版官方账号入口 QQ网页版网页版登录指南  PPT平滑切换怎么做 PPT炫酷“平滑”切换动画制作教程【必学】  mysql如何分析事务日志_mysql事务日志分析方法  Tailwind CSS line-clamp 布局问题解析与修复指南  随机参数递归函数的基准调用次数与时间复杂度探究  Python模块化编程：有效管理依赖与避免循环引用  淘宝支付提示失败如何解决 淘宝支付流程优化方法  必由学在线入口 必由学网页版快速登录入口  在PHP脚本中通过SSHFS挂载远程文件系统的最佳实践与常见问题解决  漫蛙2网页版漫画入口 漫蛙漫画在线官方登录  python3时间如何用calendar输出？  qq游戏网页版直接玩_qq游戏免下载快速入口  Win10桌面图标出现小盾牌怎么办 Win10去除UAC图标教程【解决】  手机屏幕碎了但能正常使用怎么办 手机外屏碎裂的修复建议  谷歌浏览器怎么给标签页静音_Chrome标签静音快捷操作  优化Log4j2控制台输出性能：解决异步日志瓶颈  Python多版本共存与虚拟环境管理深度指南  想当下一个《2077》？《心之眼》Steam评价升至"多半好评"  12306选座如何查看座位示意图_12306座位示意图解读与使用  mcjs网页版流畅运行 mcjs低配电脑畅玩入口  TikTok评论显示延迟如何处理 TikTok评论刷新优化方法  lar*el怎么安全地存储和获取配置文件中的敏感信息_lar*el敏感信息安全存储方法  C++如何连接MySQL数据库_C++使用Connector/C++操作MySQL数据库教程  Gmail邮箱申请注册直达_Gmail邮箱免费注册PC版官网入口2025  迅雷下载到U盘速度很慢怎么办_迅雷U盘下载慢优化方法  聚水潭ERP登录页面入口 聚水潭ERP官网登录界面  Spring Boot内嵌服务器与J*a EE全栈特性：选择与部署策略  C++如何实现一个装饰器模式_C++设计模式之动态地给对象添加额外职责  J*a里如何使用forEach遍历Map_Map遍历方法说明  Lar*el 中按“Has One Of Many”关联模型排序的最佳实践  自动化J*a应用中GitHub CLI或REST API的认证与交互  俄罗斯Yandex免登录入口_Yandex搜索引擎官网一键直达  React Hooks最佳实践：动态组件状态管理的组件化方案  Python Socket多播通信中指定源IP地址的实践指南