Pandas中按组生成递增序列ID

本文详细介绍了如何在pandas dataframe中，根据指定列（如'city'）对数据进行分组，并为每个组内的记录生成从1开始的递增序列id。通过结合使用`groupby()`方法和`cumcount()`函数，可以有效地实现分组计数重置的需求，从而构建出符合业务逻辑的复合id字符串，避免了传统索引计数无法按组重置的问题。

在数据处理和分析中，我们经常需要为数据集中的记录生成唯一的标识符（ID）。当这些ID需要根据某个分类字段进行分组，并且在每个组内重新开始递增计数时，传统的全局索引或简单计数方法就无法满足需求。例如，在一个包含多个城市的数据集中，我们可能希望为每个城市的居民生成一个从1开始的本地ID，而不是一个跨城市的全局ID。

问题描述与传统方法的局限性

假设我们有一个包含“城市”（City）和“姓名”（Name）的DataFrame，目标是生成一个复合ID，格式为“城市前三位-姓名前三位-组内序号”。如果简单地使用DataFrame的全局索引进行拼接，如下所示：

import pandas as pd

data = {
    'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'],
    'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']
}
df = pd.DataFrame(data)

# 错误尝试：使用全局索引
df['Id_Global'] = df.City.str[:3] + '-' + df.Name.str[:3] + '-' + df.index.astype(str)
print("使用全局索引的ID：")
print(df)

输出结果会是：

使用全局索引的ID：
    City       Name    Id_Global
0  Paris       John  Par-Joh-0
1  Paris       Paul  Par-Pau-1
2  Paris     Pierre  Par-Pie-2
3  Paris      Paula  Par-Pau-3
4   Rome   Riccardo  Rom-Ric-4
5   Rome  Jean-Paul  Rom-Jea-5
6   Rome      Franc  Rom-Fra-6

可以看到，当城市从“Paris”变为“Rome”时，ID的序号并没有从1（或0）重新开始计数，而是继续了全局的递增。这与我们的期望不符。

解决方案：使用 GroupBy.cumcount()

Pandas提供了一个非常强大的工具来解决这类分组计数问题：DataFrame.groupby().cumcount()。这个函数能够对DataFrame按指定列进行分组，并为每个组内的行生成一个从0开始的递增计数。

VALL-E

VALL-E是一种用于文本到语音生成 (TTS) 的语言建模方法

134 查看详情 VALL-E

cumcount() 函数详解

groupby('列名'): 首先，我们需要根据哪个列来定义“组”。在这个例子中，就是'City'列。
.cumcount(): 对每个分组内部的行进行累积计数。它会为每个组的第一行返回0，第二行返回1，依此类推。

实现步骤

分组并生成组内计数： 使用 df.groupby('City').cumcount() 为每个城市生成一个从0开始的序列号。
调整计数： cumcount() 返回的是0-indexed的计数，如果我们需要从1开始，可以简单地加上1：.add(1)。
类型转换： 将生成的数值型计数转换为字符串，以便与城市和姓名的前缀进行拼接：.astype(str)。
拼接字符串： 将城市前缀、姓名前缀和处理后的组内序号拼接起来，形成最终的ID。

示例代码

import pandas as pd

# 原始数据
data = {
    'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'],
    'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']
}
df = pd.DataFrame(data)

# 生成符合期望的ID
df['Id'] = (df.City.str[:3] + '-' +          # 城市前三位
            df.Name.str[:3] + '-' +          # 姓名前三位
            df.groupby('City').cumcount().add(1).astype(str)) # 组内计数，从1开始

print("使用 GroupBy.cumcount 生成的ID：")
print(df)

输出结果：

使用 GroupBy.cumcount 生成的ID：
    City       Name         Id
0  Paris       John  Par-Joh-1
1  Paris       Paul  Par-Pau-2
2  Paris     Pierre  Par-Pie-3
3  Paris      Paula  Par-Pau-4
4   Rome   Riccardo  Rom-Ric-1
5   Rome  Jean-Paul  Rom-Jea-2
6   Rome      Franc  Rom-Fra-3

可以看到，当城市从“Paris”变为“Rome”时，ID的序号成功地从1重新开始计数，完全符合我们的预期。

注意事项与最佳实践

性能考量： 对于非常大的数据集，groupby()操作可能需要一定的计算资源。确保你的DataFrame有足够的内存，并考虑对大数据集进行分块处理（如果适用）。
索引重置： cumcount()是基于DataFrame的当前顺序进行计数的。如果你的DataFrame在分组前经过了排序，那么cumcount()的顺序将反映这个排序。如果顺序很重要，请确保在调用cumcount()之前对DataFrame进行了适当的排序。
多列分组： 如果需要根据多个列进行分组并生成组内ID，只需在groupby()中传入一个列名列表即可，例如 df.groupby(['City', 'Country']).cumcount()。
ID的唯一性： 尽管cumcount()保证了组内的唯一性，但最终生成的复合ID的全局唯一性取决于你的前缀组合（城市前三位、姓名前三位）是否足够独特。在实际应用中，如果需要严格的全局唯一ID，可能还需要结合其他策略，如UUID或更复杂的哈希算法。

总结

pandas.DataFrame.groupby().cumcount() 是一个处理分组内序列生成问题的强大且高效的方法。它极大地简化了原本可能需要循环或更复杂逻辑才能实现的任务。通过掌握这一技巧，开发者可以更灵活地处理数据，生成满足特定业务需求的复合标识符。在需要按类别重置计数的情境下，cumcount()无疑是首选的解决方案。

以上就是Pandas中按组生成递增序列ID的详细内容，更多请关注其它相关文章！

# 的是 # 建设部网站分享图片 # 四川营销技术推广平台 # seo可以找工作吗 # 武汉seo哪家最好 # 自助建设网站的心得 # 网址营销推广 # 东莞高埗外贸网站建设 # 网站seo的优化例子 # 商丘seo优化报价 # seo01下载 # 大数据 # 不完整 # 如何处理 # 如何使用 # 解压缩 # 并为 # 可以看到 # 多个 # 是一个 # 前三位 # 工具

返回目录在线咨询

上一篇：怎么选择php版本_PHP版本选择依据与兼容性考虑
下一篇：如何用GitHub Pages托管一个静态RSS文件_使用GitHub Pages托管静态RSS文件

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

全网整合营销服务商