如何计算 Pandas Dataframe 中的重复项?
Pandas 是一个流行的 Python 库，用于数据操作和分析。数据分析中的一项常见任务是计算 Pandas DataFrame 中重复值的数量。当多行在所有列或列的子集中具有相同的值时，可能会出现重复。
根据分析的具体要求，有多种方法可以计算 Pandas DataFrame 中的重复项。一种常见的方法是使用 duplicated() 方法，该方法返回一个布尔系列，指示每行是否是前一行的重复项。默认情况下，该方法在检查重复项时会考虑所有列，但可以通过将列的子集传递给 subset 参数来自定义此行为。
一旦确定了重复项，就可以使用 duplicated() 返回的布尔系列的 sum() 方法对它们进行计数。或者，我们也可以使用pivot_table()方法来计算重复项的数量。
计算重复项的另一种方法是使用groupby()方法按感兴趣的列对DataFrame进行分组，然后计算每个组的出现次数。这可以使用生成的分组DataFrame的size()方法来实现。
让我们首先使用pivot_table()方法来计算Pandas DataFrame中可能存在的重复项。
pivot_table
pivot_table()方法是用于汇总和聚合Pandas DataFrame中数据的强大工具。它允许我们按一列或多列对数据进行分组，并计算每个组的汇总统计信息。在计算重复项的情况下，我们可以按要检查重复项的列对数据进行分组，然后使用 count() 方法计算每组的出现次数。
考虑下面显示的代码，我们将在其中使用 pivot_table() 方法。
示例
import pandas as pd
# 创建示例 DataFrame
df = pd.DataFrame({'A': [1, 2, 2, 3, 3, 3],
'B': ['a', 'a', 'b', 'b', 'b', 'c'],
'C': ['x', 'x', 'y', 'y', 'z', 'z']})
# 按 A 列和 B 列对数据进行分组，并计算每组的出现次数
dup_counts = df.pivot_table(index=['A', 'B'], aggfunc='size')
print(dup_counts)
说明
在此示例中，我们使用 pivot_table() 按 A 列和 B 列对 DataFrame 进行分组，并使用 size() 方法计算每组的大小。生成的 dup_counts 变量是一个 Series，显示 A 列和 B 列中每个唯一值组合的出现次数。此信息可用于识别和分析 DataFrame 中的重复数据。
要运行代码，我们需要先安装 pandas 库，然后运行下面显示的命令。
命令
pip3 install pandas python3 main.py
上述命令的输出将是:
输出
A B 1 a 1 2 a 1 b 1 3 b 2 c 1 dtype: int64
duplicated()
duplicated() 方法是 Python pandas 库中的一个函数，用于识别和返回 DataFrame 中的重复行。该方法通过将每一行与 DataFrame 中的所有其他行进行比较来识别重复行，并返回一个布尔系列，其中 True 表示该行是重复的。
现在让我们借助一个示例来使用 duplicated() 方法。
考虑下面显示的代码。
示例
import pandas as pd
# 创建示例 DataFrame
df = pd.DataFrame({'A': [1, 2, 2, 3, 3, 3],
'B': ['a', 'a', 'b', 'b', 'b', 'c'],
'C': ['x', 'x', 'y', 'y', 'z', 'z']})
# 根据所有列识别重复行
dups = df.duplicated()
# 计算重复行数
dup_count = dups.sum()
print("重复行数: ", dup_count)
说明
在此示例中，我们使用 duplicated() 方法来识别 DataFrame 中的重复行。默认情况下，该方法在检查重复项时会考虑所有列。然后，我们使用 sum() 方法来计算重复行数，在本例中为 3。
输出
重复行数:3
结论
总之，计算 Pandas DataFrame 中的重复项是数据清理和分析的重要步骤。借助 groupby()、value_counts()、pivot_table() 和 duplicated() 等各种方法，可以更轻松、更高效地识别和处理重复数据。
通过使用这些方法，可以识别和删除重复行、计算列中每个唯一值的出现次数，并根据特定标准对数据进行分组，以更好地理解数据中的模式和关系。
需要注意的是，根据手头的具体任务，不同的方法可能更合适，检查文档并尝试不同的方法来找到最有效的解决方案始终是一个好习惯。
