要从 python 中的列表、集合或字典中去除重复项，可以使用以下函数：set()：创建集合，它是一种无序、唯一元素的集合，自动删除重复项。list()：将集合转换为列表，从而获得唯一元素。dict.keys()：获取字典的键，从而获得一个不包含重复项的唯一键列表。itertools.groupby()：分组元素，保留元素的顺序，在去除重复项的同时保持顺序。
如何使用 Python 函数去除重复项
在 Python 中去除重复项是数据处理中的常见任务。为了实现这一点，有几种函数可供使用。
使用 set()
set() 函数会创建一个集合，它是一种无序、唯一元素的集合。可以通过将可迭代对象（例如列表或元组）传递给 set() 来创建集合。集合中的元素是唯一的，因此重复项将被自动删除。
my_list = [1, 2, 3, 4, 5, 1, 2, 3] # 使用 set() 函数创建集合 unique_set = set(my_list) # 转换集合回列表以获取唯一元素 unique_list = list(unique_set) print(unique_list) # 输出：[1, 2, 3, 4, 5]
使用 list()
list() 函数可以将集合转换为列表，从而提供另一种去除重复项的方法。
my_set = {1, 2, 3, 4, 5, 1, 2, 3}
# 使用 list() 函数转换为列表
unique_list = list(my_set)
print(unique_list) # 输出：[1, 2, 3, 4, 5]
使用 dict.keys()
字典是另一种存储唯一键的数据结构。通过获取字典的键，可以获得一个不包含重复项的唯一键列表。
my_dict = {1: "one", 2: "two", 3: "three", 1: "one", 2: "two"}
# 获取字典的键
unique_keys = list(my_dict.keys())
print(unique_keys) # 输出：[1, 2, 3]
使用 itertools.groupby()
itertools.groupby() 函数将一个可迭代对象分组为连续的具有相同键的元素。这可以用于在去除重复项的同时保留元素的顺序。
import itertools
my_list = [1, 2, 3, 4, 5, 1, 2, 3]
# 使用 groupby() 对元素进行分组
for key, group in itertools.groupby(my_list):
print(key) # 输出：1 2 3 4 5
通过使用这些函数中的任何一个，都可以轻松地在 Python 中从列表、集合或字典中去除重复项。
