百木园问题描述
怎样在一个序列上面保持元素顺序的同时消除重复的值？
解决方案
如果序列上的值都是hashable类型（简言之，python中不可变对象就是hashable类型的，具体介绍参考官方文档)，那么可以很简单的利用集合或者生成器解决这个问题：
def dedupe(items):
seen = set()
for item in items:
if item not in seen:
yield item
seen.add(item)
a = [1, 5, 2, 1, 9, 1, 5, 10]
res = list(dedupe(a))
# res = [1, 5, 2, 9, 10]
这个方法仅在序列元素为hashable时可用。如果你想消除元素不可哈希的序列（比如dict）中重复元素的话，需要将上述代码稍作修改：
def dedupe(items, key=None):
\"\"\"
这里的key参数指定了一个函数，将items中元素转化成了hashable类型。
\"\"\"
seen = set()
for item in items:
val = item if key is None else key(item)
if val not in seen:
yield item
seen.add(val)
return seen
a = [{\'x\': 1, \'y\': 2}, {\'x\': 1, \'y\': 3}, {\'x\': 1, \'y\': 2}, {\'x\': 2, \'y\': 4}]
res = list(dedupe(a, key=lambda d: (d[\'x\'], d[\'y\'])))
# res = [{\'x\': 1, \'y\': 2}, {\'x\': 1, \'y\': 3}, {\'x\': 2, \'y\': 4}]
re = list(dedupe(a, key=lambda d: (d[\'x\'])))
# re = [{\'x\': 1, \'y\': 2}, {\'x\': 2, \'y\': 4}]
讨论
如果你只想消除重复元素，通常可以简单的构造一个集合。比如：
a = [1, 5, 2, 1, 9, 1, 5, 10]
res = set(a)
# res = {1, 2, 5, 9, 10}
然而这种方法不能维护元素的顺序。
在本节中，我们使用了生成器函数让我们的函数更加通用，不仅仅是局限于列表处理。比如，如果你想读取一个文件，消除重复行，你可以这样做：
with open(file, \'r\') as f:
for line in dedupe(f):
...
上述key函数参数模仿了sorted(),min()和max()等内置函数的相似功能。可以参考1.8和1.13小节了解更多。
来源：https://www.cnblogs.com/L999C/p/15729443.html
图文来源于网络，如有侵权请联系删除。