情景:当一个文件非常大,而内存无法一次性处理时,怎么对它进行有效的去重操作

打开大文件,每次只读一行;

对读入的行字符串hash(string) = F(string) mod x, x要保证mod完之后不冲突,将此字符串写入对应号码的文件中;

....

处理完之后,我们对大小超出一行的文件进行去重;

最后再读取逐个文件,写入到外存中的一个大文件中。

或者,我们可以对每个小文件只读取其第一行(后面的行都是经过计算后重复的),写入结果文件中。

这样就避免了使用map时内存无法存储海量的数据的问题。