随死即生

分类

GIt(2) JavaEE(20) Java基础知识(10) Linux(1) 数据库(3) 未归档(34)

/ 注册

全部文章（共1篇）

怎么在海量数据中找出重复次数最多的一个

1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个 IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采...

大数据

2019-03-19

3 2116