1、 海量日志数据的统计分析。

2、 基于 MapReduce 的预测模型设计,通过对历史日志数据的分析建立预测模型。

1、 能够快速获取接口访问性能是否下降,或者接口访问频率异常。

2、 结合公司的访问量,可以预估举行促销活动时,需要增加机器的数量。

3、 接口修改后,是否出现波动等。

1、统计日志中各个状态码(200,404,500)出现总的频次,并且按照小时时间窗,输出各个时间段各状态码的统计情况。统计文件命名为 1.txt ，输出格式为:单词与数字之间英文(:)分割。时间之间英文(-)分割,其他是空格或者空行。

2、统计每个 IP 访问总的频次,并且按照小时时间窗,输出各个时间段各个 IP 访问的情 况 。每个 IP 的统计信息是一个文件,并且以 IP 为文件名(后缀为txt,如 :172.22.49.26.txt),每个文件的输出格式同任务1。

3、统计每个接口(请求的 URL)访问总的频次,并且以接口为文件,按照秒为单位的时间窗,输出各个时间段各接口的访问情况。每个接口的统计信息是一个文件,如接口/tour/category/query 的统计文件命名为:our-category-query.txt,每个文件的输出格式同任务1。

4、统计每个接口的平均响应时间,并且以接口为分组,按照小时时间窗,输出各个时间段各个接口平均的响应时间。每个接口的统计信息是一个文件,如接口/tour/category/query 的统计文件命名为:tour-category-query.txt,每个文件的输出格式同任务1。

5、接口访问频次预测,给 2015-09-08.log 到 2015-09-21.log 共 14 天的日志文件,作为训练数据,设计预测算法来预测下一天(2015-09-22)每个小时窗内每个接口(请求的URL)的访问总频次。输出格式同任务 1。该结果会与当天实际的统计值(2015-09-22.log)做 RMSE 验证。