Giter Club home page Giter Club logo

Comments (1)

zr9558 avatar zr9558 commented on August 24, 2024

问下在xgboost的训练中,每一个index["data"]都应该包括许多的数据点,什么样的index["data"]会认为是异常的,从而给出index["flag"]为异常呢? 是index["data"]代表的这段数据的最后一个数据点是异常,还是整个index["data"]包换的所有数据点都是异常呢

这段代码应该是在这里有体现: https://github.com/Tencent/Metis/blob/master/time_series_detector/algorithm/xgboosting.py

首先,index["data"] 是由三段数据所组成的,具体的数据拼接流程和 API 可以查看 https://github.com/Tencent/Metis/blob/master/docs/api_userguide.md

其次,时间序列的格式通常来说是这个样子的:

date category value label
2017-10-20 22:00:00 id1 10 "unknown"
2017-10-20 22:01:00 id1 9 '1'
2017-10-20 22:02:00 id1 0 '0'

其中,date 指的是具体的时间戳,category 指的是某条特定的时间序列 id,value 指的是在 date 下这个 category 时间序列的取值,label 指的是人工标记的标签('0' 表示异常,'1‘ 表示正常,'unknown' 表示没有标记或者人工判断不清)。

再次,如果由以上数据集的话,其实可以看出 label 所对应的就是某个时间序列在某个时间点的状态,可以是正常,异常或者未知。但是一个运维人员想要判断一条时间序列的某个时间点是否是异常,其实如果只有某个点的取值是无法判断的,因此需要有历史数据作为参照物。而在 Metis 的业务场景下,我们需要对照七天前的数据,昨天的数据和今天的数据才能够知道当前点是否是异常。

根据您提出的问题,

  1. 每一个index["data"]都应该包括许多的数据点?
    Answer:这个是肯定的,需要有历史一段时间的数据点。默认是七天前后三小时,昨天前后三小时,今天历史三小时,总共 903 个点。

  2. 什么样的index["data"]会认为是异常的?
    Answer:这个需要业务人员的经验来判断,从时间序列的走势和多年运维经验来看。

  3. index["data"]代表的这段数据的最后一个数据点是异常,还是整个index["data"]包换的所有数据点都是异常呢?
    Answer:这个是前者,只有考虑最后一个数据点的情况,其他的点只是作为参照物而存在。因为没有参照物就没有办法知道最后一个点的具体情况。

from metis.

Related Issues (20)

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.