Es increíblemente útil poder identificar los datos más inusuales en sus índices de Elasticsearch. Sin embargo, puede ser increíblemente difícil encontrar contenido inusual manualmente si está recopilando grandes volúmenes de datos. Afortunadamente, el aprendizaje automático de Elastic se puede utilizar para construir fácilmente un modelo de sus datos y aplicar algoritmos de detección de anomalías para detectar lo que es raro / inusual en los datos. Y con el aprendizaje automático, cuanto mayor sea el conjunto de datos, mejor.
Una de las principales razones por las que utilizamos la detección de anomalías es para encontrar usuarios , procesos o mensajes de error raros o inusuales (entre otras cosas) en los datos de series de tiempo. El uso de la detección de anomalías para encontrar entidades raras a lo largo del tiempo, o entidades que actúan de manera inusual, puede ser una señal de algo convincente en el flujo de datos. Por ejemplo, los datos raros pueden indicar un acceso no autorizado o un problema potencial que se está gestando.
El uso del aprendizaje automático para identificar datos raros en un modelo de serie temporal a veces se puede confundir con la detección de valores atípicos. La detección rara busca eventos raros basados en frecuencias, mientras que la detección de valores atípicos identifica entidades "raras" basadas en métricas de distancia y densidad en un espacio n-dimensional (independiente del tiempo).
Este blog profundizará en funciones raras, pero si prefiere aprender por video, vaya al final de esta publicación.
Más información, desde el blog de Elastic, clic enlace.