Recientemente, el equipo de defensa de JetBrains .NET publicó una publicación detallada basada en datos que obtuvimos de las API oficiales de NuGet con el objetivo de comprender mejor el pasado de OSS de la comunidad y tratar de predecir tendencias en el futuro. Esto resultó en un conjunto de datos gigante. Dada la experiencia con Elasticsearch, sabíamos que la mejor herramienta para procesar millones de registros era lo que llamamos pila NECK : .NET, Elasticsearch, CSV y Kibana.

La API y los datos de NuGet

La mayoría de las pilas de tecnología han adoptado el código abierto y la gestión de dependencias como principios básicos, y Microsoft y .NET lo han hecho con entusiasmo. Para aquellos que no están familiarizados con el ecosistema .NET, NuGet es el protocolo y servicio oficial de administración de paquetes para desarrolladores .NET.

El ecosistema NuGet ha crecido sustancialmente desde su lanzamiento inicial en 2011, comenzando con un puñado de paquetes para el servicio actual que aloja más de 231,181 paquetes únicos y cerca de 3 millones de permutaciones; eso es una gran cantidad de datos.

Afortunadamente, Maarten Balliauw ha hecho gran parte del trabajo pesado para comprender y recuperar los datos de la API NuGet . En resumen, pudimos recorrer la API de NuGet y recuperar la siguiente información: Autores, URL del icono, Id del paquete, estado de la lista, URL del proyecto, fecha de publicación, etiquetas, marcos de destino, URL del paquete, versión del paquete, números de descarga. y otros datos sin importancia.

Una vez que se completó el proceso, habíamos generado un archivo CSV de 1,5 GB durante nuestra recuperación de datos, probablemente el archivo CSV más masivo que jamás hayamos visto. Intentamos abrir este archivo en algunas herramientas de hoja de cálculo de uso común como Excel, Google Spreadsheets y Apple Numbers sin éxito y, francamente, no teníamos muchas esperanzas de que funcionara. Aquí hay una pequeña muestra de esos datos.

Nota completa publicada en el blog oficial de Elastic, clic en el enlace.