Pipeline Logstash para datos de Contratos en formato OCDS (Open Contracting)

Datos descargables en: Datos Gob MX

Se requiere descargar los datos por paquetes

La documentacion del esquema OCDS se puede encontrar en: Open Contracting

Dependencias

Servidor ElasticSearch
Docker

ElasticSearch

Indice: sfp-compranet-ocds-compiled-releases

Instrucciones para usar este script

Descargar los paquetes de datos, deben consistir de uno o varios archivos .json
Extraer los archivos .json en la carpeta input

Ejecutar en esta carpeta los siguientes comandos:

docker build . -t logstash-sfp-compranet-ocds:latest Esto generará nuestro contenedor para correr el proceso con todas las dependencias necesarias. Este comando solo tendremos que ejecutarlo una vez
docker run --rm -it --net="host" -v $PWD/logs:/logs:rw -v $PWD/input:/input logstash-sfp-compranet-ocds

Este comando puede recibir los siguientes parametros
- -e "ES_HOST=servidor.com:9200" Especifica el hostname del servidor ElasticSearch (default:localhost:9200)
- -e "ES_INDEX=nombre-indice" Especifica el nombre del indice a usar en ES (defaul:sfp-compranet-ocds-compiled-releases)
Ejemplo:
```
docker run --rm -it --net="host" -v $PWD/logs:/logs:rw -v $PWD/input:/input -e "ES_HOST=example.org:9200" logstash-sfp-compranet-ocds
```
Al finalizar este procedimiento ya podremos consultar los datos en ElasticSearch y Kibana.