HTTP GET Responses by Rapid7 Project Sonar

Buenas a todos, en el post de hoy quería compartiros varios terabytes de información relacionada con  las respuestas a millones de solicitudes HTTP/1.1 GET, realizadas por el Project Sonar de Rapid7, sobre una gran variedad de direcciones IPv4 públicas.

Los resultados pueden ser descargados gratuitamente por bloques, y cuentan con el siguiente formato json:

{
  "$id": "https://opendata.rapid7.com/sonar.http/",
  "type": "object",
  "definitions": {},
  "$schema": "http://json-schema.org/draft-07/schema#",
  "additionalProperties": false,
  "properties": {
    "data": {
      "$id": "/properties/data",
      "type": "string",
      "description": "The base64 encoded HTTP response"
    },
    "host": {
      "$id": "/properties/host",
      "type": "string",
      "description": "The name or IP of the HTTP endpoint"
    },
    "ip": {
      "$id": "/properties/ip",
      "type": "string",
      "description": "The IP of the HTTP endpoint"
    },
    "path": {
      "$id": "/properties/path",
      "type": "string",
      "description": "The HTTP path requested"
    },
    "port": {
      "$id": "/properties/port",
      "type": "integer",
      "description": "The HTTP port of the HTTP endpoint"
    },
    "vhost": {
      "$id": "/properties/vhost",
      "type": "string",
      "description": "The HTTP 1.1 Host header used to specify a virtualhost"
    }
  }
}

En el siguiente enlace encontraréis todo el detalle sobre el proyecto y los links para descargar todos los resultados consolidados:

https://opendata.rapid7.com/sonar.http/

Para acceder a todos los contenidos tendréis que registraros, pero es gratuito. A continuación os comparto un ejemplo de los resultados obtenidos:

Un proyecto muy interesante para alimentar vuestro lagos de datos de activos expuestos, y construiros vuestro propio Shodan, entre otros cientos de utilidades que seguro que se os ocurrirán.

Saludos!