Buenas a todos, en el post de hoy quería compartiros varios terabytes de información relacionada con las respuestas a millones de solicitudes HTTP/1.1 GET, realizadas por el Project Sonar de Rapid7, sobre una gran variedad de direcciones IPv4 públicas.
Los resultados pueden ser descargados gratuitamente por bloques, y cuentan con el siguiente formato json:
{
"$id": "https://opendata.rapid7.com/sonar.http/",
"type": "object",
"definitions": {},
"$schema": "http://json-schema.org/draft-07/schema#",
"additionalProperties": false,
"properties": {
"data": {
"$id": "/properties/data",
"type": "string",
"description": "The base64 encoded HTTP response"
},
"host": {
"$id": "/properties/host",
"type": "string",
"description": "The name or IP of the HTTP endpoint"
},
"ip": {
"$id": "/properties/ip",
"type": "string",
"description": "The IP of the HTTP endpoint"
},
"path": {
"$id": "/properties/path",
"type": "string",
"description": "The HTTP path requested"
},
"port": {
"$id": "/properties/port",
"type": "integer",
"description": "The HTTP port of the HTTP endpoint"
},
"vhost": {
"$id": "/properties/vhost",
"type": "string",
"description": "The HTTP 1.1 Host header used to specify a virtualhost"
}
}
}
En el siguiente enlace encontraréis todo el detalle sobre el proyecto y los links para descargar todos los resultados consolidados:
Para acceder a todos los contenidos tendréis que registraros, pero es gratuito. A continuación os comparto un ejemplo de los resultados obtenidos:
Un proyecto muy interesante para alimentar vuestro lagos de datos de activos expuestos, y construiros vuestro propio Shodan, entre otros cientos de utilidades que seguro que se os ocurrirán.
Saludos!