Actualización sobre la situación del scraper

El problema de los scrapers que sobrecargan sitios web con tráfico para obtener datos de entrenamiento para modelos de lenguaje sigue creciendo. A más de un año de que se publicara un artículo sobre este tema, la situación no ha mejorado.

Los scrapers utilizan una gran cantidad de direcciones IP únicas para realizar solicitudes coordinadas a los sitios web. Estas solicitudes provienen principalmente de redes residenciales y móviles, y están controladas por nodos centrales. El software instalado en los sistemas ordinarios toma órdenes de un nodo de control, recupera páginas web y envía los datos resultantes de vuelta al controlador. A menudo, esta actividad se lleva a cabo sin el conocimiento o consentimiento del propietario del dispositivo.

“Estas redes pueden utilizarse no solo para scraping, sino también para acceder a recursos en las redes a las que están conectados los dispositivos”

Existen diferentes tipos de operadores que ejecutan redes de proxies residenciales para atacar sitios web. Algunos son puramente criminales y utilizan malware para comprometer sistemas. Otros operadores trabajan de manera más abierta, ofreciendo direcciones IP "de fuente ética" y servicios de VPN que permiten a los usuarios convertirse en parte de su red de proxies residenciales. Estas redes pueden utilizarse no solo para scraping, sino también para acceder a recursos en las redes a las que están conectados los dispositivos.

La situación es preocupante, ya que los operadores de estas redes pueden ejecutar código que accede a recursos en las redes de millones de dispositivos. Es importante destacar que el problema del scraping no solo afecta a los sitios web, sino que también plantea riesgos para la seguridad y la privacidad de los usuarios. Es necesario tomar medidas para abordar este problema y proteger la integridad de la web abierta.