¿Me puede pasar algo si hago Web Scraping?

Mr. X · 26 Nov 2023

Hola betas, busco hacer web scraping en bolsa de trabajos. Pero lei que si te detectan, te pueden bloquear la ip.
Les ha pasado a ustedes en alguna web que han scrapeado?.
Tienen algún consejo cuando inicie?

Elegant · 26 Nov 2023

Mr. X dijo:
Hola betas, busco hacer web scraping en bolsa de trabajos. Pero lei que si te detectan, te pueden bloquear la ip.
Les ha pasado a ustedes en alguna web que han scrapeado?.
Tienen algún consejo cuando inicie?

Que puede pasar, cuando mucho te obligarían a utilizar un proxy que es algo basico, pero ya es muy dificil que detecten el scraping particular a una nevegacion propia de un usuario.

404notfound · 26 Nov 2023

No es ético, pero es algo que muchos hacen, y parece absurdo, pero a veces este tipo de sitios llegan a tener más éxito que el sitio original.

Y si al menos lo haces bien, no puedes correr algún riesgo.

marjuanm · 27 Nov 2023

Mr. X dijo:
es ha pasado a ustedes en alguna web que han scrapeado?.

Si, sacando los resultados de Google después de varios intentos me bloquearon la ip por varias horas.

Lena32 · 24 Feb 2024

Mr. X dijo:
Hola betas, busco hacer web scraping en bolsa de trabajos. Pero lei que si te detectan, te pueden bloquear la ip.
Les ha pasado a ustedes en alguna web que han scrapeado?.
Tienen algún consejo cuando inicie?

Investiga sobre el concepto 'user agent'

Caresto · 26 Feb 2024

Hay servicios como ProxyMeash que te permite rotar ips cada vez que haces una solicitud. Yo lo uso bastante y sin problemas.

adpays · 26 Feb 2024

Si te bloquean se usa un proxy

¿Me puede pasar algo si hago Web Scraping?

Mr. X Seguir

Elegant

404notfound

marjuanm

Lena32

Caresto

adpays