Web Scraping com Python - 2ª Edição

Se a programação é mágica, o web scraping certamente é uma forma de magia. Ao escrever um programa automatizado simples, é possível consultar servidores web, requisitar dados e interpretá-los a fim de extrair as informações desejadas. A edição ampliada deste livro prático não só apresenta uma introdução ao web scraping, como também serve de guia completo para coletar quase todos os tipos de dados da web moderna.

A Parte I do livro tem como foco o funcionamento do web scraping: como usar Python para requisitar informações de um servidor web, fazer o tratamento básico da resposta do servidor e interagir com os sites de modo automatizado. A Parte II explora uma variedade de ferramentas e aplicações mais específicas, apropriadas a qualquer cenário de web scraping com os quais é provável que você depare.

• Faça parse de páginas HTML complicadas.

• Desenvolva crawlers com o framework Scrapy.

• Aprenda a usar métodos para armazenar os dados coletados.

• Leia e extraia dados de documentos.

• Limpe e normalize dados mal formatados.

• Leia e escreva em idiomas naturais.

• Rastreie formulários e logins.

• Faça scraping de JavaScript e rastreie usando APIs.

• Use e escreva softwares de tradução de imagem para texto.

• Evite armadilhas para scraping e bloqueadores de bots.

• Use scrapers para testar seu site.