Olá @Thanael, tudo bem?
Eu realizo 2 processos para a extração dos dados.
Através da busca avançada, dentro do casa dos dados, eu seleciono o ramo/perfil de clientes de uma determinada área, e realizo a extração dos dados iniciais, gerando um arquivo *.CSV
Esse arquivo, posteriormente, eu carrego na ferramenta AUTOMA, que através de um Workflow que eu já configurei, realiza a captura dos dados de todas as paginas.
Tanto o XPATH como o CSS, são linguagens para busca de informações em nós de sites em XML e HTML, portanto, ele responde a uma configuração.
No exemplo //div[p/text()='UF']/p/a/text(), eu estou dizendo para o AUTOMA, buscar no SITE X, a informação UF...a informação UF está dentro de alguma DIV em formato de TEXTO...
Ele localizando essa div com essa informação, ele me retorna o TEXTO da div relacionada (que normalmente fica na linha de baixo).
Eu não uso APIs pois não entendo rsrs, aprendi a mexer e configurar o AUTOMA e o básico de XPATH apenas para atender a minha necessidade. 😄
E essas APIs tem custo tambem.