Três tipos para Extração de dados da Web e no preço do competidor

Usando expressões regulares para extrair os dados brutos pode ser um pouco intimidante para os não iniciados e um pouco confuso como um script pode conter um monte deles. Ao mesmo tempo, se você já está familiarizado com expressões regulares, e raspar seu projeto é relativamente pequeno, eles podem ser uma ótima solução. Outras abordagens ou vocabulários hierárquicos destinados para representar o domínio de conteúdo trata do desenvolvimento.

Existem algumas empresas (inclusive a nossa) específicos para aplicações comerciais são oferecidos a captura de tela. Os pedidos variam muito, mas para médias e grandes projectos, são muitas vezes uma boa solução. Cada um tem sua própria curva de aprendizagem, tomar o tempo para aprender uma nova aplicação deve planejar sobre os prós e contras.

O que é a melhor maneira de recuperar dados? Diferentes abordagens aqui, bem como dicas sobre quando você teria qualquer uso alguns dos prós e contras:

Benefícios:

- Se você já tem uma expressão regular e estar familiarizado com, pelo menos, uma linguagem de programação, pode ser uma solução rápida.
- expressão regular que o conteúdo dessas pequenas mudanças não vai quebrá-las no "imprecisão" para conseguir uma quantidade razoável

As expressões regulares são suportados no. a maioria das linguagens de programação modernas. Heck, mesmo VBScript é um mecanismo de expressão regular. Também é bom porque as várias implementações de expressões regulares não é significativamente diferente em sua sintaxe

Desvantagens:.

Eles não têm muita experiência com eles pode ser complicado. Aprender expressões regulares não é como Perl para Java

-. Eles são muitas vezes confusa para analisar viajantes -. O processo de descoberta de dados (onde dados de diferentes páginas da web que você deseja obter no cruzamento página) continua a ser abordada, e muito complexo como você pode usar cookies ou necessidade semelhante

Benefícios:.

- Modelos de dados normalmente construídos exemplo, se você está extraindo informações de sites sobre carros já extração do motor, modelo e gratificante,-lo facilmente para estruturas de dados existentes tem sido capaz de identificar (como inserir dados em seu banco de dados os lugares certos)
- manutenção relativamente baixo de longo prazo

Desvantagens:.
<. p> - Para trabalhar com relação a tal mecanismo é complexo.
- são caros para construir esses tipos de motores

Nos casos em que os dados são altamente estruturados (ou seja, há claramente marcados sobre os vários campos. para identificar), a expressão regular faz mais sentido para ir com uma tela raspagem aplicação

Tela raspagem software

Benefícios:

- As coisas complexas abstratos distância.. Algo sobre expressões regulares, HTTP ou cookies sem saber a tela raspagem aplicativos podem fazer qualquer coisa coisas muito sofisticadas.
- Configurando o local teve que ser escalado reduz drasticamente a quantidade de tempo.
- Suporte para uma empresa comercial . Se você tiver problemas ao usar uma aplicação comercial, screen scraping, as chances são de que existem fóruns de suporte e linhas de ajuda onde você pode obter ajuda

Desvantagens:.

- A curva de aprendizagem. Cada aplicativo tem sua própria maneira de fazer as coisas na tela raspagem viajantes -. Um custo possível.
-. Uma abordagem individual

Quando os aplicativos de raspagem da tela usar essa abordagem para facilidade de uso, preço, fitness, e lidar com uma ampla gama de cenários muito diferentes. As possibilidades são, porém, que se você não se importam em pagar um pouco mais, você está usando um pode salvar uma quantidade considerável de tempo. Se você tem uma única página, uma raspagem rápida com expressões regulares que você pode usar praticamente qualquer linguagem de morrer. Mais sobre qualquer coisa, embora talvez, você projetado para captura de tela para considerar investir na aplicação.

Atualmente, temos um projeto envolvidos na extração do trabalho anúncios de jornal. Sobre os dados nos anúncios, como você pode obter é. No entanto, tivemos de encontrar o processamento de dados. decidimos usar o raspador de tela e é ótimo para lidar com eles. O processo básico que as várias páginas das datas cross site raspador de tela, em seguida, inserido em um banco de dados
 .;