Dados Web extracção mineira Explicado

Esta é provavelmente a técnica mais utilizada tradicionalmente usado para transferir dados de páginas da web para algumas peças de expressões regulares. Na verdade, esta é precisamente a razão do nosso software raspador de tela escrito em Perl começou como um mesmo tempo, se você já está familiarizado com expressões regulares, e raspar seu projeto é relativamente pequeno, eles podem ser uma ótima solução.

Faz sentido de retirar peças de interesse. Ainda outras abordagens Ontologism ou vocabulários hierárquicos destina-se a representar o domínio de conteúdo trata do desenvolvimento. Número de empresas, em particular, para a oferta de aplicações comerciais é projetado para raspar triagem. Aplicações variar um pouco, mas para médias e grandes projectos, são muitas vezes uma boa solução. Cada sala tem sua própria curva de aprendizagem, para que você tome o tempo para aprender uma nova aplicação deve planejar sobre os prós e contras.

Ela realmente depende de quais são suas necessidades, e que recursos você tem à sua disposição. Aqui estão várias abordagens, bem como sugestões sobre o que você pode usar cada um são alguns dos prós e contras.

As expressões regulares são suportados em quase todas as linguagens de programação modernas. Heck, mesmo VBScript mecanismo de expressão regular. Também é bom porque as várias implementações de expressões regulares não diferem significativamente em sua sintaxe.

Eles têm muita experiência com aqueles que não tem de ser complicado. Aprender expressões regulares Perl não gostam de ir para Java. A Pérola do XSLT, onde você vê o problema de uma forma completamente diferente para envolver sua mente é mais como você usar essa abordagem: ontologismo e inteligência artificial, em geral, você só ganha se você tem informações de um número de fontes de planejamento . Faz sentido fazer isso quando você tentar extrair dados de um formato não-estruturados. Nos casos em que os dados são significado altamente estruturado que não estão claramente identificados para identificar os vários campos de dados, faz mais sentido ir com uma expressão regular ou uma aplicação lata screen-scraping.

Ao usar essa abordagem, screen scraping aplicações são a facilidade de uso, preço, conveniência, e lidar com uma ampla gama de cenários muito diferentes. As chances são de que, se você não se importa um pouco, você vai encontrar-se usando um pode ser uma economia de tempo significativa. A lixar rápido da página, se você é, você praticamente qualquer língua com expressões regulares que você pode usar.

Atualmente, temos um projeto que lida com a extração de anúncios de jornal trabalho. Nos anúncios, como você pode sobre os dados são não estruturados. Por exemplo, o número de quartos em uma propriedade real ea palavra pode ser escrita de diferentes maneiras. Alguns do processo de extração de dados que uma abordagem baseada em ontologia, que é o que temos feito bem adaptado. Mas nós ainda tinha descoberta de dados porção de pega. Decidimos usar o raspador de tela, e é ótimo para lidar com eles. O processo básico de que as diferentes páginas das poligonais raspador de tela local, puxando pedaços de dados brutos obtidos, em seguida, inseri-lo em um banco de dados
 .;