Big Data-Hadoop e seu impacto nos sistemas de Business Intelligence

Recentemente, o meu trabalho exigiu-me olhar para os novos recursos adicionados em informatica 9.1, mas eu nunca pensei que a viagem vai me levar a explorar mais sobre este e escrever um blog Let &'; s ver como eu atravessada por diferentes aspectos novos que estão ficando muito relacionadas com a gestão de dados e Business Intelligence. Primeiro, vamos olhar o que é Bigdata e sua posição agora.

As pessoas sempre pensam como as organizações como Yahoo, Google, Facebook armazenar grandes quantidades de dados dos usuários. Devemos ter uma nota que armazena Facebook mais fotos do que Google &'; s Picassa. Qualquer adivinha ??

O que é Hadoop

A resposta é Hadoop e é uma maneira de armazenar grandes quantidades de dados em petabytes e zettabytes. Este sistema de armazenamento é chamado como Hadoop Distributed File System. Hadoop foi desenvolvido por Doug Cutting baseado em idéias sugeridas pelo Google &'; s papéis. Principalmente nós obter grandes quantidades de dados gerados máquina. Por exemplo, o Large Hadron Collider para estudar as origens do universo produz 15 petabytes de dados a cada ano para cada experimento realizado.

MapReduce

A próxima coisa que vem à nossa mente é o quão rápido podemos acessar essas grandes quantidades de dados. Hadoop MapReduce usa, que apareceu pela primeira vez em papéis de Google de pesquisa. Segue-se &'; Divide and Conquer &' ;. Os dados são organizados como pares de valores-chave. Ele transforma a totalidade dos dados que são distribuídos por um número incontável de sistemas em blocos paralelos a partir de um único nó. Em seguida, ele irá classificar e processar os dados coletados.

Com um servidor PC padrão, Hadoop irá se conectar a todos os servidores e distribui os arquivos de dados em toda a esses nós. Ele usou todos esses nós como um grande sistema de arquivos para armazenar e processar os dados, tornando-se um sistema de arquivos distribuídos não adulterado 100%. Os nós adicionais podem ser adicionados se dados atinge a capacidade máxima instalada, tornando a configuração altamente escalável. É muito barato, pois é open source e doesn &'; t exigem processadores especiais, como usado em servidores tradicionais. Hadoop é também uma das implementações NoSQL.

Hadoop em tempo real

O Tennessee Valley Authority (TVA) usa dispositivos de campo de smart grid para coletar dados em seu poder -árvores linhas e instalações em todo o país. Estes sensores enviar dados a uma taxa de 30 vezes por segundo e ndash; a essa taxa, a TVA estima que vai ter metade de um petabyte de dados arquivados dentro de poucos anos. TVA usa Hadoop para armazenar e analisar os dados. Na Índia Power Grid Corporation of India pretende instalar esses dispositivos inteligentes em suas redes para a recolha de dados para reduzir as perdas de transmissão. É melhor eles também emular TVA. Recentemente Facebook mudou-se para 30 petabyte Hadoop, que soa incrível e difícil de digerir o fato de que estamos usando um volume tal miríade de dados.

Data Warehouse e Business Intelligence produtos apoiar Hadoop MapReduce e

1 ) Greenplum Página 2) Informatica
3) Teradata
5) Pentaho
6) Talend

Se Hadoop e NoSQL outras implementações são amplamente utilizados, as limitações dos sistemas tradicionais de SQL pode ser resolvido como o armazenamento de dados não estruturados. Com o volume de dados a aumentar exponencialmente, comercialização de Hadoop vai acontecer em uma grande escala ferramentas e integrador de dados irá desempenhar um papel fundamental na mineração de dados para as empresas.
Leitores compartilhar suas experiências se algum de vocês têm trabalhado com Hadoop em outro ETL e ferramentas de BI, ferramentas que estão disponíveis no mercado Restaurant  .;