Dataflow em aplicativos MapReduce!

MapReduce é uma estrutura que é projetado para processar grandes conjuntos de dados. Ele usa um grande aglomerado de computadores que são chamados como nodos para realizar os cálculos. Este processamento computacional é feito em ambos os dados armazenados num sistema de ficheiros ou dentro de um banco de dados. Em aplicativos MapReduce, existem basicamente dois componentes ou seja, mapear e reduzir. Na etapa Mapa, o nó mestre recebe a entrada, divisórias-lo em pequenos sub-problemas, e finalmente distribui aqueles para nós trabalhadores. Esta é novamente repetido pelo nó trabalhador que conduz a uma estrutura de árvore de níveis múltiplos. Os problemas menores que são feitas no processo nó trabalhador cada um deles e passam a resposta de volta ao seu mestre. Nó Por outro lado, a etapa de reduzir leva as respostas e combina-los de alguma forma a obter o resultado final.

No quadro MapReduce há uma grande distribuídos tipo que consiste em pontos quentes como definido

• um leitor de entrada
• uma função Mapa
• Reduzir a função
• uma função de partição
• uma comparar função
• um escritor de saída

Aqui, leitor de entrada basicamente divide a entrada em splits tamanho apropriado. O quadro MapReduce em seguida, atribui uma divisão para cada função do Mapa. Há um sistema de arquivos distribuído a partir de onde o leitor lê os dados de entrada e gera os pares de chave /valor necessário. Outro componente ou seja função Mapa leva uma série de pares de chave /valor, os processa e gera saída zero ou mais pares de chave /valor. Muitas vezes, os tipos de entrada e saída da função de reduzir é diferente um do outro.

Reduzir função no quadro MapReduce chama cada reduzir a função uma vez para cada chave única na ordem de classificação. Esta função Reduzir pode percorrer os valores que são eventualmente associados a essa tecla. O valor de saída pode ser 0 ou mais alguns valores bem. Outra função importante é a função partição onde cada saída da função do Mapa é atribuído a um redutor particular. Isto é feito com a ajuda de função de partição da aplicação. Em seguida, vem, uma função de comparação, que é utilizado para executar e classificar a função Mapa. Depois, há outra função muito importante chamado como o escritor de saída. O escritor de saída é usado para escrever a saída da função Reduzir para o sistema de arquivos distribuídos, muitas vezes chamado como o armazenamento estável.

Cada componente nos aplicativos MapReduce é importante e mesmo que se está ausente ou não devidamente otimizado, os resultados não fossem como esperado. Para definir um quadro MapReduce corretamente você precisa entender cada componente de perto, para o qual você deve ler tutoriais on-line. Explore os recursos on-line e fazer uso desta aplicação e servir os seus vários propósitos importantes Restaurant  .;