Articles under the label of MapReduce

  1. Home
  2. MapReduce

都2019年了，还在讨论Hadoop?

本篇文章将阐述Hadoop的一些基本概念，并解释MapReduce的局限，从而引出Spark的核心思想。Hadoop当初作为一种大数据技术横空出世，经过多...

  • 2018-徐苏
  • November 27, 2019
  • No comments

    • HDFS Yarn MapReduce工作原理

    1、HDFS分布式存储hdfs架构图 namenode:统一管理文件的元数据信息 fsImage:存储了文件的基本信息，如文件路径，文件副...

  • 2018-任森浩
  • October 27, 2019
  • No comments
    •

    Hadoop两大核心之MapReduce

    Mapreduce原理：分而治之，一个大任务分成多个子任务（map），并行执行之后，合并结果（reduce）。eg：做统计的时候，把统计的文件拆分，然后分...

  • 2018-徐苏
  • October 22, 2019
  • No comments