Articles in the category of 大数据

  1. Home
  2. 大数据

HDFS Yarn MapReduce工作原理

1、HDFS分布式存储hdfs架构图 namenode:统一管理文件的元数据信息 fsImage:存储了文件的基本信息，如文件路径，文件副...

  • 2018-任森浩
  • October 27, 2019
  • No comments
    •

    HDFS的Shell操作

    HFDS的Shell操作1．基本语法bin/hadoop fs 具体命令2．命令大全[atguigu@hadoop102 hadoop-2.7.2]$ b...

  • 2018-任森浩
  • October 25, 2019
  • No comments
    •

    hadoop常见问题总结

    1.start-dfs.sh启动时出现Error: JAVA_HOME is not set and could not be found start-d...

  • 2018-任森浩
  • October 25, 2019
  • No comments
    •

    Hadoop两大核心之MapReduce

    Mapreduce原理：分而治之，一个大任务分成多个子任务（map），并行执行之后，合并结果（reduce）。eg：做统计的时候，把统计的文件拆分，然后分...

  • 2018-徐苏
  • October 22, 2019
  • No comments
    •

    Hadoop两大核心之HDFS

    HDFS 基本概念：块 Block 文件分块存储 默认64MB 逻辑单元 NameNode (管理节点，存放文件元数据) 文件与数据库的映射表 ...

  • 2018-徐苏
  • October 21, 2019
  • No comments