博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop 一些基本问题
阅读量:6089 次
发布时间:2019-06-20

本文共 561 字,大约阅读时间需要 1 分钟。

hot3.png

  1. 1/运行mr程序出错

            connecting to resoucemanager 

            retrying ....  
            retrying .....

            原因是没有启动yarn或者启动失败

  1. 2/初始化工作目录结构

            hdfs namenode -format 只是初始化了namenode的工作目录

            而datanode的工作目录是在datanode启动后自己初始化的

  1. 3/datanode不被namenode识别的问题

            namenode在format初始化的时候会形成两个标识:

            blockPoolId:
           clusterId:

            新的datanode加入时,会获取这两个标识作为自己工作目录中的标识

           一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然

            持有原来的id,就不会被namenode识别

 

  1. 4/datanode下线后多久看到效果

            datanode不是一下线就会被namenode认定为下线的,有一个超时时间

 

  1. 5/关于副本数量的问题

        副本数由客户端的参数dfs.replication决定(优先级: conf.set >  自定义配置文件 > jar包中的hdfs-    default.xml)

转载于:https://my.oschina.net/LiuLangEr/blog/855316

你可能感兴趣的文章
地铁开发进度01
查看>>
远程桌面无法复制粘贴传输文件解决办法
查看>>
微软下周2将发布13个补丁 修复26个安全漏洞
查看>>
一起谈.NET技术,Entity Framework 4.1 推荐英文教程
查看>>
Spring Cloud构建微服务架构:分布式配置中心
查看>>
(2) iOS开发之UI处理-UILabel篇
查看>>
Web 设计师的 50 个超便利工具(下)
查看>>
python txt文件批处理
查看>>
address-already in use 以及查看端口
查看>>
成功搞定一个通用的Extjs增删改查模块
查看>>
OpenHaptics编程环境搭建
查看>>
jquery操作元素的位置
查看>>
暴力屏蔽80访问失败的用户
查看>>
ios面试题收集一(附基本答案)(转)
查看>>
标签栏使用Demo二
查看>>
海量数据和高并发的解决方案
查看>>
软件工程学概述
查看>>
android项目启动应用,卸载应用,分享
查看>>
微信公共账号-互联网干货派,欢迎大家来关注
查看>>
【Python学习笔记之二】浅谈Python的yield用法
查看>>