博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop常见问题
阅读量:4659 次
发布时间:2019-06-09

本文共 747 字,大约阅读时间需要 2 分钟。

1。运行mapreduce程序出错,

connection to resourcemanager
retrying ...
retrying ...
原因是没有启动yarn或者启动失败

2.hdfs namenode -format 只是初始化了namenode的工作目录

而datanode的工作目录是在datanode启动后自己初始化的

3。datanode 不被namemode识别的问题

namenode在format初始化的时候会形成两个标识
blockpoolId
clusterId
新的datanode加入时,会获取这两个标识作为自己工作目录中的标识
一旦namenamenode重新format后,namenode的身份标识已经改变,而datanode如果依然持有原来的ID,就不会被namenode识别
解决办法是删除(清空)datanode的工作目录

4。datanode下线后多久看到效果,(页面上不会立即显示出已经下线)

有一个超时时间,超过了这个时间才被认定下线

5.关于副本数量的问题

副本数由客户端的参数dfs.replication决定(优先级:代码中的conf.set> 自定义配置文件>jar包中的hdfs-default.xml)

上传数据时 datanode的选择策略

1第一个副本先考虑跟client最近的datanode
第二个副本再考虑跨机架挑选一个datanode,增加副本的可靠性
3.选择同机架的一个datanode

文件传输是以packet为单位的64kb ,在packet中有chunk概念,chunk是512字节会校验一次

转载于:https://www.cnblogs.com/rocky-AGE-24/p/6879376.html

你可能感兴趣的文章
MySql通过数据库文件恢复数据库
查看>>
ASP.NET网站和ASP.NET应用程序的区别
查看>>
Codeforces633G(SummerTrainingDay06-I dfs序+线段树+bitset)
查看>>
iOS判断手机某个App是否存在和常用scheme
查看>>
6 实现微信公众号 自动回复功能
查看>>
51Nod 1212无向图最小生成树
查看>>
hdu 4542 小明系列故事——未知剩余系
查看>>
关于结构体指针与别名
查看>>
Symbian UI 架构分类
查看>>
python自如爬虫
查看>>
strcpy函数的实现
查看>>
gcc for Windows 开发环境介绍
查看>>
Linux虚拟文件系统(VFS)学习
查看>>
hibernate批量删除和更新数据
查看>>
ACM-康托展开+预处理BFS之魔板——hdu1430
查看>>
PHP导出Excel表格
查看>>
实验二
查看>>
2018年总结
查看>>
wordpress安装五步法
查看>>
基于Maven构建Mybatis项目
查看>>