教育培训消费

成都大数据培训之secondary namenode其中的操作细节

0回复 阅读 28

一、NameNode概念

namenode需要管理datanode,namenode中存储管理信息—元数据metadata — FileName replicas block-Ids id2host:

a. 记录文件存储位置 /node01/a.txt

b. 记录文件切的块数

c. 文件块存储的datanode的地址

* fsimage:存储元数据。但是注意fsimage中的元数据内存中并不一致,也就意味着fsimage中的数据并不是实时数据

*edits:存储HDFS的操作

*fstime:记录上一次的更新时间

二、checkpoint操作:该操作就相当于拍快照,其中的属性:

fs.checkpoint.period 用于指定两次checkpoint的最大时间间隔,默认3600秒(即一个小时)

fs.checkpoint.size 用于规定edits文件最大值,一旦超过这个值就强制checkpoint,不管是否到达最大时间间隔,默认的大小为64MB。

* secondary namenode的工作流程:

1.secondary通知namenode切换edits文件

2.secondary通过http从namenode获得fsimage文件和edits文件

3.将fsimage文件载入内存,然后开始合并edits文件

4.secondary将新的fsimage文件发回给namenode

5.用新的fsimage文件替换旧的fsimage文件

以上是成都数据培训之secondary namenode其中的操作细节讲解。如果想了解更多详情,请点击成都卡米古大数据官网!成都数据培训学校、大数据开发培训、数据分析与挖掘、零基础课程正在招生。这个月的教学大纲和试用视频可以通过联系客服获取!http://www.dtinone.net/

标签

大数据 大数据培训
展开全文
一键安装官方客户端
江城热点及时推送 阅读体验更流畅

1人点赞

查看更多

值得推荐

首页 版块

和武汉妹子交朋友

了解武汉的窗口

在武汉结婚  买房  装修  旅游  购物

用得意生活app有优惠

立即下载