一、NameNode概念
namenode需要管理datanode,namenode中存储管理信息—元数据metadata — FileName replicas block-Ids id2host:
a. 记录文件存储位置 /node01/a.txt
b. 记录文件切的块数
c. 文件块存储的datanode的地址
* fsimage:存储元数据。但是注意fsimage中的元数据和内存中并不一致,也就意味着fsimage中的数据并不是实时数据
*edits:存储HDFS的操作
*fstime:记录上一次的更新时间
二、checkpoint操作:该操作就相当于拍快照,其中的属性:
fs.checkpoint.period 用于指定两次checkpoint的最大时间间隔,默认3600秒(即一个小时)
fs.checkpoint.size 用于规定edits文件的最大值,一旦超过这个值就强制checkpoint,不管是否到达最大时间间隔,默认的大小为64MB。
* secondary namenode的工作流程:
1.secondary通知namenode切换edits文件
2.secondary通过http从namenode获得fsimage文件和edits文件
3.将fsimage文件载入内存,然后开始合并edits文件
4.secondary将新的fsimage文件发回给namenode
以上是成都大数据培训之secondary namenode其中的操作细节讲解。如果想了解更多详情,请点击成都卡米古大数据官网!成都大数据培训学校、大数据开发培训、数据分析与挖掘、零基础课程正在招生。这个月的教学大纲和试用视频可以通过联系客服获取!http://www.dtinone.net/