课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认识达内从这里开始
认真做教育 专心促就业
HDFS 是一个主从(Master/Slaves)的架构，它由一个 NameNode 和一些 DataNode 组成。其中，NameNode 是主，DataNode 是从。文件元数据由 NameNode 负责存储和管理，且它维护了一个层次型的文件目录树;文件的数据由 DataNode 来按照 block 进行存储，并按照 block 进行读写。DataNode 与 NameNode 通过心跳来维持，DataNode 会向 NameNode 汇报自己持有的 block 信息。当客户端和 NameNode 交互文件元数据，和 DataNode 交互 block 数据。
从 HDFS 的架构来看，它包含两个重要的角色，分别是 NameNode 和 DataNode。其中，NameNode 完全基于内存存储文件元数据、目录结构、文件 block 的映射，因此，它需要持久化方案来保证数据的可靠性;DataNode 基于磁盘存储 block，并保存了 block 的校验，从而保证 block 的可靠性;DataNode 和 NameNode 之间通过心跳保持，并向 NameNode 汇报 block 状态。
很多基于内存的存储，在使用持久化时，持久化方案通常有几种方案，包括日志文件、内存 Dump 和 两种的混合方式。先来说一下比较常用的缓存系统 —— Redis。Redis 的持久化方式分为 AOF、RDB 和 混合方式。Redis 的 AOF 属于日志 记录 文件，它会记录每条命令到文本文件中，RDB 属于内存 Dump 的方式，它会全量的保存内存的信息，混合方式是 AOF 和 RDB 两者共用的方式。(Redis 为了解决 AOF 体积的问题，提供了 AOF 重写的命令)
【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请添加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。
< 上一篇：南宁web前端培训为什么要进行跨浏览器测试
下一篇：南宁达内大数据培训了解HDFS元数据的持久化 >
2025-02-07
免费试听课程
- 全部课程
- IT课程
- 设计课程
- 运营课程
4578
最新开班时间
- 北京
- 上海
- 广州
- 深圳
- 南京
- 成都
- 武汉
- 西安
- 青岛
- 天津
- 杭州
- 重庆
- 哈尔滨
- 济南
- 沈阳
- 合肥
- 郑州
- 长春
- 苏州
- 长沙
- 昆明
- 太原
- 无锡
- 石家庄
- 南宁
- 佛山
- 珠海
- 宁波
- 保定
- 呼和浩特
- 洛阳
- 烟台
- 运城
- 潍坊
- 开课名称
- 开班时间
- 抢座
- 咨询
- 开课名称
- 开班时间
- 抢座
- 咨询
-
- Java全链路开发
- 5月29日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 5月29日
- 火热抢座中
- 立即咨询
- 人工智能工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 5月29日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 5月29日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 5月29日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 5月29日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 5月29日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 5月29日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 5月29日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 5月29日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 5月29日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 5月29日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 5月29日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 5月29日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 5月29日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 5月29日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 5月29日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 5月29日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 5月29日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 5月29日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 5月29日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 5月29日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 5月29日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 5月29日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 5月29日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 5月29日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 5月29日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 5月29日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 5月29日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 5月29日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 5月29日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 5月29日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 5月29日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 5月29日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 5月29日
- 火热抢座中
- 立即咨询
预约申请试听课
400-111-8989
lihm@tedu.cn
