2018年12月29日 下午3:48
HDFS我认为他最核心的作用是:作为底层,完成了对硬件层的抽象,有点类似于网络中数据链路层的感觉(只是感觉像,作用和原理完全不同)
大规模数据存储都需要解决几个核心问题

大规模数据存储方式的演化过程
核心方法就是考虑并行、备份,并且考虑容错
最后的表格中也能看出RAID的本质是啥。


RAID和HDFS的联系

为什么HDFS的地位如何稳固?

HDFS架构图:
我认为就是一个普通的普通的文件系统罢了,概念是不变的,只不过是这些概念的参数大大小小的区别。
DataNode的作用

NameNode作用

NadeNode容错


几个重要的概念:
- 冗余备份
- 失效转移
- 用户请求量大时:
- 限流:拒绝部分请求
- 降级:关闭部分功能
HDFS如何通过大规模分布式服务器集群实现大容量、高速、可靠访问的?
注:HDFS并不是可以防止各种异常的发生,而是在它身上集成了各种异常发生的策略