HDFS缓存—原理

请点击此处输入图片描述

HDFS缓存—实现情况

用户需通过命令显式的将一个目录或文件加入/移除缓存

不支持块级别的缓存

不支持自动化缓存

可设置缓存失效时间

缓存目录：仅对一级文件进行缓存

不会递归缓存所有文件与目录

以pool的形式组织缓存资源

借助YARN的资源管理方式，将缓存划分到不同pool中

每个pool有类linux权限管理机制、缓存上限、失效时间等

独立管理内存，未与资源管理系统YARN集成

用户可为每个DN设置缓存大小，该值独立于YARN

要了解学习大数据的可以加群，群号： 834325294，群里有免费的学习资料和视频。