系统清理工具 系统自带的清理工具有哪些
1年前 (2024-04-23)
系统清理工具 系统自带的清理工具有哪些
1. 简介hudi采用的是mvcc设计，提供了清理工具cleaner来把旧版本的文件分片删除，默认开启了清理功能，可以防止文件系统的存储空间和文件数量的无限增长。1.1 环境flink 0.13.6hudi 0.11.01.2 清理保留策略清理旧文件需要考虑数据查询的情况，有些长查询会占用着旧版本的文件，需要设置适的清理策略来保留一定数量的commit或者文件版本，以提高系统的容错性KEEP_LATEST_COMMITS：默认策略，表示保留n次提交，默认为10，通过参数hoodie.cleane网站站点" rel="nofollow" />