Linux 删除大量小文件的两种方案.docx

《Linux 删除大量小文件的两种方案.docx》由会员分享，可在线阅读，更多相关《Linux 删除大量小文件的两种方案.docx（4页珍藏版）》请在优知文库上搜索。

1、环境：RHE1.6.5+Oracle11.2.0.4需求：使用df-i巡检发现Inodes使用率过高，需要清理删除文件来解决.如果Inodes满，该目录将不能写，即使df-h音看还有剩余空间.1 .问Sg现象Oracle的adump下记录的是sys的登陆审计信息，特点是小碎文件非常多，经常会遇到使用rm-rf*命令删除不了，报错-bash:binrm:Argumentlisttoolong.这是因为通配符*在执行时会替换为具体的文件名,例如rm-rffilelfile2file3,如果文件数量过多，就容易出现这个错误.比如在下面的环境中，adump目录下文件已达到114万+,执行rm-rf”命

2、令时就会报这个错误：(oraclejystdrac2adump$pwdoptapporacleadmincrmdbadumporaclejystdrac2adumpSlswc-11149787oraclejystdrac2adump$rm-rf*-bash:binrm:Argumentlisttoolong(oraclejystdrac2adump)$du-sh4.4G2 .解决方案清楚了问题现象，解决方案就从除去rm-rf*命令的方式之外，还有哪些方法可用，如果通过网络搜索，可能会找到结合find命令再去执行rm的方式，但其实效率非需差，具体写法这里就不列出了，因为我们通甫也不会这样处理.那

3、么如何较为效率的删除大批小文件呢？结合网络的经验，并实测验证，最终总结了两种常见的解决方案，效率上也都尚可。方案一：巧用rsync的方式达到删除目的建立一个空文件夹，使用rsync-delete-before-d空文件夹需要清理删除小文件的目录命令最终达到删除大批小文件的目的.下面演示具体操作：Ioraclegljystdrac2adump$mkdirdatanulloraclejystdrac2adump$Is-1datanulltotaloraclejystdrac2nohuprsync-delete-before-ddatanulloptapporacleadmi11crmdbadump

4、&使用manrsync套看rsync命令相关的参数说明如下：-d,-dirstransferdirectorieswithoutrecursing-delete-beforereceiverdeletesbeforetransfer(default)方案二：使用find命令的delete参数使用find需要清理删除小文件的目录-typef-delete命令直接删除大批小文件.使用manfind查看find命令相关的参数说明如下：-typecFileisOftypec:bblock(buffered)specialccharacter(unbuffered)specialddirectorypn

5、amedpipe(FIFO)fregularfile1symboliclink;thisisnevertrueifthe-1.optionorthe-followoptionisineffect,unlessthesymboliclinkisbroken.Ifyouwanttosearchforsymboliclinkswhen-1.isineffect,use-type.ssocketDdoor(Solaris)-deleteDeletefiles;trueIfremovalsucceeded.Iftheremovalfailed,anerrormessageisissued.If-dele

6、tefails,findsexitstatuswillbenonzero(wheniteventuallyexits).Useof-deleteautomaticallyturnsonther-depth,option.Warnings:Do,tforgetthatthefindcommandlineisevaluatedasanexpression,soputting-deleteirstwillmakefindtrytodeleteeverythingbelowthestartingpointsyouspecified.Whentestingafindcommandlinethatyoul

7、aterintendtousewith-delete,youshouldexplicitlyspecify-depthinordertoavoidlatersurprises.Because-deleteimpliesdepth,youcannotusefullyuse-pruneand-deletetogether.下面演示具体操作：oracleadutnp$nohupfindoptapporacleadmincrmdbadump-typef-delete&可以参考下面的命令来简单监控删除过程中Inodes使用率的变化：whi1.etrue;dodf-i/;sleep10;done比如我这里

8、节点jystdracl使用的find方法,节点jystdrac2使用的rsync方法,实际观察Inodes释放速度区别并不大：oraclepjystdr$whiletrue;dodf-i/;sleep10;doneFilesystemInodesIUsedIFreeIse%Mountedon/dev/mapper/vg_linuxbase-lv_root1806896151912428777285%/FilesystemInodesIUsedIFreeIUse%Mountedan/dev/apper/vg_linuxbase-lv_root1806896151901528788185%/Fil

9、esystemInodesIUsedIFreeIUse%Mountedon/dev/mapper/vg_linuxbase-lv_root18689G151388。29301684%/Filesystemodevmappervg-li11ubase-lvroot/Filesystemoi/dev/mapper/vg_linuxbase-lv_root/Filesystemondevmappervg-li11ubase-lvroot/Filesystemon/dev/mapper/vg_linuxbase-lv_root/Filesystemondevmappervg-li11ubase-lvr

10、oot#使用的rsync方法,观察Inodes铎放球InodesIUsedIFreeIUse%Mounted1806896151113229576484%InodesIUsedIFreeIUse%Mounted1868961524343446284%InodesIUsedIFreeIUse%Mounted1806896149458331231383%InodesIUsedIFreeIUse%Mounted186896148911131778583%InodesIUsedIFreeIUse%Mounted1806896148762931926783%/OraclegjystdracZ$while

11、true;dodf-i,sleep10;doneFilesystemInodesIUsedIFreeIUse%Mountedon/dev/mapper/vg_linuxbase-lv_root180689696302984386754%/FilesystemInodesIUsedIFreeIUse%Mountedon/dev/mapper/vg_linuxbase-lv_root180689695503785185953%/FilesystemInodesIUsedIFreeIse%Mountedon/dev/mapper/vg_linuxbase-lv_root18068969530888S

12、380853%/FilesystemInodesIUsedIFreeIUse%Mountedondevmapervg-linubase-lv-root180689695052385637353%/FilesystemInodesIUsedIFree!Use%Mountedoi/dev/mapper/vg_linuxbase-lv_root18068969487548S8142S3%/FilesystemInodesIUsedIFreeIUse%Mountedon/dev/mapper/vg_linuxbase-lv_root180689694461386228353%/FilesystemIn

13、odesIUsedIFree!Use%Mountedon/dev/mapper/vg_linuxbase-lv_root1806896942619864277S3X/FilesystemInodesIUsedIFreeIUse%Mountedon/dev/mapper/vg_linuxbase-lv_root180689693851086838652%/既然两种方式差异不或大，那就根据需求或个人习惯选择即可.我自己更倾向于使用方案二，因为这样无需创建空目录，操作上也更百观.最后再总结下删除大Bl小文件的方法：mkdir空文件夹rsync-dole-before-d空文件夹需要清理fi（除小文件的目录find需要清理捌除小文件的目录-typef-delete相对来说这两种方式都比较效率，但由于整体小文件也是比较多，所以实际可以选择nohup放到后台执行.