Spring Integration을 사용하여 파일(디렉토리)을 감시할 때 주의점(복사 완료 체크)

개요

• 특정 폴더에 파일(디렉토리)이 복사되면 그 파일을 핸들링 하는 처리가 필요하다.
• 특정 폴더는 네트워크상에 있는 공용 폴더이다.
• 파일의 감시는 Spring Integration을 이용하면 간단하게 해당 생성 파일의 java.io.File인스턴스를 얻을 수 있다.

 

문제점

• 파일을 핸들링할 때 파일(특히 디렉토리)이 완료되지 않은 상태일 가능성이 있다는 것을 알게 되었다.

 

Spring integration코드 예제

• 빈 설정

@Configuration
public class BeanConfig {

    @Bean
    public IntegrationFlow integrationFlow(){
        return IntegrationFlow.from(Files.inboundAdapter(new File("c:/inb_example1"))
                ,e -> e.poller(Pollers.fixedDelay(10)
                                .maxMessagesPerPoll(10)
                        )).handle(new InboundFileHandler()
        ).get();
    }
}

• 핸들러

public class InboundFileHandler implements MessageHandler {
    @SneakyThrows
    @Override
    public void handleMessage(Message<?> message) throws MessagingException {
        var file = (File) message.getPayload();
        System.out.println("파일복사 미완료 파일리스트 길이: " + file.listFiles().length);
        Thread.sleep(1000);
        System.out.println("파일복사 완료 파일리스트 길이: " + file.listFiles().length);
    }
}

위의 코드에서 message.getPayload()만으로 간단히 파일을 얻을 수 있지만

이 파일은 완료된 파일이 아닐 가능성이 존재한다.

파일이 완성되어 관련 커맨드를 실행하는 순간 카피가 완료되면 가장 행복한 케이스지만

단순복사에서도 수백메가의 경우에는 확실히 1초 이내의 복사는 불가능하다.

 

해결방법 조사

• 해결방법을 조사했다. 가장 바람직한 방법은 java.io.File에 사용중이라는 플래그가 있는 것이였는데 그런 것은 존재하지 않았다.
• 출처는 이미 브라우저를 닫아서 없지만 파일의 사이즈를 체크하는 것이 가장 타당할 것 같았다.(이것에도 문제는 있는데 파일의 사이즈를 다시 체크했을 때 파일 복사 동작에 인터럽트가 걸려서 그대로라면 아직 복사중인데도 완료로 판단되어버린다.)

 

문제해결

• 클래스명은 단순히 FileCompletionChecker으로 하였다.
• 필수로 필요한 정보는 아래와 같이 정했다.
  • File checkFile: 체크할 파일
  • int completionJudgmentNumber: 같은 사이즈가 이 숫자만큼 연속으로 발생하면 복사완료로 판정
  • int checkIntervalMs: 파일 사이즈를 체크하기 위한 간격(단위는 ms)
• 체크할 파일은 파일 형식과 디렉토리 형식 둘 다 지원하도록 하였다.
• 디렉토리 형식이면 최초에 안에 파일이 있는지 체크하여 파일이 없으면 10ms 기다리도록 하였다.
• 각 파일(형식이 파일인)의 체크 정보를 관리하기 위한 FileCheckInfo클래스를 만들어 주었다.
• FileCompletionCheck인스턴스를 생성하고 waitUntilCompletion메소드를 실행하면 해당 파일의 완료까지 기다리는 단순한 구조이다.

 

실제코드

FileCompletionChecker.java

0.00MB

FileCompletionCheckerTest.java

0.01MB

 

 

동작검증

• 동작검증은 테스트코드를 참조하기 바란다.
  • 스레드를 이용해 파일을 지속적으로 쓰고, 원하는 사이즈(완료후 사이즈)가 되는 것을 확인하였다.