1. 서 론
2. 이미지 품질 평가 방법
2.1 IQA (image quality assessment)
2.2 MTF (modulation transfer function)
3. 실내실험
3.1 실내실험 방법 및 조건
3.2 실내실험 결과
4. 실내실험 결과 분석
4.1 MTF 분석
4.2 이미지 품질 평가 지표 비교분석
5. 결 론
1. 서 론
한정된 국토 면적을 보다 효율적으로 활용하기 위해 철도, 지하철과 도로를 위하여 수많은 터널이 건설되었다. 터널은 한계 수명 기간 동안 지속 가능하도록 건설되지만, 구조적 및 환경적 요인으로 콘크리트 라이닝에 균열, 누수 및 철근 노출 등 다양한 손상이 발생하며 터널 성능이 저하된다. 이러한 손상은 부적절한 유지관리와 부실한 보수보강으로 인해 점진적으로 악화될 수 있다(Montero et al., 2015). 2006년 미국 보스턴의 Big-dig 터널의 천정 붕괴 사고, 2012년 일본 Sasago 터널의 천정 붕괴 사고 그리고 2019년 이탈리아 A26 고속도로의 Berté 터널의 천정 붕괴사고는 부실한 유지관리로 인해 발생된 대표적인 사례이다(NTSB, 2007; Kawahara et al., 2014; Allaix and Vliet, 2023). 이러한 사고를 예방하고 시설물의 노후화를 늦추며 성능을 최대한 유지하기 위하여 적절한 유지관리가 수행되어야 한다(Huang et al., 2021). 현재까지는 인력에 의한 점검으로 터널의 유지관리가 수행되고 있다. 영상 이미지로부터 손상을 검출하기 위한 이미지 처리 기법(image processing method, IPM)및 딥러닝(deep learning, DL)과 같은 computer vision (CV) 기술에 대한 광범위한 연구가 수행되면서 보다 안전하고 효율적인 점검 자동화 장비가 개발되고 있다(Ye et al., 2019).
동일한 모양과 크기의 단면이 연속된 터널의 경우, 넓은 면적의 콘크리트 라이닝을 카메라와 같은 영상장치로 스캔함으로써 점검 자동화가 가능하다. 유지관리의 자동화 및 자료의 디지털화가 가능한 터널 스캐닝 시스템은 유지관리에서 중요한 기술로 인식되고 있다. 카메라를 활용한 터널 스캐닝 시스템은 2000년대부터 개념이 제시되어 현재까지 개발되고 있다. Ukai (2007)는 철도 터널의 콘트리트 라이닝에 발생한 균열을 검출하기 위하여 10 km/h 속도로 이동하는 스캐닝 장비를 개발하였다. 미세 균열의 특성, 즉 너비, 길이, 방향 등을 검출이 할 수 있는 IPM을 제안하였다. Yasuda et al. (2016)은 레이저 센서, 2 K 영역스캔 카메라와 레이더(radio detection and ranging, RADAR) 센서를 설치한 mobile imaging technology system & mobile mapping system with radar (MIMM-R)을 개발하였다. 본 장비는 50~70 km/h 속도로 주행이 가능하고 IPM를 적용하여 이미지로부터 폭 0.3 mm 균열의 식별이 가능함을 제시하였다.
터널 콘크리트 라이닝 표면에 발생한 균열은 구조적 형태가 다른 텍스처 패턴보다 얇다. 또한 터널 내 환경은 휘도가 낮다는 특성을 갖고 있다. IPM의 탐지 알고리즘은 밝은 배경에서 어두운 물체를 추출할 수 있어야 한다(Sankarasrinivasan et al., 2015). Wang et al. (2022)은 그레이 스케일(gray scale) 이미지에서 균열을 검출하기 위한 알고리즘을 제시하였다. 폭 0.5 mm인 균열을 검출 시 약 10% 오차가 발생하였다. 또한, 이동식 터널 스캐닝 시스템의 이동속도에 따른 초당 프레임 수(frame per second, FPS)가 증가함에 따라 수집된 이미지 데이터의 양과 복잡성이 증가하여 기존 IPM 알고리즘으로는 균열을 과도하게 검출하는 문제가 발생하였다. 후속 데이터 처리 및 분석에 시간이 오래 걸리고 복잡해지면서 부정확한 결과를 도출하기도 하였다(Xiang et al., 2022). 수집된 이미지 데이터를 보다 더 정확하고 효과적으로 분석하기 위하여 DL을 활용한 이동식 터널 스캐닝 시스템이 개발되고 있다.
Xue and Li (2018)는 철도 터널 스캐닝 장비인 MTI-100으로부터 취득한 이미지에서 균열을 자동으로 검출하기 위하여 faster region-based convolutional neural network (Faster RCNN)를 제안하였다. GoogLeNet (Szegedy et al., 2015), AlexNet (Krizhevsky et al., 2012), visual geometry group (VGG) networks (Simonyan and Zisserman, 2015)와 같은 기존 방법들 대비 정확도가 향상되었다. Huang et al. (2018)은 지하철 터널의 콘크리트 라이닝에서 균열 탐지가 가능하도록 표면 손상의 의미론적 분할(semantic segmentation)을 위해 가장 널리 사용되는 fully convolutional network (FCN)모델을 적용하여 기존 MTI-100을 MTI-200a로 업그레이드하였다. FCN 모델의 two-stream algorithm은 기존 IPM인 RGA (region growing algorithm) (Kamdi and Krishna, 2012)와 ATA (adaptive thresholding algorithm) (Chan et al., 1998)보다 추론 시간 및 오류율을 감소시켰다. Song et al. (2019)은 DeepLab 모델을 활용하여 DL 기반의 터널 균열 자동 검출 시스템을 제안하였다. 하지만 데이터 셋의 부족과 라벨링 문제를 향후 해결해야할 과제로 제안하였다. Li et al. (2021)은 높은 정밀도를 가지면서 터널 표면 결함을 자동으로 탐지를 위하여 Faster RCNN을 활용한 metro tunnel surface inspection system (MTSIS)을 개발하였다. 손상 검출의 경우 균열, 박락, 누수의 위치 파악 및 분류에 대한 성능은 향상되었지만 시설물 상태평가를 위한 자료로는 미흡하다고 평가하였다. 또한, 정량적으로 손상을 평가하기 위해서는 충분한 데이터 셋 수집과 고속으로 수집되는 고품질의 이미지 확보가 향후 해결해야 할 문제로 제시되었다.
수많은 DL 알고리즘은 균열 탐지가 가능하지만 여전히 해결해야 할 몇 가지 중요한 기술적인 문제들을 가지고 있다(Bae et al., 2021). 실제로 CV 기반 균열 손상 탐지 모델의 성능은 다양한 조건에서 수집된 균열 이미지의 품질에 크게 좌우된다(Liu et al., 2020). 이동식 터널 스캐닝 시스템은 터널에서 이미지를 안전하게 수집할 수 있는 가장 효율적인 방법이다. 그러나 차량 진동과 근접 촬영의 어려움은 이미지에 모션블러(motion blur)와 저해상도를 발생시킬 수 있다. 그래서 이미지 정보가 손실되어 균열 탐지가 불가능해지고 폭 0.3 mm 미만의 미세 균열이 탐지되지 않는 경우도 많다. DL 성능은 이미지의 픽셀 크기, 품질 및 수량에 영향을 받으며, 이미지의 노이즈와 이동 촬영에 의한 모션블러는 convolutional neural network (CNN) 기반 품질 평가 기법의 정확도를 감소시킨다(Yu et al., 2022). 이러한 환경적 영향으로 인한 이미지의 품질 변화와 저해상도의 학습 데이터 이미지는 터널과 같은 공공 인프라에서 손상 검출의 정확도를 감소시킬 수 있다(Ni et al., 2020). 고품질 이미지 데이터를 확보하면 CNN이 더 높은 정확도와 정밀 재현 값을 생성할 수 있다. 그러나 이미지 품질에 영향을 미치는 요인들(이미지 저해상도, 모션블러 등등)을 고려하여 이동식 터널 스캐닝 시스템의 이미지 품질을 객관적으로 평가하기 위한 연구는 아직 미진한 상태이다. 또한 DL기반 표면 손상 검출 성능에 영향을 주는 이미지 데이터 관련 문제를 극복하기 위하여 고품질의 원시 이미지 데이터 수집이 가능한 이동식 터널 스캐닝 시스템의 최적화에 대한 연구도 미진한 상태이다.
본 연구는 DL기반 표면 손상 검출의 성능 고도화를 위해 이동식 터널 스캐닝 시스템의 카메라 성능과 고품질의 원시 이미지 데이터 취득을 위한 기초연구의 일환으로, 이동식 터널 스캐닝 시스템으로 취득된 이미지의 품질을 정량적으로 평가하기 위한 기법을 제안하려고 한다. 실내에서 이동을 모사한 회전장치를 이용하여 다양한 조건으로 영상 이미지들을 취득하였다. 기존의 다양한 이미지 품질 평가지표들을 적용하여 촬영된 이미지들의 품질을 비교 분석하였다.
2. 이미지 품질 평가 방법
2.1 IQA (image quality assessment)
카메라를 활용한 이동식 터널 스캐닝 시스템은 터널 유지관리 분야에서 점검 및 모니터링 기술로 각광받고 있다. 그러나 고속 이동, 카메라 진동, 터널 내 저조도 환경은 이미지에 모션블러를 발생시킬 수 있다. 모션블러로 인해 품질이 저하된 이미지를 선명한 이미지로 복원하려면 캡쳐된 이미지의 품질과 그에 따른 블러 이미지를 최대한 정확하게 평가하는 것이 매우 중요하다(Abdullah-Al-Mamun et al., 2021). 이미지의 품질은 사람의 시각을 통해 주관적(정성적)으로 평가하거나 수치 매트릭스를 통해 객관적(정량적)으로 평가할 수 있다(De and Masilamani, 2013). 주관적 평가 방식은 이미지 품질 평가(image quality assessment, IQA)가 필요한 대부분의 이미지 처리 어플리케이션에서는 비현실적이다. 정량적 수치로 표현할 수 있는 객관적인 이미지 품질 지표는 3가지 범주로 나눌 수 있다. 필요한 참조(reference) 영상의 의존도에 따라 full reference IQA (FR-IQA), reduced reference IQA (RR-IQA), no reference IQA (NR-IQA)로 구분된다(Wang et al., 2004).
FR-IQA는 기존의 훼손되지 않은 원본 이미지와 훼손된 이미지를 비교하여 이미지의 품질을 측정하는 방법이다. FR-IQA에서 peak signal-to-noise ratio (PSNR)과 structural similarity index metric (SSIM)은 최근 이미지 디블러링(deblurring) 알고리즘에서 가장 널리 사용되는 이미지 품질 측정 지표이다. Super-resolution reconstruction (SRR)은 영상 이미지의 모션블러와 저해상도 문제를 해결하기 위한 딥러닝 기술로 CV 기반 시설물 자동 균열 탐지 기술에서 기술적 장애를 해결하는데 활용되고 있다(Yang et al., 2019). SRR를 통해 재구성된 이미지의 품질을 평가하기 위해서 PSNR과 SSIM 지표를 사용하고 있다. 이런 평가 지표는 이미지 품질을 직접 평가하는 것이 아니라 기준인 원본 이미지와 재구성된 이미지를 상대적으로 비교하여 품질의 차이를 평가하는 것이다. 그러나 PSNR은 픽셀별 이미지 차이를 기반으로 정의되므로 인간이 시각적으로 느끼는 품질 차이와 상이하다(Ferwerda, 2003). 또한, SSIM은 공간 이동, 회전, 휘도 변화에 민감하며 분산이 낮은 영역에서는 불안정하고 강도가 높은 영역에서는 둔감하며 엣지(edge) 주변의 왜곡을 과소평가한다(Pambrun and Noumeir, 2015). 그래서 SSIM 기반의 모션블러 추정은 인간의 인식과 모순될 우려가 있으며, 터널과 같이 저조도 및 저휘도 상황에서는 제대로 수행되기 어려운 단점이 있다.
NR-IQA는 참조 이미지의 정보 없이 왜곡된 이미지만을 가지고 이미지에 대한 품질 점수를 부여하는 방법이다(Moorthy and Bovik, 2011). NR-IQA의 알고리즘은 참조 이미지나 특징이 없어도 이미지의 품질을 평가할 수 있지만 FR-IQA보다 어려운 방식이다. 참조 이미지가 없기 때문에 참조 이미지의 통계, 인간 인지 특성 및 왜곡이 이미지 통계에 미치는 영향 등을 고려하여 모델링해야 한다. 또한, 참조 이미지가 없는 상황에서 왜곡된 이미지의 품질을 평가하는 것에는 한계가 있다(Kamble and Bhurchandi, 2015).
RR-IQA는 왜곡된 이미지의 품질을 평가하기 위해 완전한 이미지 대신 참조 이미지의 제한된 특징만을 사용하는 방법이다(Dost et al., 2022). RR-IQA의 일환인 Imatest® 소프트웨어의 이미지 선명도 측정방법은 테스트차트를 사용한다. 이러한 측정 항목은 모션블러를 유발하는 동작 방향에 대한 정보를 제공할 수 없다. 하지만 Imatest®은 카메라의 해상력 분석에 사용되는 소프트웨어로 이미지를 취득하는 카메라의 성능을 분석할 수 있다(Imatest, 2024). 실내에서 물리적인 병진 방향 이동과 조명 밝기를 조절하여 터널 및 지하시설물 환경을 모사한 저조도 환경을 조성하고 테스트차트를 촬영한다면, 이동속도, 카메라의 노출 성능 등의 정보를 토대로 정량적인 모션블러를 가지는 이미지 데이터 취득이 가능할 것이다. 이러한 이미지를 취합하여 데이터베이스를 구축하고 활용하면 이미지의 품질을 평가하고 분석하는데 큰 도움이 될 것으로 판단된다.
2.2 MTF (modulation transfer function)
카메라 기반의 이동식 터널 스캐닝 시스템에서 취득된 디지털 이미지는 이미지 생성, 압축, 저장, 전송 등 각각의 이미지 생성 단계에서 품질 저하가 발생할 수 있으며, 이는 수신된 시각 정보의 손실로 이어진다(Choi et al., 2021). 결과적으로 고품질 이미지를 선별하기 위해서는 디지털 이미지의 품질을 평가하기 위한 지표가 필요하다. Modulation transfer function (MTF) 지표는 카메라로 촬영한 이미지의 선명도를 분석하거나 예측하기 위해 사용되는 방법이다(Dinh et al., 2023). 공간 해상도와 이미지 선명도는 이동식 터널 스캐닝 시스템과 같은 디지털 이미징 장치의 성능을 설명해주는 기본 특성이다. 디지털 카메라의 선명도와 해상도는 국제표준 ISO 12233에 따라 측정되고 평가되어야 한다(ISO 12233:2023, 2024). 광학 이미징 시스템의 MTF와 유사한 spatial frequency response (SFR)는 ISO 12233에 제시된 공간 해상도 분석을 위한 측정값이다. Fig. 1은 이미지 품질 매개변수 측정에 사용되는 Imatest ISO 12233 digital still-camera resolution chart이다. 이 차트는 Imatest SFR 모듈을 사용하여 기울어진 가장자리 패턴(공간 주파수 응답 = SFR)의 선명도를 측정하는데 사용된다(Imatest Chart, 2024).
국제 표준 ISO 12233에서 제시한 SFR을 측정하는 slanted-edge 방법은 표준화된 테스트 차트에서 기울어진 엣지의 MTF를 도출하는 방법이다(Masaoka, 2018). 선명도는 서로 다른 톤의 영역 사이의 경계로 정의되는 중요한 이미지 품질 요소이다. 선명도는 이미지 내 edge의 상승 거리(rise distance)로 측정할 수 있다. 상승 거리 10%에서 90% 사이의 픽셀 거리에 따라 선명도를 결정할 수 있다. 상승 거리를 계산하는 방법은 주파수가 거리당 사이클 또는 선 쌍(millimeters, inches, pixels, image height, or sometimes angle [degrees or milliradians])으로 측정되는 주파수 영역에서 측정된다. 주어진 공간 주파수(출력대비/입력대비)에서의 상대적 대비를 MTF라하며, Imatest®에서는 SFR과 같은 의미로 사용된다.
Fig. 2는 slanted-edge 방법의 개략도를 보여준다. ISO 12233 테스트 차트의 기울어진 엣지는 5°의 각도를 가지며 region of interests (ROI)은 Fig. 2(a)에 표시된 것처럼 짧은 측면을 통과하는 직사각형으로 표시된다. Fig. 2(b)는 1차원 edge spread function (ESF) 그래프이다. Fig. 2(c)와 같이 MTF는 이산 푸리에 변환의 복소계수의 정규화된 값이다. MTF는 엣지 응답의 미분인 임펄스 응답의 푸리에 변환이다. 샘플링된 이미지의 MTF는 이미지 해상도 및 선명도를 나타내는 척도이다. 즉, 카메라가 얼마나 많은 디테일을 재현할 수 있는지를 결정하는 데 사용되는 측정 값이다(Dugonik et al., 2020).
Fig. 3은 Imatest®을 활용하여 모션블러가 발생할 때 상승거리와 MTF 도출을 위해 ROI edge에 대한 선명도를 나타낸 것이다(Imatest MTF, 2024). Blurred edge width (BEW)는 ESF에서 측정한 상승거리 10%에서 90%까지 변화하는 폭이고 픽셀 단위로 표시된다. 참조이미지의 BEW는 1.58 pixels이고 모션블러가 발생한 이미지에서 측정한 BEW는 2.63 pixels로 증가하였다. 모션블러가 발생할수록 상승거리(rise distance) 그래프의 기울기 폭이 넓어지는 것으로 나타난다. 모션블러가 발생하면 BEW는 증가하고 상승거리 그래프의 기울기 폭도 넓어지므로 이미지의 선명도가 감소한다. 이러한 분석기법은 이미지의 선명도를 정량적으로 분석할 수 있다.
3. 실내실험
3.1 실내실험 방법 및 조건
일정 속도로 이동하는 터널 스캐닝 시스템에서 취득된 이미지의 품질을 평가하기 위하여 실내에서 이동속도를 모사한 병진 방향 이동 패널 장치를 활용하였다. Fig. 4에서 보여주듯이, 패널의 이동속도는 40 km/h이며, 패널에는 MTF 측정을 위한 Imatest®의 ISO 12233 테스트 차트를 부착하였다. Fig. 4(a)와 같이 국제 표준 ISO 12233에서 제시한 촬영 방법을 적용하였다. 색온도가 5,600 K인 주광색 발광 다이오드(LED) 120 W 투광 조명 2개를 테스트차트 정면의 45° 각도로 배치하였다. 사용된 머신 비전 영역 스캔 카메라는 KOMI社의 Phantom VEO4K로 CMOS 컬러 이미지 센서의 해상도는 4,096 × 2,304이고 최대 1,000 FPS로 촬영이 가능하다. 최소 셔터스피드는 5 µs이며 글로벌 셔터의 성능을 갖고 있다. 카메라와 차트와의 촬영거리는 1.5 m이며, 이미지 분해능은 0.05 mm/pixel로 설정하였다.
터널 및 지하시설물과 같이 저조도 환경에서 이미지 센서가 노출되는 시간이 짧으면 이미지에 노이즈가 발생하게 된다. 반대로 노출 시간이 늘어나면 노이즈는 감소하지만 모션블러에 매우 취약하다(Telleen et al., 2007). 이러한 문제를 해결하기 위하여 짧은 노출 시간동안 이미지 센서에 충분한 광도를 공급할 수 있는 고휘도 조명을 사용하였다. 카메라의 노출 성능은 shutter speed, ISO, 렌즈 조리개 F 값의 3가지 구성요소로 이루어져 있다. 선명한 이미지를 촬영하기 위해서는 움직이는 물체가 정지한 것처럼 보일 수 있는 가장 최적의 노출성능을 찾는 것이 중요하다.
첫 번째 실내실험은 이동속도 40 km/h에서 카메라의 FPS 변화에 따른 이미지 품질을 분석하기 위해 Table 1과 같이 수행되었다. 카메라 렌즈의 조리개 F 값은 2.8로 고정하고, FPS는 50, 200, 500, 1,000로 변경하고 셔터스피드 40 µs에서 ISO는 3,200, 50 µs에서는 ISO 2,500, 70 µs에서는 ISO 1,600 그리고 100 µs에서 ISO는 1,000으로 설정하고 촬영하였다. 조도계로 차트 표면의 조도를 측정하였으며 조도는 45,000 lux의 밝기로 설정하였다. 두 번째 실내실험은 카메라의 셔터스피드 변화에 따른 이미지 품질을 분석하기 위해 ISO 640, FPS 100, 조도 45,000 lux, 렌즈 조리개 F 2.8로 고정하고 셔터스피드를 100 µs, 200 µs 그리고 300 µs로 변화시켜 Table 2와 같이 수행되었다.
Table 1.
Image quality test at 4 different conditions following shutter speed and ISO
| Panel speed | Shutter speed | ISO | F-number | FPS | Illuminance |
| 40 km/h | 40 µs | 3,200 | 2.8 | 50 | 45,000 lux |
| 50 µs | 2,500 | 200 | |||
| 70 µs | 1,600 | 500 | |||
| 100 µs | 1,000 | 1,000 |
Table 2.
Image quality test at 3 different shutter speeds
| Panel speed | Shutter speed | ISO | F-number | FPS | Illuminance |
| 40 km/h | 100 µs | 640 | 2.8 | 100 | 45,000 lux |
| 200 µs | |||||
| 300 µs |
3.2 실내실험 결과
Fig. 5는 Table 1 조건으로 이동속도 40 km/h에서 카메라의 FPS를 변경하여 수집된 이미지들을 보여주고 있다. 주관적인 시각으로 분석하면, FPS 변경에 따른 이미지의 품질에는 큰 차이가 없는 것으로 나타났다. 정지된 사진을 원본 이미지로 볼 수 있으며, FPS 50이나 FPS 1,000에서 촬영된 이미지에서 모션블러 및 밝기의 변화가 나타나지 않았다. 이미지 촬영 시 셔터스피드를 100 µs에서 40 µs로 증가시키면서 ISO 감도도 증가시켜서 시각적으로 셔터스피드의 변화에 따른 품질의 변화가 거의 없는 것으로 나타났다.
Fig. 6은 셔터스피드 40 µs, FPS 1,000에서 촬영한 이미지와 셔터스피드 100 µs, FPS 1,000으로 촬영한 이미지를 비교한 것이다. 테스트차트에서 기울어진 ROI 엣지 영역을 확대하여 비교하였으며, 셔터스피드 차이에 의해 40 µs로 촬영한 이미지보다 100 µs로 촬영한 이미지에서 모션블러가 발생한 것을 확인할 수 있다.
Fig. 7은 Table 2 조건으로 40 km/h의 속도에서 ISO 640, FPS 100으로 고정하고 카메라의 셔터스피드를 100 µs에서 200 µs 그리고 300 µs로 감소시키면서 촬영한 결과를 보여주고 있다. 셔터스피드가 감소할수록 모션블러는 증가하는 경향을 보이고 있다. 낮은 셔터스피드에서는 셔터가 더 오래 열리므로 이미지 센서에 더 많은 양의 빛이 감지되므로 이미지는 밝아지는 경향을 보인다. 이동식 터널 스캐닝 시스템과 같이 이동촬영을 하는 카메라는 셔터스피드가 빠를수록 모션블러가 감소하는 경향을 보이고 있다. 이미지가 어두워지는 현상을 해결하기 위해서는 ISO 감도를 증가시키거나 더 밝은 조명을 사용해야 할 것이다.
4. 실내실험 결과 분석
4.1 MTF 분석
촬영한 영상 이미지의 품질을 객관적으로 평가하기 위해 Imatest® 소프트웨어를 활용하여 MTF를 분석하였다. ISO 12233 테스트 차트 중앙에 위치한 기울어진 엣지 부분의 ROI에 대한 ESF 그래프로부터 상승거리 10%에서 90%까지 변화하는 폭인 BEW와 MTF50P를 측정하였다. MTF50은 대비가 저주파 값의 절반(50%)으로 떨어지는 공간 주파수이며, MTF50P는 대비가 최고 값의 절반으로 떨어지는 공간 주파수를 의미한다(Artmann, 2013). MTF 값이 낮아질수록 이미지 품질이 낮아진다는 것을 의미한다. Koren (2006)은 Imatest® 소프트웨어로 측정한 공간 주파수의 MTF50 값은 인간의 시력에 의해 인지된 선명도와 밀접한 관계가 있다고 제안하였다. Fig. 6에서 보여주듯이 이미지 품질은 주관적인 시각으로 큰 변화를 파악할 수 없었지만 MTF 분석을 통한 객관적인 수치로 FPS 변화에 따른 경향 분석이 가능하다.
Table 3은 FPS 변화에 따라 촬영된 영상 이미지에서 분석된 BEW와 MTF50P의 수치들을 보여주고 있다. Fig. 8은 각각의 셔터스피드에서 FPS 변화에 따라 분석된 BEW를 보여주고 있다. 40 µs의 셔터스피드에서 BEW는 FPS 증가와 관련 없이 1.53~1.65 pixels이며, 셔터스피드 50 µs의 BEW는 1.85~1.98 pixels, 셔터스피드 70 µs의 BEW는 2.47~2.54 pixels 그리고 셔터스피드 100 µs의 BEW는 3.42~3.61 pixels로 분석되었다. 카메라의 셔터스피드가 느려질수록 BEW는 증가하며 모션블러 또한 증가하는 경향을 보였다. 일정한 셔터스피드에서 촬영한 영상 이미지에서 FPS의 변화에 따라 BEW는 거의 변동이 없는 것으로 분석되었다.
Fig. 9는 각각의 셔터스피드에서 FPS 변화에 따라 분석된 MTP50P를 보여주고 있다. MTF50P는 40 µs의 셔터스피드에서 FPS의 증가와 관련 없이 0.3210~0.3340 cycle/pixel의 일정한 분포를 보이고 있고 100 µs의 셔터스피드에서는 0.1386~0.1473 cycle/pixel의 분포를 보여주고 있다. 셔터스피드가 느려질수록 MTF50P도 낮아지는 경향을 보여주고 있다. Table 3에서 보여주듯이 MTF50P가 감소하면 BEW가 증가한다. 즉 MTF50P의 감소는 모션블러가 증가한다는 의미이다. BEW 및 MTF50P를 분석한 결과, 모션블러는 FPS보다는 카메라의 셔터스피드에 따라 발생하는 것으로 판단된다.
Table 3.
Results of BEW and MTF50P
Table 4는 카메라의 셔터스피드 변화에 따른 이미지의 품질을 분석을 위하여 Table 2의 조건으로 수행된 실내실험으로부터 분석된 BEW와 MTF50P를 보여주고 있다. 셔터스피드 100 µs에서 BEW는 3.68 pixels, MTF50P는 0.137 cycle/pixel, 셔터스피드 200 µs에서 BEW는 6.78 pixels, MTF50P는 0.0796 cycle/pixel, 300 µs에서 BEW는 9.45 pixels, MTF50P는 0.0599 cycle/pixel로 분석되었다. 셔터스피드가 감소할수록 BEW는 증가하고 MTF50P는 감소하며 모션블러가 증가하는 현상을 보이고 있다. MTF 분석 결과로부터 BEW와 MTF50P는 Fig. 7에서 보여준 모션블러 이미지에 대한 시각적 관찰과 일치하는 것으로 판단된다.
Table 4.
Results of BEW and MTF50P at different shutter speeds
| Test | IQA | 100 µs | 200 µs | 300 µs |
|
ISO 640
FPS 100 | BEW (pixels) | 3.68 | 6.78 | 9.45 |
| MTF50P (cy/px) | 0.137 | 0.0796 | 0.0599 |
4.2 이미지 품질 평가 지표 비교분석
모션블러를 해결하기 위한 이미지 디블러링에 대한 연구는 단일 블러 이미지에서 blur kernel이라고 알려진 point spread function (PSF)을 반복적으로 추정하는데 중점을 두었으며 이 방법을 blind deconvolution이라 한다(Sorel and Flusser, 2008; Paramanand and Rajagopalan, 2014). 최근에는 이러한 불균일한 blur kernel과 관련된 문제해결을 위해 DNN (deep neural network)을 활용하기 시작하였다. 하지만 DNN에는 훈련된 모델의 성능을 향상시키기 위해 대규모 학습 데이터 세트가 요구된다. Need for speed (NFS) (Galoogahi et al., 2017), DeBlurNet (Su et al., 2017), GOPRO (Nah et al., 2017), realistic and diverse scenes dataset (REDS) (Nah et al., 2019), human-aware image deblurring (HIDE) (Shen et al., 2019), real-world blur dataset (Rim et al., 2020) 등 여러 이미지 디블러링 세트가 생성되어 공개적으로 사용이 가능하다. 이러한 데이터 세트의 블러 이미지는 120 or 240 FPS의 빠른 프레임 속도로 영상을 촬영하고, 이중 하나의 프레임을 선명한 참조로 사용한다. 선명한 참조 프레임 주위를 순차적으로 블러 이미지로 합성하는 방식으로 생성하였다. 이렇게 평균화되는 연속 프레임 수를 변경하여 다양한 수준 및 범위의 블러 효과를 생성하였다(Jiang et al., 2018). 이렇게 생성된 가상의 데이터에서 디블러링 효과를 평가하기 위해 PSNR과 SSIM 지표를 활용하고 있다. 하지만 공개된 데이터 세트는 이동속도에 대한 정보를 포함하고 있지 않기 때문에 이동식 터널 스캐닝 시스템과 같이 이동하면서 물체를 촬영한 이미지로부터 모션블러를 정확하게 평가할 수 없다. 본 연구에서는 이미지의 물리적인 모션블러를 평가하기 위하여 PSNR과 SSIM을 MTF와 비교하여 차이점을 분석하였다.
식 (1)에서 PSNR은 노이즈로 인해 저하된 이미지의 품질을 평가하기 위한 지표이다(Salomon and Motta, 2010). 식 (2)에서 두 이미지 간의 mean squared error (MSE)로 표시되는 신호의 최대 가능한 전력과 신호 노이즈 전력의 비율을 계산하여 원래의 선명한 이미지에 대하여 복원된 이미지의 유사성을 측정하는 것이다. 여기서 f는 참조 원본 이미지이고 g는 실험 이미지이며, M은 이미지의 가로 픽셀 수, N은 세로 픽셀 수이고 와 는 각각의 이미지에서 (i, j)위치의 픽셀 값이다.
식 (3)에서 SSIM은 참조 원본 이미지(f)와 실험 이미지(g) 사이의 휘도(luminance), 대비(contrast) 및 구조(structure)라는 세 가지 구성요소를 비교하여 모션블러 수준을 측정하는 지표이다. 식 (4)는 두 이미지의 평균 휘도(, )의 근접성을 비교하는 휘도 비교 함수이다. 식 (5)는 두개의 이미지 대비 근접성을 측정하는 대비 비교 함수이며, 여기서 대비는 표준편차 와 로 측정한다. 식 (6)은 두 이미지 사이의 상관계수를 측정하는 구조 비교 함수로 는 f와 g 사이의 공분산이다. SSIM은 [0, 1]사이에 존재하며 SSIM이 0이면 이미지간 상관관계가 없음을 의미하고, 1이면 f = g, 즉 참조 원본 이미지와 실험 이미지가 동일하다는 의미이다. 양수 상수 , , 은 음수 분모를 피하기 위해 사용된다.
Table 5는 FR-IQA의 평가지표인 PSNR, SSIM과 RR-IQA의 평가지표인 BEW과 MTF50P를 비교한 것이다. 정지상태에서 촬영된 이미지를 참조 원본 이미지로 사용하여 PSNR과 SSIM를 평가하였다. Fig. 10에서 보여 주듯이 FPS 변화에 따른 PSNR은 셔터스피드 변화에 따른 모션블러 현상을 파악할 수 없었다. Fig. 11에 나타나듯이 SSIM은 가장 느린 셔터스피드 100 µs에서 가장 높은 값들을 나타냈다. 이것은 BEW와 MTF50P 분석결과에서 셔터스피드가 감소할수록 모션블러가 증가하는 분석결과와 반대 경향을 보이고 있다. SSIM은 느린 셔터스피드 100 µs에서 FPS의 변화에 따라 값이 급격하게 변화는 추세를 보이고 있다. 이것은 BEW와 MTF50P 값들이 FPS의 영향을 거의 받지 않은 것과 상이하게 분석되었다.
Table 5.
Results of image quality metrics (BEW, MTF50P, PSNR, SSIM)
Fig. 12는 셔터스피드를 100 µs, 200 µs 그리고 300 µs으로 점점 느리게 촬영할수록 시각적으로도 모션블러가 점점 증가하는 것을 보여주고 있다. 셔터스피드가 감소할수록 BEW는 3.68, 6.78 9.45 pixels로 증가하고 MTF50P는 0.137, 0.0796, 0.0599 cy/px로 감소하여 시각적인 결과와 일치하였다. 하지만 셔터스피드의 감소에 따라 PSNR은 24.93, 21.23, 24.22 그리고 SSIM은 0.5956, 0.5472, 0.6778로 시각적 관찰과 일치하지 않았다. 이에 따라 이동속도 따른 카메라의 셔터스피드 차이에 의한 이미지 모션블러를 평가하기에는 일관성이 부족한 것으로 판단된다.
5. 결 론
본 연구는 이동식 터널 스캐닝 시스템의 카메라 성능과 취득가능한 원시 이미지 품질에 관한 기초연구 일환으로, 40 km/h의 이동속도를 모사한 회전패널 장치에 ISO 테스트차트를 부착하고 국제표준 ISO 12233의 평가 방법에 따라 실내실험을 수행하였다. 이동속도에 의해 이미지 내에 모션블러 발생시키기 위하여 여러 조건의 카메라의 셔터스피드와 FPS적용하였다. 물리적인 이동에 의해 발생하는 이미지의 모션블러를 정량적으로 판단하기 위하여 이미지 품질 평가 지표인 MTF (BEW와 MTF50P), PSNR 그리고 SSIM 적용하여 비교분석 하였다. 본 연구의 결론은 다음과 같다.
1. 셔터스피드를 100 µs에서 40 µs로 감소시키면서 ISO 감도를 1,000에서 3,200으로 증가시켜 촬영을 하여 시각적으로 이미지의 품질 변화를 파악할 수 없었다. ISO를 640으로 고정시키고 셔터스피드를 100 µs에서 200 µs, 300 µs으로 감소시키면서 촬영한 경우 시각적으로 이미지에 모션블러가 발생한 것을 파악할 수 있었다. 낮은 셔터스피드에서는 셔터가 더 오래 개방되어 있어 이미지 센서가 더 많은 빛을 받으므로 이미지가 밝아지는 경향을 나타내고 있다.
2. 모션블러 이미지의 디블러링 연구에서 이미지 품질 평가지표로 FR-IQA의 PSNR과 SSIM이 주로 사용되고 있다. 하지만 물리적인 이동에 따른 이미지에서 SSIM과 PSNR를 분석한 결과, 시각적인 관찰과 일치하지 않기 때문에 모션블러에 대한 평가지표로는 부족한 것으로 판단된다.
3. MTF는 이미지 선명도에 대하여 잘 정립된 측정 방법이다. FPS 변화에 따른 BEW와 MTF50P로 이미지를 분석한 결과, FPS의 변화는 이미지의 품질에 영향을 미치지 않는 것으로 분석되었다. 셔터스피드의 변화에 따른 모션블러는 선형관계로 변하는 것으로 나타났다. 셔터스피드가 빠를수록 모션블러는 감소하는 것으로 분석되었으며, 모션블러에 대한 MTF 점수는 시각적인 관찰과 거의 일치하는 것으로 분석되었다. MTF는 RR-IQA의 일환으로 ISO 테스트차트를 활용해야 하는 단점에도 불구하고 물리적인 이동에 의해 이미지 내 발생되는 모션블러를 분석하는 이미지 품질 평가 지표로 활용성이 매우 높은 것으로 판단된다.
