1. 서 론
2. 터널 돌발상황 감지시스템의 오탐지 학습법
2.1 오탐지 학습법
2.2 돌발상황 정탐지 및 오탐지 성능 평가지표
2.3 오버샘플링 기법
3. 터널 돌발상황 감지시스템 오탐지학습법 실험
3.1 실험 개요
3.2 실험 대상 영상셋 현황
3.3 실험 방법 및 조건
3.4 객체인식 데이터셋 현황과 오버샘플링 기법 적용
3.5 실험결과 및 분석
4. 결 론
1. 서 론
터널 돌발상황 감지시스템(tunnel CCTV-based incident detection system, TIDS)은 터널 내 CCTV 영상을 활용하여 정차(stop), 역주행(wrong way driving), 보행자(person) 및 화재와 같은 유고 상황을 감지하는 시스템으로, 교통 안전을 위해 필수적인 기술로 자리 잡고 있다(MOLIT, 2021). 그러나 낮은 조도, 원근 왜곡, CCTV 촬영부의 먼지 발생 및 각도 변화 등 터널 고유의 열악한 영상 환경은 다량의 오탐지(false positive, FP)를 유발하여 시스템 신뢰성을 저해하고 있다(KTA, 2015).
이 문제를 해결하기 위한 초기 연구에서는 딥러닝 기반 객체 인식 알고리즘과 역 원근변환, 관심영역(region of interest, ROI) 설정, 객체 추적 기법 등을 적용하여 인식 성능을 개선하였다(Shin et al., 2017; Lee et al., 2018; Lee and Shin, 2022). 이러한 접근은 유고 상황 감지 범위를 확대하고 정차·역주행과 같은 사건 감지를 가능하게 하였으나, 여전히 정상 상황에서 발생하는 오탐지 문제를 근본적으로 해결하지는 못하였다.
2019년 연구에서는 운영 중 발생하는 오탐지 데이터를 수집·재학습하는 오탐지 학습법(false positive data training method)이 처음 제안되었다(Lee and Shin, 2019). 이를 통해 보행자 및 화재 객체의 오탐지 빈도가 크게 감소하여, 터널 CCTV 기반 시스템이 현장에서 스스로 성능을 향상시킬 수 있음을 입증하였다. 이어 2024년 연구에서는 오탐지 데이터를 조건에 따라 제거, 클래스 변경 및 배경 객체를 not 객체로 정정 처리하는 개선된 오탐지 학습법이 제시되었으며, 반복 재학습을 통해 정탐지 성능까지 향상되는 결과가 확인되었다. 특히 보행자 객체의 경우 18차 재학습 후 인식 정확도가 초기 대비 2.3배 이상 개선되었다(Lee and Shin, 2024a). 그러나 기존 연구들은 주로 객체인식 데이터셋 기반 반복 학습에 국한되어 있었고, 실제 터널 영상을 활용한 현장 적용 수준의 검증은 부족하였다.
따라서 본 연구는 실제 터널 CCTV 영상을 활용하여 오탐지 학습법의 현장 적용 가능성을 시뮬레이션 방식으로 검증하는 것을 목표로 한다. 특히 오탐지 학습법에 오버샘플링 기법을 결합하여 데이터 불균형 문제를 보완하고, 정상 상황에서의 오탐지 저감과 유고 상황에서의 정탐지 성능 변화를 함께 분석하였다. 이를 통해 기존 연구에서 확인된 성능 개선 효과가 실제 적용 환경에서도 유효한지를 평가하고자 한다.
2. 터널 돌발상황 감지시스템의 오탐지 학습법
2.1 오탐지 학습법
기존 연구에서는 객체 인식 단계에서 오탐지 학습법에 대한 연구를 진행하였으며, 그 효과가 입증된 바 있다(Lee and Shin, 2024a). 본 논문에서 제안하는 오탐지 학습법은 터널 돌발상황 감지시스템 단계에서 발생한 유고 상황 오탐지 데이터를 바탕으로 진행되며, Fig. 1에서 제시된 프로세스를 따른다.
Fig. 1은 터널 돌발상황 감지시스템에서 수행되는 오탐지 학습법의 과정을 나타낸다. 이 프로세스는 기존 객체 인식 단계에서 활용된 오탐지 학습법의 절차와 유사하게 진행된다(Lee and Shin, 2024a). 구체적으로는, 먼저 정탐지 데이터로만 구성된 기본 학습 데이터셋을 이용해 초기 객체 인식 모델을 학습하고, 이를 터널 돌발상황 감지시스템에 적용한다. 이후 시스템은 일정 기간(N회차) 동안 터널 CCTV 영상을 입력받아 유고 상황을 지속적으로 모니터링하며, 유고 상황 발생 시 알람 서버에 데이터가 기록된다.
기록된 데이터 중 오탐지로 판별된 사례는 별도로 추출되어 정정 과정을 거친다. 각 유고 상황 오탐지 데이터는 약 10프레임의 정지 영상으로 구성되며, 객체 인식 결과를 기준으로 차량(vehicle) 객체 또는 보행자 객체가 명확히 존재하는 경우에 한하여 정정 작업을 수행한다. 이렇게 생성된 정정된 오탐지 데이터셋은 기본 학습 데이터에 추가되어 모델 재학습에 활용되며, 재학습된 모델은 시스템에 반영된다. 이후 시스템은 다음 회차(N+1회차) 모니터링에서 갱신된 모델을 사용하고, 앞선 회차에서 확보된 오탐지 데이터셋은 누적되어 재학습이 반복적으로 수행된다.
2.2 돌발상황 정탐지 및 오탐지 성능 평가지표
본 논문에서는 터널 돌발상황 감지시스템의 성능을 정량적으로 평가하기 위해 정탐지율(detection rate, DR)과 오탐지 알람율(false alarm rate, FAR)을 사용하였다(Cheu and Ritchie, 1995; Prevedouros et al., 2006).
정탐지율은 전체 유고 상황 인지 이벤트 중에서 시스템이 유고 상황을 정확히 탐지한 비율을 의미하며, 식 (1)로 정의된다. 하나의 영상에는 유고 상황 항목당 1개 이상의 정탐지 이벤트가 존재할 수 있으며, 시스템이 해당 이벤트에 대해 한 차례라도 올바른 알람을 발생시킨 경우 정탐으로 인정한다.
오탐지 알람율은 시스템이 발생시킨 전체 알람 중 오탐지로 판별된 비율을 의미하며, 이는 식 (2)로 정의된다. 즉, 정탐지 이벤트 알람이 부족할수록 오탐지 알람율은 상대적으로 높아지며, 이는 터널 돌발상황 감지시스템의 신뢰도를 평가하는 핵심 지표로 활용될 수 있다.
2.3 오버샘플링 기법
본 연구에서는 오탐지 학습법 적용 과정에서 발생하는 데이터 불균형(class imbalance) 문제를 완화하기 위해 오버샘플링(oversampling) 기법을 도입하였다(Mohammed et al., 2020). 데이터 불균형은 특정 클래스의 데이터가 부족하여 학습 과정에서 다수 클래스에 비해 소수 클래스가 충분히 반영되지 못하는 문제를 일으킨다. 이로 인해 모델이 소수 클래스에 대해 과도하게 민감하거나 반대로 제대로 인식하지 못하는 현상이 발생할 수 있다.
이를 해결하기 위해 본 연구에서는 복제(Re-sample) 방식을 적용하였다. 복제 방식은 데이터셋 내에서 상대적으로 부족한 소수 클래스의 데이터를 여러 차례 반복하여 포함시킴으로써, 각 클래스가 학습 과정에서 보다 균형 있게 반영되도록 하는 방법이다. 예를 들어, 차량·보행자와 같은 주요 클래스에 비해 not 보행자와 같은 보조 클래스의 데이터가 부족할 경우, 해당 데이터를 중복 배치하여 모델이 이를 충분히 학습할 수 있도록 하였다.
이러한 접근은 간단하면서도 효과적으로 클래스 간 학습 기회를 균등하게 만들어 주며, 결과적으로 특정 클래스에 편향되지 않는 의사결정을 가능하게 한다. 또한 데이터셋 규모가 인위적으로 확대되므로, 모델의 일반화 성능을 높이는 데에도 기여할 수 있다.
본 논문에서는 이러한 오버샘플링 기법을 적용한 데이터셋을 구축하여, 이후의 재학습 단계에서 동일하게 활용하였다. 이를 통해 오탐지 학습법의 효과를 극대화하고, 데이터 불균형으로 인한 성능 저하 문제를 최소화하고자 하였다.
3. 터널 돌발상황 감지시스템 오탐지학습법 실험
3.1 실험 개요
본 논문은 앞서 제안한 오탐지 학습법의 현장 적용 가능성 검증을 목적으로 한다. 즉, 터널 CCTV 영상을 활용하여 실제 환경에서 발생한 다양한 돌발상황에 대해 오탐지 학습법을 반복 적용하고, 그 성능 변화를 분석하였다. 이를 통해 제안 기법이 실제 운영 환경에서 안정적으로 동작할 수 있는지를 확인하고, 향후 시스템 개선 방향을 도출하는 데 기여하고자 한다.
3.2 실험 대상 영상셋 현황
실험은 국내 XX터널 현장에서 수집된 CCTV 영상을 대상으로 진행하였다. 터널에는 상행 6채널, 하행 4채널 총 10개 채널이 설치되어 있으며, 이 중 채널 1, 6, 7은 터널 입구와 출구 인근에 위치한다. 채널 1은 HD급 해상도(1,280 × 720)로 기록되며, 나머지 채널은 SD급 해상도(704 × 480)로 저장된다. 모든 영상은 약 30 fps로 기록되었다.
연도별 수집 현황은 Table 1에 제시되어 있다. 2020년에는 162일간 약 1.61 TB의 영상이 수집되었고, 2021년에는 217일간 약 1.97 TB의 영상이 확보되었다. 특히 2021년에는 각 채널당 약 4,266–4,276개의 영상이 기록되어 총 약 42,700개의 영상이 축적되었으며, 이 데이터가 본 연구의 실험에 활용되었다.
2021년 영상에는 총 171건의 돌발상황 이벤트가 포함되었다. 유형별로는 정차 이벤트 133건, 보행자 이벤트 26건, 역주행 이벤트 12건으로 집계되었으며, 모든 이벤트는 실제 사고가 아닌 모의·실험 조건에서 재현된 상황이다. 따라서 본 연구에서는 이 전체 돌발상황 이벤트를 대상으로 오탐지 학습법을 적용하고 성능 변화를 분석하였다.
Table 1.
Yearly recorded video data for the XX tunnel site
3.3 실험 방법 및 조건
본 실험은 Fig. 2에서 제시된 바와 같이, 기간별로 차수를 구분하여 시뮬레이션을 진행하였다. 각 주기마다 정기적인 현장 방문을 통해 오탐지 데이터를 확인하고, 이를 정정한 후 오탐지 학습법을 적용하여 재학습된 모델을 업데이트하는 과정을 재현하였다.
Fig. 2는 본 논문의 현장 적용 시뮬레이션 시나리오를 나타낸다. 시뮬레이션 대상은 2021년도 XX터널의 CCTV 영상으로, 1월과 6–12월의 영상을 활용하였다. 먼저 초기 모델을 1월 영상에 대한 초기 시뮬레이션을 진행하여 발생한 오탐지를 정정·수집하고, 이를 기반으로 1차 오탐지 데이터셋을 학습하였다. 이 과정을 통해 학습된 1차 재학습 모델은 6–7월 영상에 대한 1차 재학습 시뮬레이션을 진행하여 발생한 오탐지를 정정·수집함으로써 2차 FP 데이터셋을 생성한다. 마지막으로, 1차 및 2차 FP 데이터셋을 누적하여 학습한 2차 재학습 모델을 얻을 수 있다.
본 실험에서는 역 원근변환(inverse perspective transform)을 거친 변환 영상(transformed image)을 사용하였으며, 관심영역 자동설정 알고리즘으로 미리 보정된 관심영역을 적용하였다(Lee and Shin, 2024b). 객체 인식 모델은 YOLOv7 (Wang et al., 2023)을 사용하였으며, 초기 학습 모델과 하이퍼파라미터는 이전 연구(Lee and Shin, 2024a)에서 사용된 설정을 그대로 적용하였다.
학습 환경은 AMD RYZEN 5955WX 프로세서, 128GB RAM, RTX 4090 24GB GPU 4개로 구성되었으며, 시뮬레이션 환경은 Intel i5-7400 프로세서, 16GB RAM, RTX 2060 6GB GPU 4개로 구성된 서버에서 수행되었다. 소프트웨어는 PyTorch와 Ubuntu를 사용하였다.
객체 추적 알고리즘으로는 OC-SORT (observation-centric SORT)를 적용하였다(Cao et al., 2023). 기존 SORT 알고리즘(Alex et al., 2016)은 실시간 처리에 적합하지만 객체가 겹치거나 급격히 이동할 때 ID 스위칭 문제가 빈번히 발생한다. 반면, OC-SORT는 관측 중심의 추적 방식을 도입하여 ID 스위칭 횟수를 크게 줄였으며, Multi-Object Tracking Challenge 벤치마크에서 ID 스위칭이 기존 4,852회에서 1,950회로 감소하는 결과를 보였다(Dendorfer et al., 2021; Cao et al., 2023). 따라서 본 실험에서는 OC-SORT를 통해 안정적인 추적 환경을 마련하고, 딥러닝 객체 인식 모델의 성능 변화에 집중할 수 있었다.
정상 상황 영상은 채널별로 오탐지 발생 현황을 분석하였으며, 유고 상황 영상은 정탐지율과 오탐지 알람율 지표를 통해 평가하였다. 본 실험은 전체 기간(1월, 6–12월)을 대상으로 수행되었으며, 이를 통해 오버샘플링 기반 오탐지 학습법의 성능 개선 효과를 검증하였다.
3.4 객체인식 데이터셋 현황과 오버샘플링 기법 적용
본 실험은 Fig. 2에서 제시된 절차에 따라, 초기 모델을 적용한 뒤 각 차수별로 발생한 오탐지 데이터를 정정하여 재학습하는 과정을 거쳤다. 이를 통해 누적된 데이터셋의 현황을 Table 2에 정리하였다. Table 2는 초기 학습 데이터셋과 함께, 1차부터 2차까지 재학습 과정에서 추가된 오탐지 데이터셋의 규모와 클래스별 구성을 나타낸다. 특히 2차 오탐지 데이터셋은 오버샘플링을 통해 클래스 불균형이 보정됨을 알 수 있다.
Table 2.
Status of the object detection dataset used in the main experiment
특히 2차 오탐지 데이터셋의 경우, 정상 상황에서 발생한 보행자 오탐지를 저감하기 위해 not 보행자 클래스만을 대상으로 선택적 오버샘플링을 적용하였다. 구체적으로는, (1) not 보행자 객체만 포함된 정지영상이거나, (2) not 보행자 객체 수가 보행자 객체 수보다 많은 정지영상에 대해 해당 이미지와 레이블링 데이터를 복제하여 학습 데이터셋을 확장하였다. 이를 통해 보행자와 not 보행자 클래스 간의 불균형을 보정함으로써, 보행자 객체에서 집중적으로 발생하던 오탐지 문제를 개선하고자 하였다. 그 결과, 2차 오탐지 데이터셋의 총 영상 수는 기존 8,532장에서 15,912장으로 증가하였으며, not 보행자 객체 수도 1,041개에서 8,583개로 약 8.5배 확대되었다. 반면, 차량과 보행자 클래스는 거의 동일하게 유지되어 특정 클래스가 과도하게 증식하는 문제는 방지되었다.
3.5 실험결과 및 분석
본 실험에서 각 차수별 모델은 해당 시점까지 축적된 데이터셋으로 학습되었으며, 초기 및 1차 재학습 모델의 epoch는 50, 2차 재학습 모델의 학습 epoch는 200으로 설정하였다. 딥러닝 객체인식 모델 학습은 초기 및 1차 재학습 모델의 경우 약 2–3시간, 2차 재학습 모델은 10시간이 소요되었고, 학습된 모델을 적용한 현장 시뮬레이션은 각 차수마다 1월, 6월부터 12월까지의 CCTV 영상을 대상으로 약 3.5일간 수행되었다. 이때, 딥러닝 객체인식 모델을 제외한 나머지 실험 조건은 동일하게 유지하여, 데이터셋 구성 차이에 따른 성능 변화를 명확히 분석할 수 있도록 하였다.
Fig. 3은 본 실험에서 진행된 현장 적용 시뮬레이션 동안, 정상 상황 영상에서 발생한 돌발상황 오탐지 발생 현황을 차수 및 기간별로 구분하여 나타낸 것이다. Fig. 3(a)는 1월, Fig. 3(b)는 6월과 7월, Fig. 3(c)는 8월과 9월, Fig. 3(d)는 10월부터 12월까지의 결과를 각각 보여준다.
먼저 Fig. 3(a)에서 1월의 결과를 보면, 초기 모델과 비교했을 때 재학습 모델에서는 보행자 오탐지가 현저히 줄어든 것을 확인할 수 있다. 다만 채널 1에서는 정차 및 역주행 관련 오탐지가 약 30–50건 발생하였는데, 이는 전체 영상 규모와 비교했을 때 수용 가능한 수준으로 평가된다.
다음으로 Fig. 3(b)에서는 6–7월 구간에서 1차 재학습 모델에서 보행자 오탐지가 다량 발생했으나, not 보행자 객체를 중점적으로 확장 학습한 이후에는 이러한 문제가 크게 완화되었다. 즉, 오버샘플링을 통해 데이터셋 불균형을 보정함으로써 보행자 오탐지 발생을 효과적으로 억제할 수 있음을 확인 가능하다.
또한 Fig. 3(c) and (d)의 결과를 종합해 보면, 이후 기간에서도 이러한 효과가 안정적으로 유지되었다. 8–9월 구간에서는 모든 채널에서 오탐지 발생이 최대 30건 이내로 억제되었으며, 10–12월 구간에서도 채널별 최대 40건 이내에서 안정적인 수준을 보였다.
추가로 통계적 유의성 검정을 시행한 결과, 정차와 역주행의 경우 차수별 수치 차이는 있었으나 통계적으로 유의미하지 않았다(p > 0.05). 반면 보행자 사건에서는 차수별로 유의한 차이가 반복적으로 확인되었으며, 특히 1차 재학습에서 오탐지가 증가한 뒤 2차 재학습에서 유의미하게 감소하는 양상이 나타났다(p < 0.5). 이는 보행자 오탐지가 상대적으로 빈번하게 발생하고, 데이터셋 확장과 오버샘플링 과정에서 직접적인 개선 효과가 반영되었기 때문으로 해석된다. 반대로 정차와 역주행은 원래 발생 건수가 적어 변화 폭이 작았으므로 통계적으로 뚜렷한 차이를 확인하기 어려웠다.
그리고 Fig. 4는 본 실험에서 2021년 1월부터 12월까지의 돌발상황 영상을 대상으로, 초기 모델과 1차 및 2차 재학습 모델의 성능을 정탐지율과 오탐지 알람율로 비교한 결과를 보여준다. 이를 통해 재학습 차수에 따른 성능 변화를 종합적으로 확인할 수 있다.
먼저, 정탐지율을 살펴보면 정차와 역주행은 전반적으로 큰 변화 없이 안정적인 성능을 유지하였다. 반면 보행자의 경우 약 6–7% 수준의 성능 향상이 관찰되었으며, 대응표본 t-test 결과 이 차이는 통계적으로 유의미하였다(p < 0.5). 이는 2차 오탐지 데이터셋에 보행자 정탐지 객체가 함께 추가되면서 학습된 결과로, 보행자 데이터 자체의 보강과 병행되어 오탐지 억제와 정탐지 개선이 동시에 이루어진 것으로 해석할 수 있다.
다음으로, 오탐지 알람율의 경우 정차와 보행자는 차수별로 큰 변동 없이 유사한 수준을 유지하였다. 그러나 역주행의 경우, 1차 재학습 단계에서 다소 높은 오탐지 알람율을 보였으나 2차 재학습 모델에서는 크게 개선된 결과가 나타났으며, 이는 통계적으로도 개선 경향이 확인되었다(p < 0.1). 이러한 결과는 오탐지 데이터셋의 누적을 통해 학습 외 차량 객체인식 성능이 향상된 것으로 볼 수 있다.
본 연구의 현장 적용 시뮬레이션 결과를 종합하면, 제안한 오탐지 학습법은 정상 상황에서 불필요한 오탐지를 효과적으로 저감시키는 성과를 보였다. 특히 보행자 오탐지 빈도가 안정적으로 억제되었는데, 이는 오버샘플링을 통해 not 보행자 객체의 학습 효과가 강화되면서 보행자 검출의 신뢰도가 향상된 결과로 해석된다. 정탐지율 측면에서는 정차와 역주행이 전반적으로 안정적인 성능을 유지하였고, 보행자는 데이터셋 보강 효과로 성능이 소폭 향상되었다. 반면, 역주행의 경우 초기 재학습 단계에서 다소 높은 오탐지 알람율이 관찰되었으나, 2차 재학습 모델에서는 누적된 오탐지 데이터 학습의 효과로 크게 개선되었다.
종합하면, 오탐지 학습법은 정상 상황에서의 신뢰도를 높이는 데는 유의미한 효과를 보였으나, 돌발 상황 정탐지율 개선은 제한적이었다. 이러한 한계는 크게 두 가지 요인으로 설명된다. 첫째, 추론 단계에서 발생하는 경계박스 진동 현상으로, 동일한 객체가 연속 프레임에서 일정 좌표에 고정되지 못하고 흔들리며 검출되면서 성능 안정성이 저하되었다. 둘째, 본 실험에서 설정한 6프레임 간격으로 인해 빠르게 이동하는 보행자가 다수의 프레임에서 누락되는 문제가 발생하였고, 이는 보행자 정탐지 성능 향상에 제약으로 작용하였다.
따라서 향후 연구에서는 데이터셋의 균형성 확보, 추론 단계의 안정화, 그리고 프레임 샘플링 전략을 포함한 시스템 파라미터의 최적화가 병행되어야 할 것이다.
4. 결 론
본 연구는 터널 CCTV 기반 돌발상황 감지 시스템에 오탐지 학습법을 적용하고, 실제 터널 영상을 활용한 현장 적용 시뮬레이션을 통해 그 효과를 검증하였다. 연구의 핵심 목적은 터널 환경에서 빈번히 발생하는 불필요한 경보(오탐지)를 줄여 시스템의 신뢰도를 높이는 것이었다. 이러한 목표의 달성을 위해 오탐지 데이터셋에 대한 데이터 불균형 문제 완화를 해결할 수 있는 오버샘플링 기법을 병행하여 적용하였다.
실험 결과, 제안된 방법은 정상상황 영상에서 특히 보행자에 대한 오탐지를 효과적으로 줄임으로써, 기존 시스템의 주요 한계를 개선하고 현장 적용 가능성을 높였다. 이는 오탐지 학습법이 정상상황에서 신뢰성 있는 운영을 보장하는 데 실질적인 효과를 발휘함을 보여준다.
한편, 돌발상황 영상의 정탐지율은 전반적으로 안정적인 수준을 유지하였으며, 일부 항목에서 성능 개선이 확인되었으나 전반적인 향상은 제한적이었다. 이는 추론 단계에서 발생하는 경계박스 흔들림(진동)과 영상 입력의 프레임 간격 설정 한계와 같은 시스템 파라미터가 주요 원인으로 작용한 것으로 분석된다. 이에 대한 보완 방안으로는, 첫째 경계박스 흔들림을 완화하기 위해 칼만 필터나 다중 프레임 융합과 같은 후처리 기법을 적용하거나, 정탐지 객체 인식 데이터셋을 추가적으로 학습시켜 객체인식 모델 자체의 안정성을 높이는 방법이 있다. 둘째, 프레임 샘플링 간격과 관련해서는 현재의 5 fps 조건을 넘어 더 높은 간격을 실험하여 성능 변화를 확인하는 동시에, 하드웨어 자원 소모를 고려한 최적의 조건을 찾을 필요가 있다. 셋째, 이러한 요소들을 포함한 시스템 파라미터 최적화를 통해 현장 운영에 적합한 균형점을 모색하는 것이 요구된다.
종합적으로, 본 연구는 정상상황에서의 오탐지 저감을 통해 터널 돌발상황 감지 시스템의 신뢰도를 높일 수 있음을 실험적으로 입증하였다. 동시에 돌발상황 정탐지 성능의 추가적 향상을 위해서는 데이터셋 균형 확보, 추론 안정화 기법, 시스템 파라미터 최적화가 요구됨을 확인하였다. 이러한 과제가 해결된다면, 제안된 접근법은 실제 현장에서 더욱 효과적이고 신뢰성 있는 터널 돌발상황 감지 시스템 구축에 기여할 수 있을 것이다.
