기존 자동차 기능안전 개발에서는 HARA, FMEA, FTA로 위험을 분석하고 안전 요구사항을 정한 뒤 테스트로 충족 여부를 확인합니다. 그런데 ISO/PAS 8800은 테스트 결과에 기반한 안전 분석을 따로 다룹니다.
그 이유는 바로 ISO/PAS 8800이 AI기반의 차량 제어를 대상으로 하기 때문입니다. 즉 머신러닝 모델의 동작은 코드 로직뿐 아니라 학습 데이터, 모델 구조, 학습 과정에 좌우되므로, 실제 입력 조건에서 어떤 결과가 나올지 개발 초기에 다 예측할 수 없습니다. 그래서 테스트는 요구사항 충족 확인에 그치지 않고, 몰랐던 성능 한계와 오류 발생 조건을 발견하는 수단이 됩니다.
테스트에서 AI 오류가 발견되면 다음 세 활동을 수행합니다.
- 위험 평가: 오류가 AI 안전 요구사항을 위반했는지 확인하고, 시스템 수준의 안전 영향을 평가합니다.
- 근본 원인 분석: 기존 FMEA/FTA의 원인 후보를 참고하되, 데이터셋, 모델 설계, 요구사항까지 넓혀 실제 원인을 증거로 확인합니다.
- 위험 완화: 확인된 원인과 영향을 바탕으로 예방, 감지, 제어 조치를 정의합니다.
하지만 테스트 기반 안전 분석은 기존 ISO 26262 기반의 안전 분석을 대체하거나 반복하는 일이 아닙니다. 기존 분석은 테스트 결과를 해석하는 근거가 되고, 테스트 결과는 기존 분석의 가정과 충분성을 검증하는 증거가 되어 이들 둘을 연결하는 과정이라고 보아야 합니다.
주요 포인트1. 테스트 기반 안전 분석이 필요한 이유
- AI의 모든 기능적 불충분성(Functional Insufficiency)과 그 발생 조건을 초기에 완전히 식별하기는 어렵습니다.
- 예를 들어 카메라와 소프트웨어, AI 연산이 모두 정상이어도 특정 입력(예: 표지판에 일부 가려진 보행자)에서는 기대 성능이 나오지 않을 수 있습니다.
- 기능적 불충분성은 ISO 21448(SOTIF)에서도 다루므로, 기존 분석으로 전혀 못 다룬다는 뜻은 아닙니다.
2. 위험 평가 vs. HARA
- HARA는 오류가 관찰되지 않았어도 수행할 수 있습니다. 기능 오동작에서 위험 사건을 식별하고 S/E/C로 ASIL과 안전 목표를 도출합니다.
- 반면, 테스트 기반 위험 평가는 실제 발견된 AI 오류가 출발점입니다. 그 오류가 AI 안전 요구사항을 위반하는지, 안전에 어떤 영향을 주는지 평가합니다. 따라서 테스트 실패가 곧 요구사항 위반은 아닙니다. 요구사항의 적용 조건과 판정 기준을 따져야 하며, 통계적 요구사항(예: 미검출률)이라면 한 번의 미검출만으로 결과를 판단하면 안되고, 전체 평가 데이터의 미검출률과 통계적 신뢰도로 판단해야 합니다.
- AI 요구사항 위반은 AI 시스템 수준의 문제이며, 차량 수준의 위험은 다른 안전 대책이 영향을 제어하는지에 따라 달라지므로 구분해서 분석합니다.
- 또한 개별 테스트 실패마다 HARA나 S/E/C를 다시 평가할 필요는 없습니다. 실패 조건을 확인하고, 관련 요구사항을 식별하고, 시스템 영향을 분석해야 합니다. (기존 HARA, 아키텍처, FTA 활용).
- 비안전 요구사항 위반도, 결합하면 안전에 영향을 줄 수 있어 함께 고려합니다. (독립성 확인되는 경우는 불필요)
- 마지막으로, 새로운 오류가 기존 위험 사건과 안전 목표 안에서 설명되면 하위 분석과 요구사항 보완으로 충분하며, 새로운 위험 사건이 드러나거나 평가 전제가 바뀔 때만 HARA를 재검토 하면 됩니다.
3. 근본 원인 분석(RCA) vs. FMEA/FTA/DFA
- FMEA, FTA, DFA는 잠재적 고장과 원인, 영향, 종속성을 분석하는 기법이고, RCA는 실제로 관찰된 오류가 왜 발생했는지 규명하는 활동이라 이들은 서로 다른 활동이라고 보아야 합니다. 하지만 RCA 자체는 ISO/PAS 8800에서 새로 생긴 개념이 아니므로, 기존 FTA를 RCA에 쓸 수도 있습니다.
- AI에서는 원인 영역을 데이터셋 불충분성(대표성, 분포, 라벨링), 모델 설계(아키텍처, 하이퍼파라미터, 임계값 등 후처리), 요구사항 불완전성으로 확장해야 합니다.
- FMEA에는 누락, 지연, 오분류 같은 기능적 불충분성 형태를 포함하되 전통적 고장과 같은 원인 모델로 취급하지 않습니다.
- FTA는 입력과 출력 사이의 비선형적 관계와 원인 사건 간 독립성 가정이 AI에도 성립하는지 확인해야 합니다.
- DFA는 공통 학습 데이터 편향이나 유사한 모델 구조 같은 AI 특유의 공통 의존성을 검토합니다. 다만 같은 데이터셋을 쓴다는 사실만으로 종속 고장이 자동 성립하지는 않으며, ISO/PAS 8800은 AI 전용 DFA 방법론을 상세히 정의하지 않습니다.
- 원인 확인 방법으로는 로그 확인, 가림 정도 등 입력 조건별 성능 비교, 학습 데이터 분포 분석, 데이터를 보강한 실험 모델과의 통제된 비교(독립 평가 데이터 사용)를 듭니다. 데이터를 보강해도 오류가 지속되면 모델 구조나 학습 설정 같은 다른 원인을 조사합니다.
4. 위험 완화
- 위험 완화는 예방, 감지, 제어 조치를 도출하고 정의하는 활동이며, 데이터셋 수정이나 재학습 같은 실제 구현과는 구분됩니다.
- 성능 개선이 어려운 조건에서는 성능 불충분 상태 감지, 다른 감지 경로 활용, 차량 수준의 결과 제한 같은 추가 대책을 검토합니다.
- 요구사항 보완은 실패한 테스트를 통과시키려는 것이 아니라 상위 안전 목표에 필요한 조건을 명확히 하는 방향이어야 합니다.
- 조치의 부작용도 고려해야 합니다. 검출 임계값을 낮추면 미검출은 줄지만 오검출과 불필요한 제동이 늘 수 있습니다.
- 또한, 조치를 정의했다고 문제가 해결된 것은 아닙니다. 구현과 후속 검증으로 효과가 확인되어야 해결을 판단할 수 있습니다.
5. 적용 사례: AI 보행자 인식 AEB
- 테스트 조건: 해 질 무렵, 보행자 일부가 도로 표지판에 가려짐
- 요구사항: 영상 입력 후 150ms 이내 보행자 인식
- 결과: 220ms에 인식(70ms 지연) → 요구사항 위반 (적용 범위에 포함된다는 가정)
- 위험 평가: 지연이 제동 판단의 시간 여유를 얼마나 줄이는지, 다른 감지 경로/대책이 영향을 차단하는지 검토
- 근본 원인: 카메라 전달, 전처리, 모델 실행 시간은 정상. 가림 조건에서 검출 신뢰도 하락. 학습 데이터가 대부분 완전 노출 보행자로 구성되어 데이터 대표성 부족 (보강 모델과의 비교 실험으로 검증)
- 위험 완화: 데이터 보강, 모델 개선, 잔여 한계에 따른 추가 감지/제어 조치 검토, 요구사항 보완
- 결론의 핵심 메시지
테스트 기반 안전 분석은 기존 안전 분석과 완전히 다른 활동이 아니며, 중복 업무도 아닙니다. 핵심은 기존 안전 분석이 실제 테스트에서 발견된 오류를 충분히 설명하는지 확인하고, 부족하면 보완하는 것입니다.
테스트에서 발견된 오류는 단순한 결함이 아니라, 기존 안전 판단이 실제 시스템에서도 유효한지 확인하게 해 주는 공학적 증거입니다.
참고로 이 글은 블로그 개인 필자의 해석이므로, 표준의 정확한 조항 번호나 요구 수준은 ISO/PAS 8800 원문으로 확인하시기 바랍니다.