*Saliency Map이란?
딥러닝 모델이 특정 예측을 할 때 입력의 어떤 부분(픽셀.토큰.특징)이 가장 영향을 주었는지 시각적으로 보여주는 XAI(설명가능한AI)기법이다. 가장 기본 형태는 입력에 대한 출력 클래스 점수의 gradient를 계산해 ‘민감도’로 해석하는 방식이다.
*핵심개념(정의.원리)
1)Saliency map은 입력 위치별로 출력 클래스 점수에 대한 기울기(미분)를 계산해 해당 위치가 얼마나 중요한지 정량화한다.
2)이때 ‘기여’보다 ‘민감도’에 초점이 맞춰지는 경우가 많다.
*대표 방법론(계산방식)
1)Vanilla Gradient/Backprop: 입력에 대한 logit(softmax 전 점수) gradient를 한 번의 backward로 계산해 시각화한다.
2)SmoothGrad: 입력에 노이즈를 더해 여러 번 계산한 gradient를 평균해 노이즈를 줄인다.
3)Integrated Gradients: 기준점(baseline)에서 입력까지의 경로를 적분해 saturation(포화) 문제를 완화한다.
4)Grad-CAM: CNN의 중간 활성화 맵과 그 gradient를 활용해 클래스별 localization map을 생성한다.
*장단점.주의점
1)장점은 해석이 직관적이고 구현이 비교적 간단해 모델 디버깅.신뢰성 검증에 유용하다.
2)단점은 노이즈가 많고, 입력을 조금만 바꿔도 설명이 달라질 수 있는 ‘fragility’가 나타날 수 있다는 점이다.
3)의료 영상 등에서는 민감도와 강건성을 함께 평가하는 지표가 제안된다.