본문 바로가기

NLP3

📚 BERT란 무엇일까? 📚 BERT란?BERT는 2018년 Google이 발표한 자연어 처리(NLP) 모델로, Transformer의 Encoder 구조를 활용하여 문맥을 양방향으로 학습하는 것이 특징이다.BERT는 Bidirectional Encoder Representations from Transformers의 약자로, 단어를 이해할 때 앞 단어뿐 아니라 뒤 단어까지 함께 고려하여 의미를 파악한다.🔍 기존 모델과의 차이✨예시 문장:* “은행에서 돈을 찾았다.”* “강가의 은행에 앉아 있었다.”기존 Word2Vec은 “은행”이라는 단어에 하나의 벡터만 부여한다.반면 BERT는 문맥에 따라 서로 다른 의미로 이해한다.* 금융기관의 은행* 강가의 둑(은행)즉, 같은 단어라도 문맥에 따라 다른 표현을 생성할 수 있다.⚙️ B.. 2026. 6. 7.
📚 Word2Vec이란 무엇일까? 📚 Word2Vec이란?Word2Vec은 2013년 Tomas Mikolov 등이 제안한 단어 임베딩(Word Embedding) 기법으로, 단어를 숫자 벡터로 표현하여 단어 간 의미적 유사성을 계산할 수 있도록 한다.기존의 BoW나 TF-IDF는 단어를 단순한 빈도로 표현했기 때문에 단어 간 의미 관계를 파악하기 어려웠다. 반면 Word2Vec은 비슷한 문맥에서 사용되는 단어들이 비슷한 벡터 값을 갖도록 학습한다.🔍 Word2Vec의 원리“비슷한 문맥에서 등장하는 단어는 비슷한 의미를 가진다”는 가정을 기반으로 한다.✨예시:* 왕 → [0.25, 0.71, -0.12, …]* 여왕 → [0.28, 0.69, -0.10, …]* 남자 → [0.11, 0.45, -0.33, …]* 여자 → [0.14,.. 2026. 6. 7.
📚 TF-IDF란 무엇일까? 📚 TF-IDF란?TF-IDF는 단어의 중요도를 수치화하는 방법으로, 단순히 단어 출현 빈도만 고려하는 BoW의 한계를 보완하기 위해 사용된다.✨TF-IDF는 다음 두 요소의 곱으로 계산된다.1️⃣ TF (Term Frequency, 단어 빈도)특정 문서에서 단어가 얼마나 자주 등장하는지를 나타낸다.2️⃣ IDF (Inverse Document Frequency, 역문서 빈도)전체 문서에서 흔하게 등장하는 단어의 중요도를 낮추기 위한 값이다.3️⃣ TF-IDF 계산최종 중요도는 TF와 IDF를 곱하여 구한다.✅ 특징* 특정 문서에서 자주 등장할수록 점수가 높아진다.* 모든 문서에 흔하게 나타나는 단어는 점수가 낮아진다.* 문서의 핵심 키워드를 추출하는 데 효과적이다.🎯 활용 분야* 문서 검색 및 정보.. 2026. 6. 7.

티스토리툴바