1. 임베딩과의 관계 임베딩은 숫자로 끝나고, LLM은 다음 단어를 계속 만들어낸다. 임베딩은 "텍스트→벡터" 변환만 하고 끝남LLM은 같은 트랜스포머 계열 구조를 쓰지만 벡터에서 다시 텍스트를 생성한다.둘 다 "문맥을 이해한다"는 점은 같은데, 출력 형태가 다른 것. [ML] 벡터 임베딩(Vector Embedding) - 의미를 벡터로cf) TF-IDF [ML] TF-IDF(Term Frequency-Inverse Document Frequency)1. TF-IDF?정의단어의 빈도(TF)와 역문서빈도(IDF)를 곱해서, 문서 내 각 단어의 "중요도"를 가중치로 매기는 방법단순히 "몇 번 나왔는가"만 세는 빈blog.chaenii.me2. 트랜스포머트랜스포머의 핵심은 어텐션(attention) 메커니즘..
cf) TF-IDF [ML] TF-IDF(Term Frequency-Inverse Document Frequency)1. TF-IDF?정의단어의 빈도(TF)와 역문서빈도(IDF)를 곱해서, 문서 내 각 단어의 "중요도"를 가중치로 매기는 방법단순히 "몇 번 나왔는가"만 세는 빈도수 카운트(Bag of Words)의 한계를 보완쓰임문서 간blog.chaenii.meTF-IDF도 텍스트를 벡터로 바꾼다. 그런데 TF-IDF는 순수하게 "단어가 몇 번 등장했는가"라는 통계에 기반한다."강아지"와 "개"는 글자가 다르니 전혀 다른 차원으로 취급 → 의미가 같다는 것을 전혀 모른다.임베딩(embedding): 신경망이 대량의 텍스트를 학습 → "이 단어가 어떤 맥락에서 쓰이는가" 함께 학습"강아지"와 "개"는 비..
1. SOM?Self-Organizing Map. 입력 데이터를 2차원 격자 위에 스스로 배치하도록 학습하는 신경망 구조의 고전적 비지도학습 알고리즘.목적은 KMeans와 같지만(데이터를 비슷한 그룹으로 묶기), 중심점들이 고정된 격자 위에서 이웃과 함께 움직인다는 점이 다르다.주의할 점은 SOM을 보통 CNN/Transformer 같은 현대적 의미의 "딥러닝"으로 분류하지는 않는다는 것이다. 여러 층을 깊게 쌓은 모델이라기보다, 경쟁학습(competitive learning)을 사용하는 얕은 신경망에 가깝다.2. K-Means와 다른 점KMeans$K$개의 중심점이 공간에서 자유롭게 독립적으로 움직임.중심점 5번이 어디로 가든 50번에게 영향 없음.SOM노드들이 고정된 격자(grid) 위에 배치학습 중..
