멀티모달 RAG (Multimodal RAG)

지금까지는 텍스트 데이터 위의 RAG를 봤지만, 정보는 슬라이드·PDF·이미지 등 다양한 형식에 담긴다. 멀티모달(multimodal) 모델의 발전 덕에 이런 다양한 데이터를 다루는 RAG를 만드는 일이 점점 가능해지고 있다. 이번 편은 그 작동 방식과 PDF RAG를 정리한다 — Module 5의 마지막이다.

 

 

1. 멀티모달 RAG의 형태

멀티모달 모델은 여러 데이터 타입을 다루도록 설계된 모델이다(가장 흔한 조합은 텍스트+이미지, 오디오·비디오도 가능). 전형적 멀티모달 RAG는 텍스트·이미지를 프롬프트로 받고, knowledge base에 텍스트·이미지를 모두 저장하며, 최종적으로 텍스트 응답을 낸다. 이를 위해 retriever와 LLM 모두 멀티모달로 업데이트돼야 한다.

그림 1. 멀티모달 RAG — 텍스트·이미지를 프롬프트·knowledge base 양쪽에서 다루고 텍스트로 응답한다.

 

 

 

2. 멀티모달 임베딩 모델

먼저 바꿔야 할 것은 벡터 DB가 쓰는 임베딩 모델이다. 멀티모달 임베딩 모델은 여러 형식의 데이터를 같은 벡터 공간에 임베딩한다. 예로 단어 dog와 puppy를 임베딩하면 벡터가 서로 가깝고, 여기에 강아지 이미지를 넣어도 가까운 영역에 놓인다. tree 단어와 tree 이미지는 서로 가깝되 공간의 다른 영역에 놓인다. 즉 텍스트 임베딩처럼 비슷한 의미를 가깝게 배치하되, 그것을 여러 modality에 대해 해낸다.

그림 2. 멀티모달 임베딩 — "dog" 단어와 강아지 이미지가 같은 벡터 공간의 가까운 곳에 놓인다.

 

멀티모달 임베딩 모델이 있으면 벡터 검색은 익숙한 방식 그대로다. knowledge base의 이미지·텍스트를 같은 공간에 임베딩하고, 프롬프트가 오면(이미지든 텍스트든) 같은 모델로 임베딩해 가장 가까운 벡터의 이미지·문서를 반환한다. 검색된 텍스트·이미지는 평소처럼 augmented prompt에 더해 LLM으로 보낸다.

그림 3. 멀티모달 검색 — 프롬프트를 같은 공간에 임베딩해 가장 가까운 이미지·문서를 가져온다.

 

 

 

3. Language Vision Model — 이미지 토큰화

LLM이 텍스트·이미지를 모두 처리하려면 language vision model이 필요하다. 텍스트 전용 LLM과 매우 비슷하되 토큰화된 이미지도 처리한다. 이미지 토큰화의 일반적 방법은 이미지를 여러 patch(조각)로 나눠 각 patch를 하나의 토큰으로 표현하는 것이다. 해상도에 따라 이미지는 약 100~1,000 토큰으로 표현된다. 중요한 건 토큰 수가 아니라, 이미지도 텍스트처럼 토큰 시퀀스로 변환된다는 점이다. 그러면 language vision model은 이 멀티모달 토큰 시퀀스를 트랜스포머에 통과시켜 텍스트·이미지와 그 관계를 이해하고, 텍스트 토큰으로 응답한다.

그림 4. Language vision model — 이미지를 patch 토큰으로 변환해 텍스트와 함께 트랜스포머로 처리한다.

 

 

 

4. RAG 업그레이드 · 파일 형식

멀티모달 임베딩 모델과 language vision model이 있으면, knowledge base에 이미지·텍스트를 모두 저장하도록 업그레이드하는 일은 꽤 간단하다 — 고수준 아키텍처는 본질적으로 동일하되 이제 이미지도 다룬다. 이미지 처리의 장점은 이미지로 쉽게 변환되는 많은 파일 형식을 ingest할 수 있게 된다는 것 — 슬라이드·PDF도 이미지로 취급할 수 있다.

그림 5. 업그레이드 — 멀티모달 임베딩 + language vision model만 있으면 아키텍처는 그대로 확장된다.

그림 6. 이미지 처리를 붙이면 슬라이드·PDF 등 일반 파일 형식을 이미지로 ingest할 수 있다.

 

 

 

5. PDF RAG — 페이지를 격자로 쪼개기

이 형식의 과제는 슬라이드·PDF가 정보 밀도가 높다는 것이다. 한 페이지에 텍스트·차트·캡션·이미지가 섞여, 벡터 하나로 그 뉘앙스를 담기 어렵다. 즉 텍스트를 chunking하듯 이미지도 chunking해야 한다. 초기엔 페이지에서 차트·이미지·텍스트 영역을 정교하게 감지하는 기법을 썼지만, 오류가 많고 까다로웠다.

그림 7. PDF RAG — 정보 밀도 높은 페이지를 (의미 경계 신경 안 쓰고) 정사각형 격자로 나눠 벡터화한다.

 

더 새로운 PDF RAG 접근은 경계가 의미 있는 위치인지 신경 쓰지 않고 모든 페이지를 정사각형 격자로 나눈다. 각 사각형을 멀티모달 임베딩으로 dense vector로 만들어, 페이지 하나를 벡터 1개가 아니라 약 1,000개로 표현한다. 검색은 ColBERT와 매우 유사하게 — 프롬프트의 각 단어가 페이지에서 가장 잘 맞는 사각형을 찾고, 그 점수들을 합산해 페이지 전체 점수를 낸다. 어떤 이미지든 격자로 나눌 수 있어 매우 유연하고 검색 성능도 좋다. 주요 단점은 벡터 DB가 엄청난 수의 벡터를 저장해야 한다는 것이다.

그림 8. PDF RAG 장점 — 유연·고성능(ColBERT식 MaxSim 합산). 단점은 저장할 벡터 수가 폭증한다는 것.

 

정리. 멀티모달 RAG는 여전히 빠르게 발전 중인 최첨단 기술이다. 대부분의 provider가 language vision model을 제공하지만, 멀티모달 임베딩 모델은 상대적으로 더 실험적이다. RAG의 경계를 넓히려 한다면 이 분야의 지속적인 발전을 기대할 만하다.

 

Module 5를 마치며. production의 도전(#29)에서 시작해 평가·관측성(#30·#31)과 커스텀 평가(#32)로 시스템을 들여다보는 눈을 갖추고, 양자화(#33)·비용(#34)·지연(#35)으로 trade-off를 다뤘으며, 보안(#36)과 멀티모달(#37)로 실전 RAG의 경계를 넓혔다. 이로써 RAG Module 1~5, 총 37편을 모두 마친다.