멀티모달 AI 뜻, 사진을 읽는 것과 그리는 것의 차이
멀티모달 AI는 글·이미지·음성·영상처럼 여러 형식의 정보를 다루는 AI입니다. 여기서 모달리티는 정보가 표현되는 형식을 뜻합니다. 글만 다루는 데서 더 나아가 사진과 질문을 함께 받아 내용을 설명하는 작업에도 쓰입니다. Google Cloud의 멀티모달 설명
중요한 것은 무엇을 받을 수 있는지와 무엇을 만들어주는지를 나누어 보는 것입니다. 사진을 읽는 기능과 새 그림을 만드는 기능은 같지 않습니다. 멀티모달이라는 이름만으로 모든 자료와 결과 형식을 지원한다고 판단할 수는 없습니다.
사진으로 하는 일도 서로 다릅니다
AI가 사진을 다룬다고 할 때는 무엇을 해주길 원하는지부터 나누어 봅니다.
| 하고 싶은 일 | 처리하는 내용 | 받고 싶은 결과 |
|---|---|---|
| 사진 속 글자를 옮기기 | 이미지에 찍힌 문자를 읽어냄 | 복사·검색할 수 있는 글자 |
| 사진 내용을 설명받기 | 사진 속 대상과 관계 등을 해석 | 내용에 대한 글 설명 |
| 새 이미지를 만들기 | 글이나 참고 이미지를 바탕으로 생성 | 새로 만들어진 이미지 |
첫 번째의 문자 인식 기술을 OCR이라고 합니다. 반면 사진의 내용을 설명하는 작업은 사진 속 글자를 옮기는 것보다 넓은 정보를 다룹니다. Google의 멀티모달 안내도 이미지에서 문자 추출과 이미지에 관한 질문에 답하는 작업을 함께 소개합니다. 이미지 입력으로 할 수 있는 작업
한 기능이 여러 작업을 함께 제공할 수는 있습니다. 그래도 필요한 결과가 글자인지, 내용 설명인지, 새 이미지인지 먼저 정하면 지원 기능을 확인하기가 쉽습니다. 문자 추출과 PDF 확인이 목적이라면 OCR의 뜻과 확인 순서에서 이어볼 수 있습니다.
입력과 출력을 나누어 보면 쉽습니다
입력은 내가 AI에 전달하는 자료이고, 출력은 AI가 만들어 돌려주는 결과입니다.
사진을 넣고 설명을 받는 작업은 이미지가 입력이고 글이 출력입니다. 글로 장면을 설명해 그림을 받는 작업은 글이 입력이고 이미지가 출력입니다. 둘 다 여러 자료 형식이 관련되지만, 필요한 능력은 다릅니다.
음성도 마찬가지입니다. 음성을 입력받는 능력과 음성으로 답하는 능력을 각각 확인해야 합니다. 모델 문서에 이미지나 음성이 보이면 그 항목이 입력 쪽인지 출력 쪽인지부터 살펴봅니다.
실제 공식 지원표에서는 이렇게 구분합니다
아래는 2026년 10월 22일 확인한 Google의 개발자용 공식 모델 문서에서 입력·출력만 추려 정리한 표입니다. 모델의 성능을 직접 시험한 결과가 아니라 공개 사양의 비교입니다.
| 모델 | 받을 수 있는 자료·입력 | 만드는 결과·출력 |
|---|---|---|
| Gemini 3.8 Flash | 글·이미지·영상·음성·PDF | 글 |
| Nano Banana 2.1 | 글·이미지·영상·PDF | 이미지·글 |
Gemini 3.8 Flash는 사진을 받을 수 있지만, 공식 안내의 출력은 글이며 이미지 생성은 지원하지 않는다고 표시합니다. Nano Banana 2.1은 출력에 이미지와 글을 함께 표시합니다. 이미지를 받을 수 있는지와 이미지를 생성하는지는 별도 항목이라는 것을 실제 사양에서도 확인할 수 있습니다.
이 표는 개발자가 모델을 불러 쓰는 경우의 사양입니다. 일반 대화 앱에서 이용할 때는 현재 선택한 모델과 기능, 계정의 제공 범위를 그 서비스에서 확인해야 합니다. 표를 그대로 앱의 모든 버튼·요금제에서 쓸 수 있다는 뜻으로 읽지 않습니다.
LLM과 멀티모달은 설명하는 관점이 다릅니다
LLM은 언어를 다루는 모델을, 멀티모달은 여러 정보 형식을 다루는 특성을 설명합니다.
둘은 서로 배타적인 이름이 아닙니다. 언어 모델을 바탕으로 이미지·음성까지 처리하는 멀티모달 모델도 있습니다. Google도 멀티모달 언어 모델이 글과 음성 등 여러 자료를 다루는 방식을 설명합니다. Google의 멀티모달 언어 모델 안내
그래서 ‘LLM은 글만, 멀티모달은 사진만’처럼 나누면 기능을 잘못 이해할 수 있습니다. 모델이 문장을 만드는 기본 원리가 궁금하다면 LLM의 뜻과 답변 생성 방식으로 이어집니다.
지원하는 형식과 답의 정확도는 따로 확인합니다
이미지를 지원한다는 말은 그 형식의 자료를 처리할 수 있다는 뜻입니다. 사진의 모든 내용을 정확하게 읽거나 해석한다는 보증은 아닙니다.
Google의 이미지 이해 안내도 낮은 화질·회전된 이미지·손글씨 해석에서 오류가 생길 수 있고, 글자나 물체의 위치·개수 판단이 정확하지 않을 수 있다고 설명합니다. 공식 이미지 이해의 한계
필요한 기능을 골랐다면 받은 답을 원래 자료와 대조합니다.
- 글자를 옮겼다면: 이름·숫자·단위가 원본과 같은지 봅니다.
- 내용을 설명했다면: 사진에서 확인되는 내용과 추측을 구분합니다.
- 표를 읽었다면: 값뿐 아니라 연결된 행·열 제목도 맞는지 봅니다.
이것은 결과를 읽는 확인 기준입니다. 멀티모달이라는 이름이나 지원 형식 목록이 이 검토를 대신해주지는 않습니다.
자료를 보내기 전에는 파일 속 개인정보를 확인할 다섯 곳에서 전달할 범위도 함께 살펴볼 수 있습니다.