기존 AI 모델은 “똑똑한데 기억이 짧다”는 한계를 자주 드러냈습니다. 긴 계약서, 방대한 코드베이스, 며칠치 장애 로그처럼 길고 복잡한 자료를 다루려면 문서를 잘게 쪼개고(chunking), 벡터DB에 넣고, 검색(RAG)으로 일부만 꺼내 프롬프트를 조립하는 등 파이프라인이 계속 길어졌죠. 그런데 이제는 질문이 달라집니다. 기존 AI 모델의 한계를 뛰어넘어 수십만 토큰을 한 번에 처리하는 구글 Cloud의 혁신 기술, ‘Gemini 1.5’가 세상을 어떻게 바꾸고 있을까요?
핵심은 한 문장으로 정리됩니다.
- Long-context + 멀티모달 + 완전 매니지드(Managed) LLM을 Cloud 서비스로 제공한다는 것
즉, “LLM을 직접 호스팅해서 운영하는 시대”에서 “필요할 때 API로 호출해 쓰는 시대”로 중심축이 이동하고 있습니다.
Cloud 환경에서 Long-context LLM이 ‘새로운’ 이유
1) Long-context: “다 넣고 한 번에 추론”이 가능한 컨텍스트 창
Gemini 1.5(특히 1.5 Pro)는 공개 당시 기준으로 최대 100만 토큰급 컨텍스트를 지원하는 방향성을 보여줬습니다. 이게 왜 중요한가 하면, 컨텍스트 길이는 곧 한 번의 호출에서 모델이 참고할 수 있는 작업 메모리이기 때문입니다.
- 기존(짧은 컨텍스트)의 현실
- 문서/코드/로그를 작은 조각으로 분해
- 검색으로 “관련 있어 보이는 일부”만 뽑아 LLM에 전달
- 누락된 조각 때문에 답변 품질이 흔들리거나, 파이프라인이 복잡해짐
- Long-context의 변화
- “문서 묶음”, “리포지토리 단위”, “긴 로그 타임라인”을 한 번에 넣고
- 모델이 전체 흐름을 보며 원인-결과를 추론할 수 있는 여지가 커짐
