Created by AI 사용자는 같은 질문을 했다고 생각하는데, 어떤 요청은 거의 즉시 답변을 받고 어떤 요청은 한참을 기다립니다. GPU 사용률도 높고 서버도 충분히 늘렸는데 말입니다. 이때 원인은 단순히 GPU 성능 부족이 아닐 수 있습니다. 핵심은 요청이 이전 대화의 맥락을 기억하지 못하는 서버로 흩어진다는 데 있습니다. LLM은 답변을 생성하기 전에 사용자의 프롬프트와 대화 이력을 먼저 읽어야 […]
Created by AI 사용자는 같은 질문을 했다고 생각하는데, 어떤 요청은 거의 즉시 답변을 받고 어떤 요청은 한참을 기다립니다. GPU 사용률도 높고 서버도 충분히 늘렸는데 말입니다. 이때 원인은 단순히 GPU 성능 부족이 아닐 수 있습니다. 핵심은 요청이 이전 대화의 맥락을 기억하지 못하는 서버로 흩어진다는 데 있습니다. LLM은 답변을 생성하기 전에 사용자의 프롬프트와 대화 이력을 먼저 읽어야 […]
Begin typing your search term above and press enter to search. Press ESC to cancel.