본문 바로가기

전체 글707

Agentic RAG 란 무엇인가 Agentic RAG란 무엇이고, 왜 지금 필요한가?RAG(Retrieval-Augmented Generation) 관련 기술을 이야기하다 보면 빠지지 않고 등장하는 키워드가 있습니다. 바로 Agentic RAG(에이전트형 RAG)입니다. LLM 생태계에는 새로운 개념과 용어가 워낙 빠르게 등장하다 보니, Agentic RAG 역시 “기존 RAG랑 뭐가 다른데?”라는 질문이 자연스럽게 따라옵니다.Agentic RAG는 단순히 “RAG를 사용하는 에이전트”라기보다는, RAG를 에이전트의 사고·의사결정 루프 안에 통합한 아키텍처 패턴에 가깝습니다. 즉, RAG를 단일 호출 함수로 쓰는 것이 아니라, 에이전트가 계획하고 판단하며 반복적으로 활용하는 구조입니다.기존 RAG는 왜 한계에 부딪히는가RAG의 아이디어.. 2026. 1. 30.
Adaption of Agentic AI 챗GPT가 세상을 뒤집어 놓은지 만 3년이 지났습니다. 기술수용주기로 보자면 아직은 초기 단계여서 많은 변화와 발전이 이루어지고 있습니다. 파라미터를 키워서 사람만큼 똑똑해지고, 사람같이 대화가 가능한 LLM은 몇 가지 근본적인 한계점을 가지고 있습니다.우선 '질문-답변'이라는 구조적인 한계가 있습니다. 우리가 현실에서 해결해야 하는 문제들은 한두 번의 답변으로 끝나지 않습니다. 또한, 모든 AI 모델이 가지고 있는 문제이기도 하지만, 실시간 데이터가 아닌 학습된 시점의 데이터로 학습이 되어 있어서 최신 정보에 접근할 수 있습니다. 그리고 모든 분야에 탁월한 모델을 만들고 운영하는 것은 천문학적인 비용이 들어갑니다.즉, 파라미터를 키워서 엄청 크고 똑똑한 모델을 만드는 것은 대부분의 기업이나 기관에서 선.. 2025. 12. 24.
Context Engineering : Sessions and Memory 요즘 LLM 생태계에서 가장 선도에 서있는 구글에서 지난 11월에 공개한 LLM/에이전트 시스템에서 컨텍스트를 다루는 두 핵심 축인 “세션(Session)”과 “메모리(Memory)”를 체계적으로 정의하고, 설계 패턴·아키텍처·운영 상 트레이드오프를 정리한 기술 문서입니다.출처 : https://drive.google.com/file/d/1JW6Q_wwvBjMz9xzOtTldFfPiF7BrdEeQ/view Context Engineering: Sessions & Memory.pdf drive.google.com컨텍스트 엔지니어링이란 'LLM 컨텍스트 윈도우 안에 들어갈 정보를 매 턴마다 동적으로 조합하고 관리하는 과정'으로 정의할 수 있습니다. 이를 위해 RAG DB, 세션, 메모리 등을 오케스트레이션 .. 2025. 12. 18.
2026 IT 전망보고서 - Deep Dive 연말이 되면 새해에 대한 전망을 다루는 각종 보고서와 기사들이 나옵니다. CIO Korea가 발표한 '2026 IT 전망 보고서'는 884명의 IT 리더와 전문가를 대상으로 한 설문조사를 통해 한국 기업들이 어떤 방향으로 나아가고 있는지를 보여줍니다.보고서 출처 : https://www.techlibrary.co.kr/techlibrary/355820보고서에 따르면 63.0%의 기업이 생성형 AI를 2026년 최우선 투자 영역으로 선정하였고, 70%의 기업이 이미 생성형 AI를 활용 중이거나 도입 추진 중이라고 합니다. 생성형 AI 투자 우선순위는 생성형 AI 및 AI 에이전트: 63.0%, 클라우드 인프라/서비스: 41.4%, AI/ML 및 자동화: 40.0%, 사이버보안/데이터 보호: 37.3% 라고.. 2025. 12. 12.
Nvidia ToolOrchestra LLM 서비스를 도입하는 많은 기업이나 기관의 담당자들을 만나면 가장 괴로운 부분 중 하나가 GPT5, Gemini, Claude 등의 빅테크의 LLM 서비스가 기준이 될 때가 많습니다. 기업이나 기관 내부에 도입하기 전에 빅테크들의 상용 서비스를 사용해 보면서 우리 회사에는 어디에 어떻게 적용하면 좋을지 고민하는 기준이 되는데요.파라미터가 커지면 커질수록 모델의 추론 능력이 뛰어나고 더 많은 작업을 잘 수행할 수 있지만, 현실적으로 기업이나 기관에서 100B 이상의 모델을 돌리기에는 인프라나 여러 가지 측면에서 어려움이 있습니다. 그래서 충분하지 않은 리소스를 기반으로 안정적인 LLM 서비스를 구축하기 위해 최근에 큰 모델 하나를 사용하기보다는 역할에 따라 작은 모델을 사용하는 멀티 LLM 등 여러 가.. 2025. 12. 9.
Qwen3-VL : VLM을 활용한 문서 읽기 대부분의 LLM 서비스에서 문서는 가장 중요한 원천 데이터 중 하나입니다. 문서를 파싱 해서 텍스트를 추출하는 것이 기본적인 기능이지만 여러 가지 정보 특히, 표를 제대로 읽기 위해서는 "OCR → 텍스트 → LLM" 파이프라인을 통해서 문서에서 텍스트를 추출합니다. 기존 파이프라인의 문제는 파워포인트와 같이 텍스트 외에도 '어디에 무엇이 적여 있는지'와 같은 시각적 레이아웃 정보를 제대로 알 수가 없습니다.그래서 최근에는 문서 전체를 VLM(Vision Language Model)에 문서 이미지(또는 여러 페이지 이미지)를 그대로 입력하여 처리합니다. 이를 통해 단순히 텍스트를 읽는 것을 넘어, 도식, 글 상자나 표의 레이아웃 등 맥락적 이해 함께 이해할 수 있습니다. 여러 가지 VLM이 공개되고 있.. 2025. 12. 2.
매킨지 보고서 : The State of AI: Global Survey 2025 2022년 11월 ChatGPT의 등장으로 본격적으로 시작된 생성형 AI와 관련된 보고서들이 하나둘씩 나오고 있습니다. 이 보고서는 매킨지의 연례 글로벌 보고서입니다. 너무나 빠르게 변화하고 있는 전체 시장에 대한 감을 잡을 수 있는 보고서이며, 주요 내용은 다음과 같습니다.출처 : https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai1. 대다수(90%)의 기업이 AI를 활용하고 있지만, 67%는 여전히 시범(PoC, 테스트) 단계에 머물러 있음 → 실제로 확장하려면 우수한 데이터와 견고한 기술·클라우드 아키텍처가 필수적임2. 62%의 조직이 AI 에이전트를 테스트 중이며, 23%는 실제로 확장함 → 확장이 .. 2025. 11. 26.
Graph RAG: 복잡한 추론 작업을 위한 차세대 RAG 시스템 지식 그래프(Knowledge Graph)는 엔티티(Entity)와 관계(Relation)로 구성됩니다. 그래프가 노드(Node)와 에지(Edge)로 이루어진 데이터 구조이므로, 엔티티는 노드에, 관계는 에지에 대응됩니다. 엔티티는 사람, 장소, 사물 등 구체적인 대상을 나타내고, 관계는 이들 엔티티 간의 연결을 표현합니다.지식 그래프는 의료, 금융, 법률 등 다양한 분야에서 활용될 수 있습니다. 예를 들어, 의료 분야에서는 질병-증상-치료법 간의 관계를 그래프로 표현하여 진단을 지원하고, 금융 분야에서는 기업-투자자-거래 관계를 분석하여 리스크를 평가하는 데 사용할 수 있습니다. 법률 분야에서는 판례-법조항-사건 간의 연결을 통해 유사 사례를 검색하고 법적 논리를 추적하는데 적용할 수 있습니다.LLM의.. 2025. 11. 25.
LLM은 왜 할루시네이션이 발생할까? 2022년 11월 ChatGPT 서비스가 시작된 이후 사용자들은 왜 LLM이 환각을 겪는 이유에 대해 질문해 왔습니다. 최근 Open AI 연구자들이 다음과 같은 논문을 공개하였습니다. Why Language Models Hallucinate (출처 : https://arxiv.org/pdf/2509.04664v1)Hallucination 원인 Hallucination은 특별한 문제라기보다, 통계적 분류오류에서 자연스럽게 파생되는 현상이라고 합니다. LLM이 학습 과정에서 언어 데이터의 확률분포를 모방하려면, 본질적으로 구분이 어려운 부분(데이터에 없는 사실 등)에서는 일정 수준의 오류(=hallucination)가 필연적으로 나타난다고 합니다.LLM은 “모르겠다”라고 대답하는 것보다 추측해서라도 그럴.. 2025. 11. 24.
Agentic Context Engineering LLM 서비스를 구축하다 보면, LLM 모델이 어떻게 동작해야 하는지를 최적화하기 위해서 프롬프트 엔지니어링과 파인 튜닝을 고려합니다. 또한, LLM 모델이 알아야 하는 것에 대해 최적화하기 위해서 프롬프트 엔지니어링과 RAG를 고려합니다.LLM 서비스가 사용자의 의도에 맞게 동작하도록 하기 위해서 여러가지 최적화 방안을 고려합니다. 최근에 Agentic Context Engineering이라고 하는 새로운 LLM 서비스 최적화 프레임워크를 제시한 논문이 있습니다.논문 출처 : https://arxiv.org/pdf/2510.04618Agentic Context Engineering은 에이전트가 문제를 풀면서 얻는 교훈이나 전략을 "플레이북(컨텍스트)"에 누적/조직/정제함으로써, 파라미터가 아니라 컨텍스.. 2025. 11. 20.
기존 RAG의 문제점을 해결하는 방법 : REFRAG RAG 기반으로 LLM 서비스를 구축하는 것은 기본 중에 기본입니다. 문제는 기대한 것보다 RAG 기반 답변이 정확하지도 않고 무엇보다 속도가 느리고 메모리도 많이 사용한다는 점입니다.RAG에서 검색을 할 때 의미 검색이나 의미 검색에 키워드 검색을 결합한 방법도 정확한 2,3개의 청크만 검색하기 어려운 것이 현실입니다. 그래서 검색을 통해서 청크를 뽑아낼때 가능하면 많이 검색하려고(Recall 확보) 합니다.그러다보니 사용자의 질의와 관련도가 떨어지는 청크까지 포함되서 가져오다보니 LLM 가져온 청크를 모두 메모리에 올려서 모두 읽고 답변을 하다보니 속도(TTFT : Time To First Token)도 느리고 메모리가 가득차서 서비스가 엄청 느려지게 됩니다.무엇보다 RAG 검색기에서 검색한 청크는.. 2025. 11. 20.
LangGraph와 Multi-Agent 기반의 보험사 에이전트 사례 Multi Agent System은 여러 개의 AI 에이전트가 협업하여 복잡한 업무를 처리하는 시스템입니다. 마치 회사 조직처럼 각자의 전문 분야를 가진 팀원들이 협력하여 고객의 문제를 해결하는 구조라고 생각하시면 됩니다.깃허브 출처 : https://github.com/alphaiterations/multi-agent-system GitHub - alphaiterations/multi-agent-systemContribute to alphaiterations/multi-agent-system development by creating an account on GitHub.github.com위 다이어그램에서 보시는 시스템은 보험사 고객 서비스를 위한 Multi Agent System의 예시 입니다. 1... 2025. 11. 18.

티스토리툴바