Consilience EngramRAG: 장기 인간–AI 작업을 위한 문서 기반 온톨로지 메모리

프런티어 언어 모델은 한 번의 대화 안에서 놀라운 추론을 수행합니다. 그러나 장기 지식 작업에서 필요한 것은 순간의 추론 능력만이 아닙니다. 사람이 가진 의도와 제약, 지난 결정과 그 근거, 이후에 철회된 사실이 다음 세션에서도 올바른 형태로 다시 선택돼야 합니다. 긴 컨텍스트 창은 많은 토큰을 담을 수 있지만, 무엇을 남기고 무엇을 고치며 무엇을 지금의 맥락으로 가져올지 스스로 결정하지는 않습니다. 실제로 Lost in the Middle은 관련 정보의 위치만 바뀌어도 긴 문맥 활용이 크게 달라짐을 보였고, 현실의 검색 맥락에 대한 감사는 합성 데이터가 실제로 회수되는 불충분하고 상충하는 근거의 복잡성을 과소대표한다고 보고했습니다.

이 연구는 그 문제를 공유 맥락 외재화 병목(shared-context externalization bottleneck)으로 정의합니다.

장기적이고 도구를 사용하는 지식 작업에서 LLM의 능력은 필요하지만 충분하지 않습니다. 시스템의 신뢰도는 인간의 의도·근거·수정 이력이 얼마나 지속적이고 검토 가능하며 검색 가능한 외부 상태로 표현되는지에 의해 함께 결정됩니다.

Consilience의 핵심 기술인 EngramRAG는 이 가설을 구현한 지속형 메모리 아키텍처입니다. 사람이 읽고 수정하는 Markdown을 저자 기록의 표면으로 두고, 그 문서에서 파생한 온톨로지를 기계가 탐색하는 관계 인덱스로 사용합니다. 에이전트는 같은 문서를 검색하고 읽고 수정하며, 학습한 지식도 다시 일반 문서로 남깁니다. 그래프는 그 아래에서 출처·동일성·개정·검색을 담당하되, 기계의 해석이 인간의 기록을 덮어쓰지 않도록 분리됩니다.

이것은 인간의 뇌를 모사했다는 주장이 아닙니다. 뇌는 설계 은유이고, 연구 대상은 외부 기억의 표현·선택·개정 생명주기입니다.

1. 표현력보다 외재화와 선택의 문제

“인간 언어의 표현력이 AI의 병목”이라는 직관은 절반만 맞습니다. 사람은 문장으로 풍부한 의미를 표현할 수 있습니다. 문제는 장기 작업에 필요한 모든 암묵적 맥락을 매번 완전한 문장으로 직렬화할 수 없다는 데 있습니다. 작성한 문서도 시간이 지나면 서로 흩어지고, 같은 대상이 다른 이름으로 나타나며, 오래된 결정과 최신 결정이 함께 검색됩니다.

반대편에서 LLM은 주어진 맥락을 능숙하게 해석하지만, 외부화되지 않은 의도는 읽을 수 없습니다. 원문이 어딘가에 존재하더라도 현재 질의와 연결되지 않으면 사용할 수 없습니다. 따라서 병목은 언어 자체보다 다음 변환에 있습니다.

인간의 암묵적 지식을 지속 가능한 기록으로 외재화한다.
기록 사이의 동일성과 관계를 기계가 탐색할 수 있게 만든다.
제한된 컨텍스트에 지금 필요한 근거만 선택한다.
틀린 해석과 오래된 사실을 인간이 확인하고 되돌릴 수 있게 한다.
작업 중 검증된 새 지식을 같은 생명주기로 되돌린다.

Markdown과 온톨로지는 서로를 대체하지 않습니다. 문서는 서사·뉘앙스·근거를 보존하고, 온톨로지는 그 문서들 사이에서 반복되는 대상과 관계를 조작 가능한 구조로 만듭니다. EngramRAG의 연구 가설은 이 이중 표현이 원문만 또는 그래프만 가진 시스템보다 장기적인 인간–AI 협업에 적합하다는 것입니다.

이 문제 설정은 외부 도구가 인지 과정의 일부가 될 수 있다는 Clark와 Chalmers의 확장된 마음, 물리적 행동으로 정보처리 요구를 바꾸는 인지적 오프로딩, 협업 참여자가 공동 기반을 계속 갱신한다는 Clark와 Brennan의 대화적 그라운딩과 맞닿아 있습니다. 비정형 자료를 처음부터 엄격한 스키마에 넣기보다 사용 과정에서 점진적으로 형식화해야 한다는 Shipman과 Marshall의 연구도 직접적인 선행입니다. 따라서 “자유 문서에서 온톨로지를 만드는 최초의 시스템”을 주장하지 않습니다. 본 연구는 인간의 인지 향상을 측정하지 않았으므로, 이 문헌들은 문제를 설명하는 이론적 토대이지 효과를 증명하는 결과가 아닙니다.

2. 하나의 메모리가 아니라 역할이 다른 세 층

EngramRAG는 모든 기억을 하나의 벡터 저장소에 넣지 않습니다. 서로 다른 신뢰 경계와 수정 규칙을 가진 세 층으로 나눕니다.

층	저장되는 것	권위와 생명주기
문서 기억	사람이 작성한 주장·근거, 원본 자료, 에이전트가 검증해 남긴 학습 노트	Markdown에서 사람이 직접 읽고 수정합니다. 저자 기록의 기준점입니다
관계 기억	엔티티·관계·타입·문서 출처·해소 및 개정 후보	문서에서 파생한 RDF와 분석 오버레이입니다. 다시 만들거나 판정을 철회할 수 있습니다
절차 기억	사용자 선호, 진행 중인 프로젝트, 이 워크스페이스에서 일하는 방법	작은 에이전트 메모리로 분리합니다. 과거 세션이 작성했더라도 지시로 신뢰하지 않습니다

이 분리는 안전성 설계이기도 합니다. 웹 페이지나 화면의 프롬프트 인젝션을 읽은 세션이 내용을 절차 기억에 복사할 수 있기 때문에, 저장된 메모리는 다음 세션의 시스템 프롬프트에 들어갈 때도 external_content로 감싸집니다. “무엇이 사실인가”는 지식 문서로, “이 사용자와 어떻게 일할 것인가”는 절차 기억으로 보내고 두 경로를 혼합하지 않습니다.

EngramRAG는 사람이 수정하는 문서를 권위 기록으로 유지하고, 파생 온톨로지와 검색 맥락을 거쳐 에이전트의 검토 가능한 쓰기가 다시 문서로 돌아오게 합니다.

에이전트의 learn 동작도 모델 파라미터 학습이나 무검토 자동 기억 삽입이 아닙니다. 유사한 제목을 먼저 검색해 중복을 막고, 검증한 결과를 learned/*.md라는 일반 문서로 씁니다. 새 노트는 즉시 그래프의 사실이 되지 않으며, 사용자 검토와 후속 추출을 거쳐 다른 문서와 같은 생명주기에 참여합니다. 이 지연은 불편이 아니라 기계가 쓴 문장이 곧바로 권위 있는 사실이 되는 것을 막는 경계입니다.

3. 문서에서 다시 문서로 돌아오는 기억 루프

시스템의 한 순환은 다음과 같습니다.

기록과 수집 — 사람 또는 에이전트가 Markdown을 작성합니다. 외부 파일은 원본을 보존한 채 포맷별 규칙으로 Markdown에 변환됩니다.
증분 추출 — 본문 해시가 바뀐 문서만 엔티티·관계·statement로 추출합니다. 긴 문서는 최대 16개 구간으로 나누고, 앞 구간의 엔티티를 뒤 구간의 대명사 해소 힌트로 전달합니다.
출처 경계 생성 — 한 문서에서 나온 쿼드는 그 문서의 named graph에 저장합니다. 재추출할 때 문서 그래프 전체를 교체하므로 삭제된 문장의 오래된 triple이 남지 않습니다.
해소와 통합 — 표면형, 임베딩, 타입, 문서 증거, LLM 판정을 결합해 같은 대상인지 판단합니다. 결과는 원문을 합치는 hard merge가 아니라 가역적 overlay입니다. 사용자의 distinct 판정은 이후 자동 병합을 막습니다.
검색과 맥락 조립 — 질의로 그래프를 시드하고 Personalized PageRank로 관계를 확산한 뒤, 문서 순위와 관계 근거를 제한된 컨텍스트로 조립합니다.
행동과 수정 — 에이전트가 동일한 검색·읽기·쓰기 경로로 답변하고 문서를 편집합니다. 쓰기는 권한 모드, diff, 체크포인트와 되감기 경계를 통과합니다.
재진입 — 검증된 새 지식이나 수정된 결정은 다시 Markdown에 남고, 다음 추출에서 그래프가 갱신됩니다.

이 루프에서 중요한 것은 그래프가 계속 커지는 것이 아닙니다. 사람이 원문으로 돌아가 틀린 해석을 고칠 수 있고, 파생 구조가 그 수정에 따라 다시 계산된다는 것입니다.

전체 시스템 상태가 Markdown 하나만으로 완전히 복원되는 것은 아닙니다. 사용자 병합 판정, 어휘, 재시도 상태와 일부 메타데이터는 SQLite와 sidecar에도 존재하고, LLM 추출은 비결정적입니다. 따라서 정확한 표현은 “Markdown이 모든 바이트의 유일한 원본”이 아니라 인간이 작성한 지식의 기준점이며 파생 그래프의 재구축 입력이라는 것입니다.

4. EngramRAG 검색

검색 코어는 HippoRAG와 HippoRAG 2의 지식그래프·Personalized PageRank 설계에서 출발합니다. HippoRAG 2가 사실 기억, 연관 기억, sense-making을 함께 다룬다면, EngramRAG는 개인 작업공간에서 그래프를 지속적으로 만들고, 고치고, 행동에 다시 사용하는 운영 생명주기에 초점을 둡니다.

명시적 검색은 네 종류의 신호를 함께 사용합니다.

질의와 엔티티 표면형의 어휘 일치
질의와 엔티티 라벨 임베딩의 의미 유사도
질의와 추출 관계 triple 임베딩의 유사도
문서·청크 임베딩과 BM25 문서 검색

이 시드에서 PPR이 관계·동의어·계층·문서 언급 엣지를 따라 활성화를 확산합니다. 마지막에는 상위 노드만 자르는 대신, 한쪽 끝이 중요한 엔티티인 엣지와 질의에 직접 필요한 낮은 순위의 bridge를 위한 자리를 함께 예약합니다. 멀티홉 경로의 중간 관계가 최종 컨텍스트에서 탈락하는 “마지막 1미터”의 손실을 막기 위해서입니다.

밀집한 표나 카탈로그에서는 여러 질의에 두루 가까운 임베딩 허브가 후보를 점유했습니다. 이를 고정 임계값으로 자르지 않고, 교차언어 임베딩에서 쓰인 CSLS를 시딩 단계에 이식해 각 엔티티의 국소 밀도를 빼도록 했습니다. 최초 실험에서는 dense seeding recall@10이 77.5에서 97.0으로 올랐고 추가 API 호출은 없었습니다. 그러나 10만 라벨로 확장하자 상위 40개에서 손실이 발견됐습니다. 원본 cosine 1위에 한 자리를 보장하는 floor가 손실을 줄였지만, 3만·6만 라벨의 @40에는 각각 −4.9pp의 유의한 잔여 손실이 남았습니다. 작은 실험의 성공을 그대로 일반화하지 않고 규모에서 다시 깨뜨린 결과까지가 이 기여의 일부입니다.

모든 턴에서 전체 네 레그를 실행하지는 않습니다. 현재 자동 턴 컨텍스트는 지연과 토큰을 제한하기 위해 임베딩 없이 어휘·그래프 경로만 사용하고, 최대 8개 결과의 짧은 맥락을 주입합니다. 더 깊은 질문에서는 에이전트가 명시적 검색이나 query_graph로 검증합니다. 자동 주입문 자체도 “부분적이거나 오래됐을 수 있으니 다시 확인하라”고 표시합니다.

5. 온톨로지를 진실이 아니라 검토 가능한 해석으로 다루기

LLM이 문장에서 triple을 추출했다는 사실은 그 triple이 참이라는 뜻이 아닙니다. EngramRAG는 이 차이를 설명 문구가 아니라 데이터 구조로 강제합니다.

문서별 provenance. 추출된 모든 쿼드는 문서별 named graph에 귀속됩니다. statement 노드는 원문 라벨, 관계, 작성자와 추출기를 구분하는 속성을 가집니다. 이는 W3C PROV-O와 PAV의 구분을 사용합니다.

Assertion과 Analysis의 분리. 사용자가 쓴 관찰과 LLM이 제안한 추론은 같은 graph에 섞이지 않습니다. 기계가 만든 supersession이나 분석 엣지는 <document>#analysis에 저장되고, 원 assertion graph는 그대로 남습니다.

가역적 엔티티 해소. same, broader, narrower, related, distinct 판정을 원래 triple 위의 overlay로 저장합니다. 잘못 합쳐진 두 대상을 다시 분리할 수 있고, 사용자가 다르다고 판정한 쌍은 자동 병합하지 않습니다.

제한적 개정. 날짜가 있고 같은 대상을 다루는 서로 다른 decision statement에 한해, 나중 문장이 이전 문장을 대체하는지 후보를 만듭니다. 수락과 거절은 지속되지만, 이것은 일반적인 시간 추론이나 완전한 bitemporal memory가 아닙니다.

타입의 역할 제한. 11개 core kind와 도메인별 custom kind를 사용하고, 서로 양립할 수 없는 타입은 오병합의 veto로 작동합니다. 그러나 타입 엣지는 현재 PPR 순위에서 의도적으로 제외돼 있습니다. 따라서 “엔티티 타입이 검색 정확도를 높였다”는 별도 애블레이션 전에는 주장하지 않습니다.

이 원칙을 한 문장으로 줄이면 provenance, not truth입니다. 시스템은 무엇을 믿어야 하는지 자동으로 선언하기보다, 왜 그 관계가 생겼고 누가 작성·추출·승인했는지를 보존합니다.

6. 모델을 고정하고 외부 구조만 바꾼 실험

핵심 주장은 “그래프가 있어 보인다”가 아니라, 같은 모델에서 그래프를 제거하면 무엇이 달라지는가로 검증했습니다.

연구 질문	고정한 것	바꾼 것	결과	주장 범위
코드 구조가 에이전트의 탐색을 돕는가	Claude Opus 4.8, 과제, 저장소, 루프	grep → 임베딩 → 그래프 → 그래프+nudge	`14/21 → 14/21 → 18/21 → 19/21`	코드 위치 탐색. 수정 품질과 문서↔코드 융합은 미측정
실제 노트에서 그래프 융합이 필요한가	질문, 볼트, 출하 검색 경로	전체 융합 vs 키워드 전용	`90.7% vs 60.0%`, `76.0% vs 37.3%`	두 실제 볼트의 fact lookup, recall@10
멀티홉 증거에 구조가 필요한가	MuSiQue 100문항, 1,730문단, 추출 경로	graph vs graph-off/keyword-only	ALL@10 `63% vs 25%/23%`; 4홉 `23.5% vs 0/17`	검색 단계. reader EM/F1은 미측정
구조가 비용과 반복에도 영향을 주는가	첫 코드 실험의 동일 조건	도구 구성	성공당 비용 `$0.180 → $0.092`, 지연 `22.0s → 17.5s`, 도구 호출 `7.76 → 5.29`	두 실행에서 성공당 비용·지연·round는 일관; raw token/cost는 표본 의존

첫 코드 실험의 네 조건은 실제 에이전트가 도구를 반복 호출하는 live run입니다. 임베딩만 추가한 조건은 grep과 같은 14/21이었고, graph-neutral에서 18/21로 올랐습니다. 이 분해는 성능 차이가 “더 강한 모델”이나 “임베딩을 썼다”는 사실이 아니라 관계 구조와 그것을 사용하는 도구 경로에서 나왔음을 보여줍니다. 별도의 어려운 네 과제에서는 grep 6/12, graph+nudge 12/12였습니다.

하지만 이 결과로 “모델은 더 이상 병목이 아니다”라고 말할 수는 없습니다. 한 모델과 제한된 과제에서 모델 외부 구조도 독립적인 병목이 될 수 있음을 보였을 뿐입니다. 모델 능력과 메모리 구조는 대체재가 아니라 곱해지는 두 축이라는 해석이 가장 정확합니다.

7. 대표성 있는 평가와 실패를 보존하는 방법

공개 벤치마크 하나에서 높은 수치를 얻으면 그 수치에 맞춰 제품을 바꾸기 쉽습니다. EngramRAG에서는 반대로 실제 작업 분포에 가까운 질문을 먼저 평가하고, 공개 벤치마크는 특정 실패 모드를 압박하는 스트레스 테스트로 사용했습니다.

MuSiQue에서 45개 융합 구성을 훑었을 때 상위 6개가 모두 BM25 가중치 0이었습니다. 그러나 같은 설정은 실제 볼트에서 recall@10을 95.3%에서 88.0%로 떨어뜨렸습니다. MuSiQue의 방해 문단은 질문과 어휘적으로 비슷하도록 선택돼 BM25에 함정이 되지만, 사용자의 노트는 그런 방식으로 구성되지 않습니다. 벤치마크 점수를 위해 출하 가중치를 바꾸지 않았습니다.

다른 실험에서는 관계를 17% 더 추출했지만 표 note recall@10 차이는 첫 실행 +0.1pp, 반복 실행 +0.7pp로 하니스 변동을 넘지 못했습니다. 별도의 주어–술어 점유율 추정치는 +5.7pp에서 +3.9pp로 양수를 유지했지만 유의성 문턱은 p=0.038 → 0.478로 반복되지 않았습니다. 측정 없이 배포한 개선은 모델 오라클과 비교한 뒤 되돌렸습니다.

연구 절차는 다음 원칙을 따릅니다.

결과를 보기 전에 가설·주지표·기각 기준·커밋을 기록합니다.
가능한 경우 평가용 복제 구현이 아니라 출하 함수를 직접 호출합니다.
평균뿐 아니라 질문별 paired 비교와 실패 계층을 봅니다.
작은 코퍼스에서 이긴 구성은 실제 볼트와 큰 규모에서 다시 깨뜨립니다.
재현 실패, 사후에 발견한 사전등록의 모호성, 삭제된 원자료까지 기록합니다.

이 방식은 OpenAI의 평가 지침이 강조하는 대표 작업, 구성요소별 측정, 동일 eval의 반복과도 일치합니다. 다만 그 일치는 채용 기준이나 성능 인증이 아니라 연구 방법론상의 정렬입니다.

8. 선행연구와 차별점

HippoRAG 2는 벡터 검색과 지식그래프를 결합해 사실·연관·sense-making 기억을 함께 개선하며 RAG를 비매개변수 지속학습으로 확장합니다. EngramRAG는 그 검색 아이디어를 인간이 매일 수정하는 로컬 작업공간으로 가져와, 문서별 provenance, 엔티티 해소 판정, 개정, 재추출, 에이전트 쓰기와 같은 그래프의 운영 생명주기를 연구 대상으로 삼습니다.

Microsoft GraphRAG는 대규모 코퍼스의 글로벌 질문을 위해 엔티티 그래프와 community report를 구축합니다. Consilience에도 community와 global sense-making이 있지만, 중심 문제는 오프라인 보고서 생성이 아니라 사람이 계속 편집하는 원문과 파생 그래프가 함께 변하는 live workspace입니다.

LongMemEval은 장기 메모리를 indexing, retrieval, reading으로 분해하고 정보 추출·다중 세션 추론·시간 추론·지식 갱신·abstention을 평가합니다. EngramRAG의 현재 실증은 주로 retrieval과 시스템 생명주기에 강하고, 이 다섯 능력을 모두 end-to-end로 측정하지 않았습니다. 이 차이는 후속 평가 계획의 기준이 됩니다.

MemGPT는 운영체제의 계층형 메모리에서 영감을 받은 virtual context management를 이미 제시했습니다. Zep/Graphiti는 대화와 비즈니스 데이터로부터 역사적 관계를 유지하는 temporal knowledge graph를 구축합니다. ACL 2026의 APEX-MEM은 domain-agnostic ontology, append-only temporal evolution, 질의 시점의 충돌 해소를 결합했고, AgeMem은 저장·회수·수정·요약·폐기를 에이전트가 학습하는 도구 행동으로 만듭니다. 따라서 계층형 메모리, temporal graph memory, provenance, autonomous memory operation은 EngramRAG만의 발명이 아닙니다. 차이는 대화 로그가 아니라 사람이 직접 소유하고 고치는 작업 문서를 권위 기준으로 두고, source correction과 재추출을 같은 제품 경로에서 운영한다는 데 둡니다.

Does Memory Need Graphs?가 던지는 질문도 이 연구에 중요합니다. 그래프는 선험적으로 우월한 메모리가 아니며, 구성과 검색이 나쁘면 오히려 손해가 될 수 있습니다. EngramRAG는 그래프를 제품 이름의 근거가 아니라 제거 애블레이션의 대상으로 취급합니다. 최근 preprint PAGE-RAG 역시 그래프를 원문을 대체하는 지식 원천이 아니라 손실 있는 semantic skeleton으로 보고 원문 evidence boundary를 유지합니다. EngramRAG의 차별점을 “source-grounded graph 최초”가 아니라, 계속 편집되는 문서와 온톨로지의 공동 진화를 실제 workspace에서 운영·수정·평가한 통합으로 한정하는 이유입니다.

CoALA는 언어 에이전트를 모듈형 기억, 구조화된 행동 공간, 의사결정 과정으로 설명합니다. Consilience는 이 추상적 구분을 사람이 소유하는 파일, 파생 RDF, 검색·쓰기 도구, 권한과 되감기가 있는 상용 작업공간으로 구체화한 시스템 사례로 볼 수 있습니다.

OpenAI의 장기 메모리 노트를 이용한 context engineering 역시 세션 상태를 저장하고, 후보 기억을 증류·중복 제거·통합한 뒤 필요한 조각을 다음 실행에 주입하는 패턴을 제시합니다. EngramRAG의 차별점은 이 수명주기를 사용자 프로필 메모리에 한정하지 않고, 인간이 직접 수정하는 일반 문서와 출처 보존형 온톨로지에 연결한다는 데 있습니다.

각 구성요소가 세계 최초라는 주장은 하지 않습니다. 지식그래프 검색, PPR, CSLS, named graph provenance, agent memory와 동적 schema induction은 모두 선행연구가 있습니다. 기여는 이들을 local-first 문서 기질 + 지속적 추출 + 가역적 해소 + 검토 가능한 추론 + 에이전트 행동이라는 하나의 제품 불변식으로 묶고, 모델 고정 실험으로 그 구조의 기여를 분리한 데 있습니다.

9. 현재 한계

이 연구 기록의 신뢰도는 성공 수치보다 아직 말할 수 없는 것을 정확히 적는 데 달려 있습니다.

인간 병목 가설은 아직 인과적으로 검증되지 않았습니다. 사용자 연구, 인지 부하, 외재화 시간, 장기 회상이나 의사결정 품질을 측정하지 않았습니다.
모델×메모리 상호작용이 분리되지 않았습니다. 코드 live ablation은 한 모델 중심이고 표본이 작습니다. 더 약하거나 더 강한 모델에서도 구조 이득이 유지되는지 모릅니다.
실제 볼트 평가는 두 볼트·한 명의 사용 분포입니다. 다른 직군과 언어, 공동 작업공간으로 일반화할 수 없습니다.
검색과 최종 작업 성공은 다릅니다. MuSiQue와 실제 볼트의 주지표는 evidence retrieval이며, 답변 정확도와 장기 행동 품질을 모두 측정한 것이 아닙니다.
엔티티 해소에는 실제 오병합 결함이 있었습니다. 국소 대명사나 일반 alias가 전역 동일성으로 퍼질 수 있으며, 인간 검토가 충분하지 않으면 그래프가 오히려 맥락을 오염시킵니다.
모든 triple에 정확한 문자 span이 있는 것은 아닙니다. statement 영수증이 원문을 찾지 못하면 정직하게 비워 두지만, 관계 추출 자체는 LLM의 해석입니다.
개정은 제한적입니다. 날짜가 있는 decision statement의 supersession 후보이며, 일반 temporal knowledge base나 bitemporal ledger가 아닙니다.
문서 그래프와 코드 그래프는 현재 물리적으로 분리돼 있습니다. 문서 결정과 코드 구현의 cross-modal 검색은 제품 가설이지만 현재 코드 그래프 하니스가 검증하지 않았습니다.
재구축은 비트 단위 결정론이 아닙니다. Markdown에서 그래프를 다시 생성할 수 있지만 모델·프롬프트·출력의 비결정성 때문에 같은 쿼드가 완전히 재현된다고 보장할 수 없습니다.
자기학습에는 사실성 검증기가 부족합니다. 학습 노트는 출처 형식을 요구하고 검토 가능하지만, 모든 출처와 주장을 자동 검증하는 verifier는 아직 없습니다.
유지 비용의 공개 측정이 불완전합니다. 증분 추출의 p50/p95, 문서당 비용, 그래프 저장 증가율과 전체 재색인 대비 비용을 하나의 표로 공개해야 합니다.

10. 다음 실험

중심 가설을 제품 철학에서 연구 결과로 승격하려면 다음 실험이 필요합니다.

모델×아키텍처 요인 실험 — 여러 모델을 고정된 과제에 두고 raw files, dense RAG, graph RAG, full lifecycle memory를 교차 비교합니다.
장기 세션 평가 — 여러 날에 걸쳐 결정·수정·철회를 주입하고, 최신 사실 회수, stale-fact 억제, abstention과 근거 정확도를 측정합니다. MemoryAgentBench의 retrieval·test-time learning·long-range understanding·selective forgetting과 Mem2ActBench의 실제 tool action을 별도 종속변수로 사용합니다.
이중 표현 애블레이션 — Markdown-only, ontology-only, Markdown+ontology에서 같은 사람이 정보를 기록·수정·재사용하도록 합니다.
수정 루프 평가 — 잘못된 관계를 발견해 원문을 고치고 재추출하기까지 걸리는 시간, 단계 수, 잔여 오염을 측정합니다.
인간 연구 — chat+files 대 Consilience에서 외재화 마찰, 인지 부하, 과거 결정의 회복, 인간과 AI의 출처 이해도를 비교합니다.
생명주기 경제성 — 증분 추출의 지연·토큰·비용·저장량과 전체 재구축 대비 절감량을 공개합니다.
기억 오염 평가 — 웹·화면·에이전트 생성 콘텐츠가 사실 기억이나 절차 기억으로 잘못 승격되는 공격을 구성하고 방어율을 측정합니다.

결론

EngramRAG가 제안하는 변화는 “더 많은 문서를 검색한다”가 아닙니다. RAG의 단위를 한 번의 질의에서 기억의 전체 생명주기로 넓히는 것입니다.

사람은 완전한 프롬프트를 매번 작성하지 못하고, 모델은 외부화되지 않은 맥락을 읽지 못합니다. Consilience는 그 사이에 사람이 소유하고 수정하는 문서를 둡니다. 온톨로지는 문서를 대체하는 진실 원천이 아니라, 문서 아래에서 동일성·관계·출처·개정을 연결하는 가역적 인덱스입니다. 에이전트의 결과도 같은 문서 표면으로 돌아와 다음 작업의 기억이 됩니다.

통제 실험이 증명한 범위는 분명합니다. 같은 모델에서도 외부 구조와 맥락 선택 방식은 신뢰도와 비용을 바꿉니다. 아직 증명하지 못한 범위도 분명합니다. 그것이 인간 인지의 지배적 병목인지, 그리고 이 시스템이 실제로 사람의 사고를 향상하는지는 후속 연구가 필요합니다.

모델은 시스템 전체가 아닙니다. 장기적인 지능은 모델의 능력과, 인간과 AI가 함께 읽고 고치며 다시 사용할 수 있는 기억 기질의 곱으로 나타납니다.

측정 기록

영역	1차 기록
코드 그래프 live ablation	`docs/code-graph-eval/PAPER.md`, 7과제×3회 및 독립 hard subset
실제 볼트 검색	`docs/details/retrieval-ablation-2026-07-26.md`, Market/e2e 각 n=150
MuSiQue 멀티홉	`docs/details/musique-multihop-2026-07-26.md`, 100문항·1,730문단
CSLS와 규모 재검증	`docs/details/graphrag-seeding-csls.md`, `docs/details/csls-scale-eval-2026-07.md`
statement/provenance	`docs/details/statement-layer-frontier-research-2026-07.md`
온톨로지 한계 감사	`docs/details/ontology-graphrag-sota-audit-2026-07-26.md`