Qwen3:4b 합성 한국어 전사본 JSON 추출 — 항목 완전 일치: 결정 12/60, 담당자-할 일 37/60

합성 고정 표본의 항목 완전 일치 재현율입니다. 전사본 6개를 다섯 번 반복한 출력 일치는 정확도를 보증하지 않습니다.

자연어 전사본을 JSON으로 바꿔 다음 자동화 단계에 넘기려는 데이터/AI 개발 실무자를 위한 필드 추출 실험입니다. 로컬 LLM qwen3:4b에 합성 한국어 전사본 30개를 넣고, 결정과 담당 할 일을 JSON으로 뽑게 했습니다. 이 글의 정확도는 사람이 뜻이 같다고 판단하는 점수가 아닙니다. 결정 항목은 사람 검토 없이 다음 자동화 행동으로 넘기면 안 됩니다. 실행 전에 전사본과 별도로 고정한 정답표의 항목과 정규화된 문자열이 완전히 일치했는지로만 셌습니다.

무엇을 확인하려 했나

Qwen 공식 Qwen3 발표는 Qwen3-4B를 Qwen3 계열의 한 모델로 소개합니다. 이 실험은 그 발표나 다른 벤치마크의 성능 주장을 재현한 것이 아닙니다. 고정한 합성 전사본에서 로컬 qwen3:4b가 남긴 항목이 정답표와 완전히 일치하는지 세는 자체 측정입니다. 문서 확인일은 2026-08-25입니다.

확인할 질문은 결정, 할 일, 담당자-할 일 쌍, 마감일 중 어느 항목이 이 조건에서 더 남는가였습니다. 실험 전 가설은 두 가지였습니다. 결정 재현율이 담당자-할 일 쌍 재현율보다 10%p 이상 높고, 고정 전사본을 다섯 번 반복하면 적어도 한 항목이 달라질 것이라고 적었습니다.

입력은 직접 만든 허구의 한국어 텍스트 전사본입니다. 실제 사람, 음성 인식, 녹음 품질, 실제 회의 상황은 이 범위에 없습니다.

어떻게 돌렸나

항목	조건
입력	자기 작성 합성 한국어 텍스트 전사본 30개
정답표	실행 전에 전사본과 별도로 고정한 결정·할 일·담당자-할 일·마감일 JSON
전사본 구성	각 전사본에 결정 2개, 배정된 할 일 2개, 명시적 제외 예시 1개
모델	Ollama qwen3:4b (반환 모델도 qwen3:4b)
환경	Apple M4 Max, 64GB 통합 메모리, macOS 26.6.2, Ollama 0.32.14
생성 설정	매번 같은 조건을 준 고정값: temperature=0, seed=20260825, num_ctx=4096, num_predict=512, think=false, JSON Schema
정확도 단위	첫 실행을 예열로 뺀 뒤 전사본 30개를 각 1회
안정성 단위	미리 고른 전사본 6개를 예열 뒤 각 5회

30개 전사본은 한 번씩 추출해 점수를 냈고, 미리 정한 6개 전사본은 각각 다섯 번 반복했습니다. 이 합성 표본에서 결정 재현율이 20.0%였으므로, 적어도 결정 항목은 사람 검토 없이 다음 자동화 행동으로 넘기면 안 됩니다.

합성 전사본·정답표·Ollama runner는 공개 재현 저장소의 전사본 JSON 실험에 있습니다. 첫 공개 실행도 결정 12/60, 담당자-할 일 쌍 37/60을 기록했고, 재실행 결과에서 확인할 수 있습니다.

채점기는 Unicode, 공백, 인용부호, 끝 문장부호만 정규화한 뒤 필드 집합을 비교합니다. 문장이 뜻이 비슷하거나 사람이 같은 할 일이라고 판단할지는 보지 않습니다. 따라서 조사 하나를 뺀 문구나 두 결정을 한 문장으로 붙인 출력도 정답표의 분리된 필드와 같지 않으면 불일치입니다.

결과

정확도 실행은 30개였고, JSON을 읽지 못한 경우는 0건이었습니다. 마감일은 정답표에 날짜가 있는 47개 항목만 재현율 계산에 넣었습니다.

항목	정답표 재현율	출력 정확도	균형 점수(F1)	전사본별 재현율 평균 ± 모집단 표준편차
결정	20.0% (12/60)	38.7% (12/31)	26.4%	20.0% ± 27.7%
할 일	63.3% (38/60)	62.3% (38/61)	62.8%	63.3% ± 44.6%
담당자-할 일 쌍	61.7% (37/60)	60.7% (37/61)	61.2%	61.7% ± 46.0%
마감일	57.4% (27/47)	47.4% (27/57)	51.9%	58.3% ± 44.9%

정확도 전사본 한 개의 경과 시간은 1.306초 ± 0.141초(모집단 표준편차, n=30)였습니다.

오류 정리	개수
결정 누락 / 정답표에 없는 결정 출력	48 / 19
할 일 누락 / 정답표에 없는 할 일 출력	22 / 23
담당자-할 일 쌍 누락 / 정답표에 없는 쌍 출력	23 / 24
마감일 누락 / 정답표에 없는 마감일 쌍 출력	20 / 30
변경 필드로 기록된 값	9
명시적으로 제외한 예시를 출력한 값	0

미리 고른 6개 전사본을 예열 뒤 5회씩 돌린 결과에서는 항목 집합 변화가 0/6건이었습니다. 각 전사본의 다섯 출력은 정규화한 뒤 모두 같았습니다.

결정 재현율은 12/60, 담당자-할 일 쌍 재현율은 37/60이었습니다. 반복 출력이 같아도 항목 정확도를 뜻하지는 않았습니다.

뭐가 달랐나

사전등록한 방향과 반대로 나왔습니다. 결정 재현율 20.0%는 담당자-할 일 쌍 재현율 61.7%보다 41.7%p 낮았습니다. 반복 출력도 달라지지 않았습니다. 사전등록한 성공 조건 둘을 충족하지 못했으므로 사전 가설은 지지되지 않았습니다.

원본 결과에는 두 결정 문장을 하나로 붙여 출력한 경우가 있습니다. 이때 합쳐진 문장은 정답표의 어느 결정 문자열과도 정확히 일치하지 않아 결정 두 개의 누락과 정답표에 없는 출력 하나로 기록됩니다. 마감일에서는 YYYY-MM-DD 형식 가운데에 문자가 추가된 값도 관찰됐습니다. 담당자-할 일에는 같은 할 일 문구를 다른 담당자에 붙인 행도 있었습니다.

반복해서 같은 값을 냈다는 사실은 그 값이 맞다는 뜻이 아닙니다. 여기서는 고정된 설정과 여섯 전사본에서 항목 출력이 같았다는 것만 확인했습니다.

남은 것

이 점수는 합성 텍스트 30개와 하나의 정답표에 묶여 있습니다. 실제 발화, 전사 오류, 대화가 겹치는 상황, 더 긴 문맥, 다른 모델 태그와 다른 생성 설정은 측정하지 않았습니다. 여섯 전사본의 5회 반복도 이 입력 밖의 안정성을 보장하지 않습니다.

항목 완전 일치 채점은 의미가 같은 요약이나 자연스러운 말바꿈을 정답으로 인정하지 않습니다. 반대로 사람 검토자가 실제로 허용할 문구인지도 이 실험만으로는 알 수 없습니다. 이 값은 사람 평가 정확도가 아니라 이 정답표에 대한 항목 일치율입니다.

합성 입력·정답표·실행 코드·새 실행 결과는 공개했습니다. 다만 이 글의 원래 로컬 실행보다 먼저 가설이 Git에 기록됐다는 증거는 남아 있지 않습니다.