Qwen3:4b 합성 한국어 전사본 JSON 추출 — 항목 완전 일치: 결정 12/60, 담당자-할 일 37/60
자연어 전사본을 JSON으로 바꿔 다음 자동화 단계에 넘기려는 데이터/AI 개발 실무자를 위한 필드 추출 실험입니다. 로컬 LLM qwen3:4b에 합성 한국어 전사본 30개를 넣고, 결정과 담당 할 일을 JSON으로 뽑게 했습니다. 이 글의 정확도는 사람이 뜻이 같다고 판단하는 점수가 아닙니다. 결정 항목은 사람 검토 없이 다음 자동화 행동으로 넘기면 안 됩니다. 실행 전에 전사본과 별도로 고정한 정답표의 항목과 정규화된 문자열이 완전히 일치했는지로만 셌습니다.
무엇을 확인하려 했나
Qwen 공식 Qwen3 발표는 Qwen3-4B를 Qwen3 계열의 한 모델로 소개합니다. 이 실험은 그 발표나 다른 벤치마크의 성능 주장을 재현한 것이 아닙니다. 고정한 합성 전사본에서 로컬 qwen3:4b가 남긴 항목이 정답표와 완전히 일치하는지 세는 자체 측정입니다. 문서 확인일은 2026-08-25입니다.
확인할 질문은 결정, 할 일, 담당자-할 일 쌍, 마감일 중 어느 항목이 이 조건에서 더 남는가였습니다. 실험 전 가설은 두 가지였습니다. 결정 재현율이 담당자-할 일 쌍 재현율보다 10%p 이상 높고, 고정 전사본을 다섯 번 반복하면 적어도 한 항목이 달라질 것이라고 적었습니다.
입력은 직접 만든 허구의 한국어 텍스트 전사본입니다. 실제 사람, 음성 인식, 녹음 품질, 실제 회의 상황은 이 범위에 없습니다.
어떻게 돌렸나
| 항목 | 조건 |
|---|---|
| 입력 | 자기 작성 합성 한국어 텍스트 전사본 30개 |
| 정답표 | 실행 전에 전사본과 별도로 고정한 결정·할 일·담당자-할 일·마감일 JSON |
| 전사본 구성 | 각 전사본에 결정 2개, 배정된 할 일 2개, 명시적 제외 예시 1개 |
| 모델 | Ollama qwen3:4b (반환 모델도 qwen3:4b) |
| 환경 | Apple M4 Max, 64GB 통합 메모리, macOS 26.6.2, Ollama 0.32.14 |
| 생성 설정 | 매번 같은 조건을 준 고정값: temperature=0, seed=20260825, num_ctx=4096, num_predict=512, think=false, JSON Schema |
| 정확도 단위 | 첫 실행을 예열로 뺀 뒤 전사본 30개를 각 1회 |
| 안정성 단위 | 미리 고른 전사본 6개를 예열 뒤 각 5회 |
30개 전사본은 한 번씩 추출해 점수를 냈고, 미리 정한 6개 전사본은 각각 다섯 번 반복했습니다. 이 합성 표본에서 결정 재현율이 20.0%였으므로, 적어도 결정 항목은 사람 검토 없이 다음 자동화 행동으로 넘기면 안 됩니다.
합성 전사본·정답표·Ollama runner는 공개 재현 저장소의 전사본 JSON 실험에 있습니다. 첫 공개 실행도 결정 12/60, 담당자-할 일 쌍 37/60을 기록했고, 재실행 결과에서 확인할 수 있습니다.
채점기는 Unicode, 공백, 인용부호, 끝 문장부호만 정규화한 뒤 필드 집합을 비교합니다. 문장이 뜻이 비슷하거나 사람이 같은 할 일이라고 판단할지는 보지 않습니다. 따라서 조사 하나를 뺀 문구나 두 결정을 한 문장으로 붙인 출력도 정답표의 분리된 필드와 같지 않으면 불일치입니다.
결과
정확도 실행은 30개였고, JSON을 읽지 못한 경우는 0건이었습니다. 마감일은 정답표에 날짜가 있는 47개 항목만 재현율 계산에 넣었습니다.
| 항목 | 정답표 재현율 | 출력 정확도 | 균형 점수(F1) | 전사본별 재현율 평균 ± 모집단 표준편차 |
|---|---|---|---|---|
| 결정 | 20.0% (12/60) | 38.7% (12/31) | 26.4% | 20.0% ± 27.7% |
| 할 일 | 63.3% (38/60) | 62.3% (38/61) | 62.8% | 63.3% ± 44.6% |
| 담당자-할 일 쌍 | 61.7% (37/60) | 60.7% (37/61) | 61.2% | 61.7% ± 46.0% |
| 마감일 | 57.4% (27/47) | 47.4% (27/57) | 51.9% | 58.3% ± 44.9% |
정확도 전사본 한 개의 경과 시간은 1.306초 ± 0.141초(모집단 표준편차, n=30)였습니다.
| 오류 정리 | 개수 |
|---|---|
| 결정 누락 / 정답표에 없는 결정 출력 | 48 / 19 |
| 할 일 누락 / 정답표에 없는 할 일 출력 | 22 / 23 |
| 담당자-할 일 쌍 누락 / 정답표에 없는 쌍 출력 | 23 / 24 |
| 마감일 누락 / 정답표에 없는 마감일 쌍 출력 | 20 / 30 |
| 변경 필드로 기록된 값 | 9 |
| 명시적으로 제외한 예시를 출력한 값 | 0 |
미리 고른 6개 전사본을 예열 뒤 5회씩 돌린 결과에서는 항목 집합 변화가 0/6건이었습니다. 각 전사본의 다섯 출력은 정규화한 뒤 모두 같았습니다.
뭐가 달랐나
사전등록한 방향과 반대로 나왔습니다. 결정 재현율 20.0%는 담당자-할 일 쌍 재현율 61.7%보다 41.7%p 낮았습니다. 반복 출력도 달라지지 않았습니다. 사전등록한 성공 조건 둘을 충족하지 못했으므로 사전 가설은 지지되지 않았습니다.
원본 결과에는 두 결정 문장을 하나로 붙여 출력한 경우가 있습니다. 이때 합쳐진 문장은 정답표의 어느 결정 문자열과도 정확히 일치하지 않아 결정 두 개의 누락과 정답표에 없는 출력 하나로 기록됩니다. 마감일에서는 YYYY-MM-DD 형식 가운데에 문자가 추가된 값도 관찰됐습니다. 담당자-할 일에는 같은 할 일 문구를 다른 담당자에 붙인 행도 있었습니다.
반복해서 같은 값을 냈다는 사실은 그 값이 맞다는 뜻이 아닙니다. 여기서는 고정된 설정과 여섯 전사본에서 항목 출력이 같았다는 것만 확인했습니다.
남은 것
이 점수는 합성 텍스트 30개와 하나의 정답표에 묶여 있습니다. 실제 발화, 전사 오류, 대화가 겹치는 상황, 더 긴 문맥, 다른 모델 태그와 다른 생성 설정은 측정하지 않았습니다. 여섯 전사본의 5회 반복도 이 입력 밖의 안정성을 보장하지 않습니다.
항목 완전 일치 채점은 의미가 같은 요약이나 자연스러운 말바꿈을 정답으로 인정하지 않습니다. 반대로 사람 검토자가 실제로 허용할 문구인지도 이 실험만으로는 알 수 없습니다. 이 값은 사람 평가 정확도가 아니라 이 정답표에 대한 항목 일치율입니다.
합성 입력·정답표·실행 코드·새 실행 결과는 공개했습니다. 다만 이 글의 원래 로컬 실행보다 먼저 가설이 Git에 기록됐다는 증거는 남아 있지 않습니다.