문서 작업 가이드
게시·초안 비교 전에 텍스트 측정치를 감사하는 방법
빈도·밀도·가독성·어휘 성향·유사도를 봐 달라는 모호한 요청을 재현 가능한 측정 계약으로 바꾸고, 점수가 언어·문맥·사람의 근거를 대신하지 않게 합니다.
작성 및 검수 SimpleWebUtils게시일: 검토일:
이 작업 흐름을 검증한 방법
텍스트 분석 워크벤치 검증에는 “문장 경계를 넘지 않고 반복되는 세 단어 구문 감사”에 적힌 정확한 입력을 사용했습니다. 정상 경로에서 “측정치를 고르기 전에 결정부터 작성”, “집계 계약 기록” 단계를 실행한 뒤 생성된 값이나 파일을 문서 결과와 맞춰 봤습니다. 위험 검토 항목은 “분모가 다른 비율 비교”, “가독성을 콘텐츠 품질 목표로 사용”였습니다.
보고서는 대상 구문의 등장 횟수와 검사 가능한 3토큰 구간 수를 구분하고 NFKC·대소문자·숫자 제외 규칙을 적용했으며, 문장 경계를 넘지 않은 각 반복 위치를 제시했습니다.
문제 상황
“키워드 밀도를 확인해 줘”, “8학년 수준 글로 바꿔 줘”, “이 리뷰가 부정적인지 알려 줘”라는 요청에는 숫자를 만드는 선택이 빠져 있습니다. 문자는 바이트·코드 포인트·그래핌 중 무엇인지, 단어는 어떤 분절과 대소문자 정책인지, 키워드 비율은 어떤 분모인지에 따라 달라집니다. 영어 가독성 공식은 한국어·일본어로 이전되지 않고, 어휘 적중은 감정이나 의도가 아니며, 정규화는 중요한 차이를 지울 수 있습니다. 계약을 쓰지 않으면 모두 올바른 두 도구가 서로 다른 값을 내고 보기 좋은 점수가 원래 질문을 대체합니다.
이럴 때 사용하세요
- 편집자가 한도 안의 두 초안에서 반복 표현을 줄이거나 용어 사용을 비교하려 할 때
- 콘텐츠 검토에서 키워드 밀도를 요구하지만 토큰 규칙·구문 길이·겹침·분모를 정하지 않았을 때
- 영어 가독성 기준선이 필요하지만 공식이 이해도나 사실 품질을 검사하지 않는다는 점도 함께 기록할 때
- 지원·연구 담당자가 AI 감정 모델이라고 주장하지 않고 뚜렷한 영어 긍정·부정 단어를 투명하게 1차 검토할 때
- 겉보기에 같거나 다른 유니코드 문자열의 판단 기준이 정규화·대소문자·그래핌 편집·단어 집합 중 무엇인지 정해야 할 때
단계
- 1단계
측정치를 고르기 전에 결정부터 작성
결과에 따라 바뀔 행동을 적습니다. 반복 용어 수정, 목표 구문 확인, 두 영어 버전 비교, 사람 검토 대기열 구성, 정규화 정책이 불일치를 설명하는지 확인처럼 구체적으로 씁니다. 대상 독자와 잘못된 결론의 비용도 기록합니다. 결과가 어떤 결정도 바꾸지 않는다면 도구가 있다는 이유로 점수를 만들지 않습니다.
- 2단계
원문을 보존하고 작업본을 비식별화
손대지 않은 원문, 안정적인 버전 이름, 표본을 재현할 문맥을 보존합니다. 작업본에서는 비밀값과 개인정보를 제거합니다. 브라우저 로컬 처리는 이 도구의 업로드를 막지만 복사된 보고서, 스크린샷, 다운로드, 브라우저 확장, 이후 공유까지 비공개로 만들지는 않습니다. 제로폭 문자는 잡음이 아니라 증거일 수 있으므로 확인한 뒤에만 제거합니다.
- 3단계
집계 계약 기록
빈도·밀도에는 분절 로케일, NFC·NFKC·정규화 없음, 대소문자 구분, 숫자 포함, 최소 토큰 길이, 공백 정책, 행 상한, 정확한 목표 구문을 기록합니다. 문자는 Intl.Segmenter 그래핌 클러스터로 정의합니다. 밀도는 필터 토큰·문장부호·줄바꿈 경계를 넘지 않는 같은 길이 유효 창 중 겹칠 수 있는 출현 비율로 정의합니다.
- 4단계
언어별 적용 경계 설정
다섯 가독성 값은 영어가 우세한 문단에만 사용하고 문장·단어·글자·추정 음절·복잡 단어 수를 함께 남깁니다. 대표 표본이 100단어 미만이면 불안정한 비교로 표시합니다. 어휘 성향은 영어 AFINN 근거에만 사용하고 토큰 적중률을 신뢰도가 아닌 적중 범위라고 부릅니다. 누락된 라벨을 번역하거나 추론하지 않습니다.
- 5단계
한도 안에서 실행하고 진단부터 검사
비식별화한 원문을 Text Analysis Workbench에 넣고 기록한 옵션을 설정한 뒤 전용 Worker를 실행합니다. 첫 점수를 읽기 전에 모든 제외·변환 알림을 봅니다. 유사도에서는 정확 일치가 원문인지 변환된 값인지 확인하고 그래핌 비교 셀이 12,000,000 아래였는지 확인합니다. 개정본이라면 Diff Checker도 열어 위치와 의미가 한 비율로 사라지지 않게 합니다.
- 6단계
근거·한계·사람의 결정을 분리해 보고
원문 버전, 옵션, 집계 수, 전체 보고서, 브라우저 확인일, 해석을 서로 다른 필드로 저장합니다. 밀도에는 분모, 가독성에는 공식, 어휘 성향에는 적중 단어와 범위, 유사도에는 변환 정책을 함께 씁니다. 그 뒤 편집자나 도메인 검토자가 표현·정확성·안전·접근성·어조를 바꿀지 결정합니다. 개정 후에는 목표를 바꾸지 말고 같은 계약으로 다시 실행합니다.
예시
문장 경계를 넘지 않고 반복되는 세 단어 구문 감사
입력
결정: 영어 도움말의 의도치 않은 반복을 줄인다. 계약: 영어 분절, NFKC, 대소문자 미구분, 숫자 제외, 최소 1그래핌, 목표 ‘local text tools’, 겹치는 3토큰 창, 문장·줄 경계 보존.출력
목표 출현 수와 유효 3토큰 창 수를 함께 보고하고, 정규화·제외 알림을 남기며, 원문에서 각 출현을 읽습니다. 보편적 비율을 쫓지 말고 실제로 명료성을 해치는 반복만 수정합니다.흔한 실수
원하는 점수에서 시작
원하는 숫자가 나올 때까지 정규화·토큰 필터·구문 길이·표본 범위·공식을 바꾸면 비교 가능성이 사라집니다. 결과를 보기 전에 계약을 고정하고 이후 변경은 새 측정으로 문서화하세요.
분모가 다른 비율 비교
구문 출현 수를 단어·구문 창·문장·문자 중 무엇으로 나누느냐에 따라 값이 달라집니다. 비율만 복사하지 말고 분자·분모·토큰 길이·겹침 정책·제외 조건을 보존하세요.
가독성을 콘텐츠 품질 목표로 사용
짧은 문장과 단순 철자는 필요한 정밀성을 없애면서 공식 값만 높일 수 있습니다. 영어 가독성 값은 사실, 구조, 접근성, 번역 품질, 전문 지식, 독자의 실제 이해를 검증하지 않습니다.
어휘 성향을 조정·진단에 사용
AFINN은 부정어가 없는 위협을 놓치고, 반어를 뒤집고, 인용문에 점수를 주며, 이름·전문 용어를 오독할 수 있습니다. 조정, 정신건강, 고용, 신용, 안전 등 중요한 결정을 이 휴리스틱으로 자동화하지 마세요.
변환 뒤 동등성을 원문 동등성으로 표현
NFKC는 호환 문자를 접고 대소문자 미구분은 대소문자 차이를 없앱니다. 해당 옵션 뒤 편집 거리 0은 바이트, 서명된 콘텐츠, 포렌식의 동일성을 증명하지 않습니다. 원문을 보존하고 결정에 맞는 동일성 정의를 선택하세요.
자주 묻는 질문
키워드 밀도에 보편적인 이상 비율이 있나요?
없습니다. 검색 유용성은 하나의 밀도 숫자가 아니라 의도를 정확하고 독창적이며 탐색 가능한 콘텐츠로 충족하는 데서 옵니다. 문서화한 밀도는 반복 후보를 찾는 데만 사용하고 각 출현을 문맥에서 읽으세요. 목표를 맞추려고 변형어·채움 문장을 추가하지 마세요.
JavaScript 문자열 길이 대신 그래핌을 쓰는 이유는 무엇인가요?
JavaScript length는 UTF-16 코드 유닛을 셉니다. 보이는 한 문자는 서로게이트 쌍, 결합 부호, 변형 선택자, 피부색 수식어, 제로폭 결합 시퀀스를 포함할 수 있습니다. 그래핌 분절은 사용자가 보는 단위에 가깝고 코드 포인트 표시는 기술 근거를 보존합니다.
영어·한국어·일본어 단어 빈도를 비교할 수 있나요?
각 언어에 맞는 분절 로케일과 같은 정규화 정책으로 개별 검사는 가능하지만 언어마다 토큰화와 형태론이 다릅니다. 원시 토큰 빈도는 언어 간 의미 빈도가 아닙니다. 로케일을 기록하고 해석에는 해당 언어에 능숙한 검토자를 포함하세요.
어떤 가독성 값을 게시해야 하나요?
대개 숫자 하나보다 그 숫자로 내린 글쓰기 결정을 게시하는 편이 낫습니다. 보고서에 측정이 필요하면 관련 공식 이름, 대표 영어 표본, 통계, 추정 한계, 검토일을 함께 넣고 학년 추정을 이해도 보장처럼 표현하지 마세요.
어휘 신호 없음은 무엇을 뜻하나요?
분절된 토큰 중 고정된 영어 AFINN·이모지 라벨에 적중한 것이 없다는 뜻입니다. 중립 감정, 무해한 내용, 객관적 언어, 감정 부재를 뜻하지 않습니다. 원문이 비영어, 전문적, 간접적, 문맥 의존적이거나 어휘집 밖일 수 있습니다.
유사도 대신 Diff Checker를 써야 하는 때는 언제인가요?
위치, 추가·삭제 표현, 줄 구조, 검토 이력이 중요하면 Diff Checker를 사용하세요. 한도 안 유사도는 집계 편집·어휘 겹침 신호에 적합합니다. 큰 문서는 곱셈형 정확 편집 거리보다 전용 diff나 문서 비교 시스템이 알맞습니다.