#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ FreeExile: 9-Language Novel Localization Engine Authoritative cross-lingual novel translation and entity enforcement tool. Compliant with docs/standards/GLOBAL_LOCALIZATION_DICTIONARY.md """ import os import sys import re import json import time import shutil import argparse import urllib.request import urllib.parse from pathlib import Path from concurrent.futures import ThreadPoolExecutor from tools.localization.novel_entities_catalog import ENTITY_DICTIONARY from tools.localization.novel_titles_catalog import CHAPTER_TITLES sys.stdout.reconfigure(encoding="utf-8") CHAPTER_PREFIX = { "en": "CHAPTER", "zh": "第", "ja": "第", "ko": "제", "th": "บทที่", "de": "KAPITEL", "ru": "ГЛАВА", "es": "CAPÍTULO", } def pre_tokenize(text: str) -> str: """Replace all known entity terms with unique tokens ZZENT000, ZZENT001, etc.""" tokenized = text for i, (vi_name, _) in enumerate(ENTITY_DICTIONARY): token = f"ZZENT{i:03d}" tokenized = tokenized.replace(vi_name, token) return tokenized def post_substitute(text: str, lang: str) -> str: """Replace tokens ZZENT000, etc. with target language equivalents.""" result = text for i, (_, trans_map) in enumerate(ENTITY_DICTIONARY): target_val = trans_map.get(lang, "") if not target_val: continue pattern = re.compile(rf"ZZENT\s*{i:03d}", re.IGNORECASE) result = pattern.sub(target_val, result) return result def translate_single_chunk(text: str, target_lang: str) -> str: """Translate a text chunk via multiple fallback endpoints with exponential backoff.""" if not text.strip(): return text api_lang = "zh-CN" if target_lang == "zh" else target_lang q = urllib.parse.quote(text) endpoints = [ f"https://clients5.google.com/translate_a/t?client=dict-chrome-ex&sl=vi&tl={api_lang}&q={q}", f"https://translate.googleapis.com/translate_a/single?client=gtx&sl=vi&tl={api_lang}&dt=t&q={q}", ] for attempt in range(8): for ep in endpoints: req = urllib.request.Request( ep, headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0"}, ) try: with urllib.request.urlopen(req, timeout=12) as response: raw = response.read().decode("utf-8") data = json.loads(raw) if isinstance(data, list): if data and isinstance(data[0], str): return "".join(data) elif data and isinstance(data[0], list): parts = [item[0] for item in data[0] if item and isinstance(item, list) and item[0]] if parts: return "".join(parts) parts = [item[0] for item in data if item and isinstance(item, list) and item[0]] if parts: return "".join(parts) elif isinstance(data, str): return data except Exception: pass time.sleep(1.0 * (attempt + 1)) raise RuntimeError(f"Failed to translate chunk after 8 retries for lang {target_lang}: {text[:60]}") def translate_chapter_content(vi_content: str, chapter_num: int, target_lang: str, thread_pool: ThreadPoolExecutor) -> str: """Translate full chapter Markdown content while enforcing format and titles.""" lines = vi_content.splitlines() prefix = CHAPTER_PREFIX.get(target_lang, "CHAPTER") ch_title = CHAPTER_TITLES.get(chapter_num, {}).get(target_lang, "") if target_lang in ("zh", "ja"): ch_header = f"# 第{chapter_num}章：{ch_title}" elif target_lang == "ko": ch_header = f"# 제{chapter_num}장: {ch_title}" else: ch_header = f"# {prefix} {chapter_num}: {ch_title}" body_lines = lines[1:] if lines and lines[0].startswith("#") else lines body_text = "\n".join(body_lines) tokenized_body = pre_tokenize(body_text) paragraphs = tokenized_body.split("\n\n") chunks = [] curr = "" for p in paragraphs: if len(curr) + len(p) + 2 < 1200: curr += ("\n\n" if curr else "") + p else: if curr: chunks.append(curr) curr = p if curr: chunks.append(curr) futures = [thread_pool.submit(translate_single_chunk, chunk, target_lang) for chunk in chunks] translated_chunks = [f.result() for f in futures] translated_body = "\n\n".join(translated_chunks) final_body = post_substitute(translated_body, target_lang) final_body = re.sub(r"\n{3,}", "\n\n", final_body) return f"{ch_header}\n{final_body}" def process_single_chapter(vi_file: Path, chapter_num: int, act_num: int, target_langs: list, thread_pool: ThreadPoolExecutor): """Translate one chapter to all target languages and write files.""" with open(vi_file, "r", encoding="utf-8") as f: vi_content = f.read() filename = vi_file.name for lang in target_langs: out_dir = Path(f"novels/locales/{lang}/act_{act_num}") out_dir.mkdir(parents=True, exist_ok=True) out_file = out_dir / filename if lang == "vi": with open(out_file, "w", encoding="utf-8") as out_fp: out_fp.write(vi_content) else: translated_content = translate_chapter_content(vi_content, chapter_num, lang, thread_pool) with open(out_file, "w", encoding="utf-8") as out_fp: out_fp.write(translated_content) print(f"[OK] Chapter {chapter_num:03d} (Act {act_num}) -> {', '.join(target_langs)}") def generate_localization_dictionary_doc(): """Generate comprehensive documentation of all entity translations across 9 languages.""" doc_path = Path("novels/NOVEL_LOCALIZATION_DICTIONARY.md") lines = [ "# FREEEXILE NOVEL MASTER LOCALIZATION DICTIONARY", "## BẢNG TỪ ĐIỂN DANH PHÁP TIỂU THUYẾT 9 NGÔN NGỮ TOÀN CẦU", "", "> **Tiêu chuẩn**: docs/standards/GLOBAL_LOCALIZATION_DICTIONARY.md & client/webapp/js/data/i18n.js ", "> **Phạm vi**: 100% nhân vật, địa danh, bảo vật, võ học, quái thú và chương hồi trong tiểu thuyết *Hoang Vực Tàn Cốt Lục*. ", "> **9 Ngôn ngữ**: VI (Việt), EN (Anh), ZH (Trung), JA (Nhật), KO (Hàn), TH (Thái), DE (Đức), RU (Nga), ES (Tây Ban Nha).", "", "---", "", "## 1. BẢNG ĐỐI SOÁT NHÂN VẬT & DANH XƯNG (CHARACTERS & TITLES)", "", "| Tiếng Việt (VI) | English (EN) | 中文 (ZH) | 日本語 (JA) | 한국어 (KO) | ภาษาไทย (TH) | Deutsch (DE) | Русский (RU) | Español (ES) |", "| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |", ] for vi_term, trans in ENTITY_DICTIONARY: lines.append( f"| **{vi_term}** | {trans.get('en','')} | {trans.get('zh','')} | {trans.get('ja','')} | " f"{trans.get('ko','')} | {trans.get('th','')} | {trans.get('de','')} | {trans.get('ru','')} | {trans.get('es','')} |" ) lines.extend([ "", "---", "", "## 2. BẢNG ĐỐI SOÁT 24 TIÊU ĐỀ ĐẠI CHƯƠNG (24 CORE CHAPTER TITLES)", "", "| Ch. | Tiếng Việt (VI) | English (EN) | 中文 (ZH) | 日本語 (JA) | 한국어 (KO) | ภาษาไทย (TH) | Deutsch (DE) | Русский (RU) | Español (ES) |", "| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |", ]) for ch_num, titles in sorted(CHAPTER_TITLES.items()): lines.append( f"| {ch_num} | **{titles.get('vi','')}** | {titles.get('en','')} | {titles.get('zh','')} | {titles.get('ja','')} | " f"{titles.get('ko','')} | {titles.get('th','')} | {titles.get('de','')} | {titles.get('ru','')} | {titles.get('es','')} |" ) lines.append("") with open(doc_path, "w", encoding="utf-8") as f: f.write("\n".join(lines)) print(f"[OK] Generated {doc_path}") def update_novels_readme(): """Update novels/README.md with complete 9-language architecture and links.""" readme_path = Path("novels/README.md") content = """# BỘ TIỂU THUYẾT: HOANG VỰC TÀN CỐT LỤC (HUYẾT KHẮC LƯU ĐÀY) ### BẢN QUYỀN VŨ TRỤ NGUYÊN BẢN FREEEXILE (100% ORIGINAL IP) **Thể loại**: Grimdark Savage Primal Exile ARPG Epic Novel & Cinematic Masterpiece **Quy mô toàn thư**: 6 Hồi – 24 Đại Chương Cốt Lõi Hoàn Tất – Đạt chuẩn chuyển thể điện ảnh bom tấn **Chủ biên**: Autonomous Studio Executive Producer & Lead Documentation Architect **Hệ thống đa ngữ**: Chuẩn hóa 100% trên 9 Ngôn Ngữ Toàn Cầu (`vi`, `en`, `zh`, `ja`, `ko`, `th`, `de`, `ru`, `es`) --- ## 1. CẤU TRÚC ĐA NGÔN NGỮ (9-LANGUAGE LOCALIZATION ARCHITECTURE) Toàn bộ 24 chương tiểu thuyết được lưu trữ và cấu trúc đối xứng theo chuẩn quốc tế tại thư mục `novels/locales//act_[1-6]/`: | Mã (Locale) | Ngôn Ngữ | Thư Mục Gốc | Danh Mục Chương Hồi | Bảng Từ Điển Danh Pháp | | :--- | :--- | :--- | :--- | :--- | | **`vi`** | **Tiếng Việt (Gốc)** | `novels/locales/vi/` & `novels/act_[1-6]/` | [24 Chương Gốc](file:///c:/Projects/FreeExile/novels/locales/vi/act_1/chuong_001_chiec_bat_vo_ben_bo_da.md) | [Lexicon Chuẩn](file:///c:/Projects/FreeExile/novels/NOVEL_LOCALIZATION_DICTIONARY.md) | | **`en`** | **English** | `novels/locales/en/` | [24 Chapters](file:///c:/Projects/FreeExile/novels/locales/en/act_1/chuong_001_chiec_bat_vo_ben_bo_da.md) | [English Lexicon](file:///c:/Projects/FreeExile/novels/NOVEL_LOCALIZATION_DICTIONARY.md) | | **`zh`** | **中文 (Giản Thể)** | `novels/locales/zh/` | [24 大章](file:///c:/Projects/FreeExile/novels/locales/zh/act_1/chuong_001_chiec_bat_vo_ben_bo_da.md) | [中文名录](file:///c:/Projects/FreeExile/novels/NOVEL_LOCALIZATION_DICTIONARY.md) | | **`ja`** | **日本語** | `novels/locales/ja/` | [24 章](file:///c:/Projects/FreeExile/novels/locales/ja/act_1/chuong_001_chiec_bat_vo_ben_bo_da.md) | [日本語用語集](file:///c:/Projects/FreeExile/novels/NOVEL_LOCALIZATION_DICTIONARY.md) | | **`ko`** | **한국어** | `novels/locales/ko/` | [24 장](file:///c:/Projects/FreeExile/novels/locales/ko/act_1/chuong_001_chiec_bat_vo_ben_bo_da.md) | [한국어 사전](file:///c:/Projects/FreeExile/novels/NOVEL_LOCALIZATION_DICTIONARY.md) | | **`th`** | **ภาษาไทย** | `novels/locales/th/` | [24 บท](file:///c:/Projects/FreeExile/novels/locales/th/act_1/chuong_001_chiec_bat_vo_ben_bo_da.md) | [พจนานุกรมไทย](file:///c:/Projects/FreeExile/novels/NOVEL_LOCALIZATION_DICTIONARY.md) | | **`de`** | **Deutsch** | `novels/locales/de/` | [24 Kapitel](file:///c:/Projects/FreeExile/novels/locales/de/act_1/chuong_001_chiec_bat_vo_ben_bo_da.md) | [Deutsches Glossar](file:///c:/Projects/FreeExile/novels/NOVEL_LOCALIZATION_DICTIONARY.md) | | **`ru`** | **Русский** | `novels/locales/ru/` | [24 Главы](file:///c:/Projects/FreeExile/novels/locales/ru/act_1/chuong_001_chiec_bat_vo_ben_bo_da.md) | [Русский Словарь](file:///c:/Projects/FreeExile/novels/NOVEL_LOCALIZATION_DICTIONARY.md) | | **`es`** | **Español** | `novels/locales/es/` | [24 Capítulos](file:///c:/Projects/FreeExile/novels/locales/es/act_1/chuong_001_chiec_bat_vo_ben_bo_da.md) | [Glosario Español](file:///c:/Projects/FreeExile/novels/NOVEL_LOCALIZATION_DICTIONARY.md) | --- ## 2. MỤC LỤC & TỔNG QUAN 6 HỒI (HOÀN THÀNH 100% TRÊN 9 NGÔN NGỮ) | Hồi (Act) | Tên Hồi & Bối Cảnh | Cấp Bậc Tiến Hóa | Danh Sách Chương Cốt Lõi | Trạng Thái 9 Ngôn Ngữ | | :--- | :--- | :--- | :--- | :--- | | **Hồi I** | **Đáy Vực Đói Rét**
*Bờ Đá Tàn Xương & Bến Tàu Tàn Xương* | `MENDICANT`
(Kẻ Ăn Mày Đói Rét) | Chương 1 đến Chương 8 | **100% (8/8 Chương × 9 Ngôn Ngữ)** | | **Hồi II** | **Vũng Bùn Nhục Nhã**
*Đầm Lầy Thối Rữa & Hầm Mộ Tàn Binh* | `SCAVENGER`
(Kẻ Mót Xương Bùn Độc) | Chương 9 đến Chương 12 | **100% (4/4 Chương × 9 Ngôn Ngữ)** | | **Hồi III** | **Bão Cát Nung Thể**
*Sa Cốt Hoang Mạc & Ốc Đảo Sa Cốt* | `BONE_WARRIOR`
(Cuồng Cốt Chiến Giả) | Chương 13 đến Chương 16 | **100% (4/4 Chương × 9 Ngôn Ngữ)** | | **Hồi IV** | **Trảm Sát Thú Vương**
*Phế Tích Xẻ Thịt & Tế Đàn Man Hoang* | `PRIMAL_HUNTER`
(Thợ Săn Cự Thú) | Chương 17 đến Chương 20 | **100% (4/4 Chương × 9 Ngôn Ngữ)** | | **Hồi V** | **Vương Tọa Hư Không**
*Vực Đầm Băng Độc & Đền Thờ Hư Không* | `SOVEREIGN_OUTCAST`
(Bá Chủ Tối Cao) | Chương 21 đến Chương 22 | **100% (2/2 Chương × 9 Ngôn Ngữ)** | | **Hồi VI** | **Quy Khứ Vô Tận & Đại Báo Thù**
*Hải Môn Kinh Kỳ & Điện Kim Loan* | `THE LIBERATOR`
(Kẻ Giải Phóng Muôn Dân) | Chương 23 đến Chương 24 | **100% (2/2 Chương × 9 Ngôn Ngữ)** | """ with open(readme_path, "w", encoding="utf-8") as f: f.write(content) print(f"[OK] Updated {readme_path}") def main(): parser = argparse.ArgumentParser(description="Translate FreeExile Novels to 9 Languages") parser.add_argument("--langs", nargs="+", default=["en", "zh", "ja", "ko", "th", "de", "ru", "es", "vi"], help="Target language codes (default: all 9)") parser.add_argument("--act", type=int, default=None, help="Act number (1-6) to process, or all if omitted") parser.add_argument("--chapter", type=int, default=None, help="Chapter number (1-24) to process, or all if omitted") parser.add_argument("--workers", type=int, default=16, help="Worker threads for chunk requests") args = parser.parse_args() chapter_pattern = re.compile(r"chuong_(\d{3})") all_chapters = [] for act_dir in sorted(Path("novels").glob("act_*")): act_num = int(act_dir.name.split("_")[1]) if args.act and act_num != args.act: continue for chap_file in sorted(act_dir.glob("*.md")): m = chapter_pattern.search(chap_file.name) if m: ch_num = int(m.group(1)) if args.chapter and ch_num != args.chapter: continue all_chapters.append((chap_file, ch_num, act_num)) print("=== STARTING FREEEXILE NOVEL LOCALIZATION ===") print(f"Total chapters to process: {len(all_chapters)}") print(f"Target languages: {args.langs}") print(f"Concurrency workers: {args.workers}") start_time = time.time() with ThreadPoolExecutor(max_workers=args.workers) as pool: for vi_file, ch_num, act_num in all_chapters: process_single_chapter(vi_file, ch_num, act_num, args.langs, pool) generate_localization_dictionary_doc() update_novels_readme() elapsed = time.time() - start_time print(f"\n[FINISHED] Processed {len(all_chapters)} chapters across {len(args.langs)} languages in {elapsed:.2f}s!") if __name__ == "__main__": main()