國科會大專生研究計畫

詐騙截圖來源多元，壓縮失真、低解析度與複雜版面使 OCR 直接辨識準確率低落。本研究採用 Non-Local Means（NLM）去噪演算法——相較於傳統高斯模糊，NLM 在去除雜訊的同時能完整保留文字邊緣細節，大幅降低 OCR 誤辨率。二值化方面採 Otsu 自動閾值化，無需手動調參即可自適應不同亮度與對比度的截圖，整體預處理使後續文字辨識準確率提升約 12%。

採用百度開源的 PaddleOCR（PP-OCRv3），其在中英文混合場景的表現顯著優於 Tesseract OCR，能有效處理詐騙截圖中常見的斜體、小字及壓縮失真等問題。透過文字偵測（Text Detection）與文字辨識（Text Recognition）兩階段流程，精確擷取截圖中各候選文字區塊並保留版面位置資訊，為後續語意分析提供結構化輸入。實驗中，相較於 Tesseract，PaddleOCR 於中文詐騙截圖的字元錯誤率（CER）降低約 18%。

OCR 輸出中夾雜大量 UI 元素、時間戳記等與詐騙語意無關的文字，若全數輸入 BERT 將引入嚴重雜訊。本研究引入 OpenAI CLIP 的零樣本（Zero-Shot）語意理解能力，以詐騙相關語意提示（prompt）對各文字候選進行相關性評分，自動過濾低語意相關區塊。此步驟顯著提升最終分類器的輸入品質，是整個管道效能提升的關鍵環節。

最終分類階段以 Hugging Face 預訓練 BERT 權重為基礎，使用詐騙語料庫進行領域適應微調（Fine-tuning），使模型深度理解詐騙話術的語意模式。同時融合 TF-IDF 統計特徵，捕捉詐騙文字中的高頻關鍵詞規律，與 BERT 深層語意表示形成互補。模型輸出 0 至 1 的詐騙相似度分數，並透過最佳決策閾值優化，最終在測試集達成 AUC-ROC 0.929 的辨識效能。