mjc68dZddlmZddlZddlZddlmZddlmZm Z m Z m Z ddl Z ddlmZmZddlmZdd lmZdd lmZmZmZmZdd lmZmZdd lmZmZm Z dd l!m"Z"ddl#m$Z$ddl%m&Z&m'Z'ddl(m)Z)m*Z*m+Z,ddl-m.Z.ej/e0Z1GddZ2dS)u VideoDetection Pipeline Orchestrator. Điều phối toàn bộ luồng Ingestion -> Feature Extraction -> Indexing -> Alignment. ) annotationsN)Path)DictListOptionalTuple) MatchSegmentTemporalMatcher)NeuralFPExtractor)CONFIG)DATA_DIR TARGET_DIRTEMP_DIRclean_temp_dir) OwnerDatabase VideoRecord)CachedVideoFeatures FeatureStoreSUPPORTED_EXTENSIONS) VideoDatabase)AudioChunkExtractor)VideoClipExtractorget_video_metadata)DEFAULT_SECTION_1HYouTubeDownloadResultdownload_youtube_video)VJEPAExtractorceZdZd%dZ d&d'dZ d&d(d Z d&d)d Zd&d*dZd&d+dZd&d+dZ d,dZ d,dZ d-d.dZ e dddfd/d$ZdS)0VideoDetectionPipelinereturnNonec tt|_ttjddtjddtjdd|_ttj d d tj d d  |_ tj dd}tj dd}ttjdd||d|_ ttj d d tj dd||_t!|j|j |j |j|_t%|jt'tjddt'tj ddt'tjddt'tjdd t'tjd!d"#|_t-td$z |_dS)%N)data_dirframes_per_clip frame_sizeclip_duration_secg?) clip_frames target_size stride_sec sample_ratei>hop_duration_secg?)r-r.deviceauto precisionfp16 model_name vjepa2_vitli)r3r/r1 embedding_dimfingerprint_dim)r-r6r/)clip_extractorchunk_extractorvisual_extractoraudio_extractorsimilarity_thresholdg(\?g= ףp=?min_match_duration_secg@fusion_weight_visualg?fusion_weight_audiogffffff?)dbvisual_thresholdaudio_thresholdr=r>r?zvideodetection.db)rrr@rr visualgetr8raudior9hardwarerr:r r;r feature_storer float alignmentmatcherrsql_db)selfr/r1s *C:\Projects\VideoDetection\src\pipeline.py__init__zVideoDetectionPipeline.__init__"sc2221 ))*;R@@ )),<<}(()>#\--.@#FF    $$Xv66O'' V<< .}((}EE ! ! !  1 ((>>"L,,->DD   *. 0!2 0    'w"6=#4#45KT#R#RSS!&,"2"23I4"P"PQQ#()9)=)=>VX[)\)\#]#]!&v'7';';.ts.avi.flv.mkv.mov.mp4.webmcrg|]3}|r|jv1|4S)is_filesuffixlower).0fvalid_extensionss rM z;VideoDetectionPipeline.scan_all_targets..sK   yy{{  x~~//3CCC CCCrOru<Thư mục Target/ hiện không có video nào cần quét.c pr2tdz|zz }|ddzdd|dSdS)Nrm[r /z] )int)pctmsg overall_pctidxr[rs rM file_progressz>VideoDetectionPipeline.scan_all_targets..file_progresssi$O"%c S'8E&A"B"BK%%k3Ms1u3M3Mu3M3M3M3MNNNNNOOrO)riterdirrsrinfo enumeraterrV) rLr[ target_filesresults file_pathrrrrrs ` @@@rMscan_all_targetsz'VideoDetectionPipeline.scan_all_targetssTSS    !)++   24L!! A:: KKV W W WN' 55 . .NC O O O O O O O ,,Y FFG&-GIN # #rO*Tuple[int, int, List[CachedVideoFeatures]]c6|jt|\}}}|D]n} |jt |jd|3#t$r/}t d|j d|Yd}~gd}~wwxYw|||fS)u Tự động quét và đồng bộ các video gốc người dùng copy vào thư mục Data/. Trích xuất đặc trưng V-JEPA 2 + NeuralFP và lưu vào SQLite Database theo tên video. referencecategoryfeaturesLỗi lưu video  vào SQLite: N) rGsync_directoryrrK upsert_videorrP ExceptionrerrorrfrLr[new_cnt cache_cnt all_featsfeates rMsync_data_repositoryz+VideoDetectionPipeline.sync_data_repositorys )-(:(I(I(Te(f(f%I S SD S ((do)>)>_c(dddd S S S QQQaQQRRRRRRRR S 9,,/A B$%BBc6|jt|\}}}|D]n} |jt |jd|3#t$r/}t d|j d|Yd}~gd}~wwxYw|||fS)uy Tự động quét và đồng bộ các video mục tiêu người dùng copy vào thư mục Target/. targetrrrN) rGrrrKrrrPrrrrfrs rMsync_target_repositoryz-VideoDetectionPipeline.sync_target_repositorys)-(:(I(I*Vg(h(h%I S SD S ((do)>)>\`(aaaa S S S QQQaQQRRRRRRRR S 9,,rList[CachedVideoFeatures]c>g}tjD]}|rp|jt vrP|j|jp|j |}|r| ||S)uXLấy tất cả các video đã cache trong Data/ (ưu tiên đọc từ SQLite/Cache).) rrrrrrrKget_features_by_namerVrG load_featuresrY)rLrefsrfeatss rMget_cached_referencesz,VideoDetectionPipeline.get_cached_referencess*,!## ' 'Ayy{{ 'qx~~//3GGG 88@@gDDVDdDdefDgDg'KK&&& rOc>g}tjD]}|rp|jt vrP|j|jp|j |}|r| ||S)u5Lấy tất cả các video đã cache trong Target/.) rrrrrrrKrrVrGrrY)rLtargetsrrs rMget_cached_targetsz)VideoDetectionPipeline.get_cached_targetss-/#%% * *Ayy{{ *qx~~//3GGG 88@@gDDVDdDdefDgDg*NN5)))rOselected_reference_idsOptional[List[str]]c |r|dd|j|j|jp|j|}|r|j|s8|j||}|j|d||}|s| |\}}}|st dgSrfd|D}n|}|r%|dd|jd t|d |j ||}|rV |j|j|n4#t $r'} td | Yd } ~ nd } ~ wwxYw|r|d dt|d|S)uK Thực hiện so sánh linh hoạt: - 1 video target vs Cả kho Data/ (khi selected_reference_ids is None hoặc rỗng) - 1 video target vs 1 vài video tham chiếu cụ thể do người dùng tích chọn Lưu kết quả đối soát vào bảng comparison_history trong CSDL SQLite. rSu"Đang nạp đặc trưng target: rru,Kho Data/ chưa có video tham chiếu nào.c8g|]}|jvs |jv|Sr)rerf)rrrs rMrzIVideoDetectionPipeline.compare_target_with_references..sVDDDQajDZ6Z6Z^_^hmC_C_Cq_C_C_CrOFuĐang đối soát u với u video tham chiếu...u0Lỗi ghi lịch sử đối soát vào SQLite: Nrmu'Đối soát hoàn tất: phát hiện r)rVrKrrGris_cached_and_validprocess_and_cache_videorrrrrrsrJ match_cachedlog_match_historyrr) rLr}rr[ target_featsall_refs_refs_to_comparerrs ` rMcompare_target_with_referencesz5VideoDetectionPipeline.compare_target_with_referencess  a  b"_GXG]"_"_ ` ` `{778I8NOOGSWSeSsSsuFTGTG  b4#5#I#IJ[#\#\ b-EEFWYjkkL K $ $%6T` $ a a a--// J!667HIINAq(  NNI J J JI ! 'DDDD(DDDOO&O  E  b#D8I8N#D#DWZ[jWkWk#D#D#D E E E,++L/JJ  U U --.?.DgNNNN U U U SPQSSTTTTTTTT U  s  c#qSQX\\#q#q#q r r rs E++ F5FFrF url_or_idrrsection Optional[str]dest str | Path auto_syncboolrct||||}|jrn|rlt|}d|vr$|r |dd||n#|r |dd|||S)u Tải video hoặc 1 đoạn chỉ định (mặc định 1h đầu) từ YouTube vào thư mục Target/ hoặc Data/. Hỗ trợ tự động đồng bộ (auto_sync) để trích xuất V-JEPA 2 & NeuralFP ngay sau khi tải. )rrrr[dataZu@Đang đồng bộ và trích xuất đặc trưng vào Data/...uBĐang đồng bộ và trích xuất đặc trưng vào Target/...) dl_yt_videosuccessrrrrr)rLrrrrr[res dest_lowers rMrz-VideoDetectionPipeline.download_youtube_video0s/     ; ?9 ?T**J##$n%%b*lmmm))*;<<<<$p%%b*nooo++,=>>> rO)r!r")N)rPrr!rQ)rPrr!r)r}rr!r~)r!r)r!r)r!r)NN)r}rrrr!r~) rrrrrrrrrr!r)__name__ __module__ __qualname__rNrcr|rrrrrrrrrrrOrMr r !sE1D1D1D1Dl/////F!!!!!L6: - - - - - - - - - -7; 00000j"4# rOr )3__doc__ __future__rrologgingpathlibrtypingrrrrnumpynpalignment.matcherr r audio.neuralfp_extractorr core.configr core.pathsrrrrindexing.databaserrindexing.feature_storerrrindexing.sqlite_dbringestion.audio_loaderringestion.video_loaderrringestion.youtube_downloaderrrrrvisual.vjepa_extractorr getLoggerrrr rrOrMrs#"""""............<<<<<<<<777777FFFFFFFFFFFF99999999[[[[[[[[[[------777777JJJJJJJJ 322222  8 $ $kkkkkkkkkkrO