§
    [�’j)  ã                   óä  — d dl mZ ddlmZmZmZ i ddg“dg d¢“dg d	¢“d
g d¢“dddg“dg d¢“ddg“dg d¢“dddg“dddg“dg d¢“dg d¢“dg d ¢“d!d"g“d#g d$¢“d%g d&¢“d'd(g“d)d*gg d+¢g d,¢g d-¢d.gd/gd0d1gd2gd3gd4œ	¥Z	  e¦   «         s
 e¦   «         ‚	 d5d6ged7<   n# e$ r Y nw xY wg d8¢ed9<   d:ged;<   e�r�d<d=lmZ d<dl	m
Z
mZmZ d<d	lmZmZmZmZ d<dlmZmZmZmZ d<d>lmZmZ d<dlmZmZmZmZmZm Z m!Z!m"Z"m#Z#m$Z$ d<d?l%m&Z& d<dl'm(Z(m)Z)m*Z* d<d@l+m,Z,m-Z- d<dAl.m/Z/m0Z0 d<dl1m2Z2m3Z3m4Z4m5Z5 d<dl6m7Z7m8Z8m9Z9m:Z:m;Z;m<Z< d<d l=m>Z>m?Z?m@Z@mAZA d<dBlBmCZC d<d$lDmEZEmFZFmGZGmHZHmIZImJZJmKZKmLZLmMZM d<d&lNmOZOmPZPmQZQmRZRmSZSmTZTmUZUmVZVmWZWmXZXmYZYmZZZm[Z[m\Z\m]Z]m^Z^m_Z_m`Z`maZambZbmcZcmdZdmeZemfZfmgZgmhZhmiZimjZjmkZkmlZlmmZmmnZnmoZompZpmqZqmrZrmsZsmtZtmuZumvZvmwZw d<dClxmyZy d<dDlzm{Z{m|Z| d<d+l}m~Z~mZm€Z€ d<dEl�m‚Z‚mƒZƒm„Z„m…Z…m†Z†m‡Z‡ d<d-lˆm‰Z‰mŠZŠm‹Z‹ d<dFlŒm�Z� d<dGlŽm�Z� d<dHl�m‘Z‘m’Z’ d<dIl“m”Z” d<dJl•m–Z– 	  e¦   «         s
 e¦   «         ‚	 d<dKl—m˜Z˜m™Z™ n# e$ r Y nw xY wd<dLlšm›Z› d<dMlœm�Z�mžZžmŸZŸ dNS d dNl Z  ee¡ e¢¦   «         dO         ee£¬P¦  «        e j¤        e¡<   dNS )Qé    )ÚTYPE_CHECKINGé   )ÚOptionalDependencyNotAvailableÚ_LazyModuleÚis_torch_availableÚaqlmÚreplace_with_aqlm_linearÚawq)Úpost_init_awq_exllama_modulesÚreplace_quantization_scalesÚreplace_with_awq_linearÚbitnet)Ú	BitLinearÚpack_weightsÚreplace_with_bitnet_linearÚunpack_weightsÚbitsandbytes)ÚBnb4bitQuantizeÚdequantize_and_replaceÚreplace_with_bnb_linearÚ!validate_bnb_backend_availabilityÚcompressed_tensorsÚCompressedTensorsFP8LinearÚ*replace_with_compressed_tensors_fp8_linearÚ	deepspeed)
ÚHfDeepSpeedConfigÚHfTrainerDeepSpeedConfigÚdeepspeed_configÚdeepspeed_initÚdeepspeed_load_checkpointÚdeepspeed_optim_schedÚis_deepspeed_availableÚis_deepspeed_zero3_enabledÚset_hf_deepspeed_configÚunset_hf_deepspeed_configÚeetqÚreplace_with_eetq_linearÚ
fbgemm_fp8)ÚFbgemmFp8LinearÚFbgemmFp8Llama4TextExpertsÚreplace_with_fbgemm_fp8_linearÚfinegrained_fp8Ú	FP8LinearÚreplace_with_fp8_linearÚfsdpÚis_fsdp_enabledÚis_fsdp_managed_moduleÚgemma_quant)ÚQuantizedEmbeddingÚQuantizedLinearÚ	apply_srqÚreplace_with_quant_layersÚggml)ÚGGUF_CONFIG_DEFAULTS_MAPPINGÚGGUF_CONFIG_MAPPINGÚGGUF_TOKENIZER_MAPPINGÚ_gguf_parse_valueÚload_dequant_gguf_tensorÚ	load_ggufÚhiggs)ÚHiggsLinearÚdequantize_higgsÚquantize_with_higgsÚreplace_with_higgs_linearÚhqqÚprepare_for_hqq_linearÚhub_kernels)	ÚLayerRepositoryÚ	kernelizeÚlazy_load_kernelÚregister_kernel_mappingÚreplace_kernel_forward_from_hubÚuse_kernel_forward_from_hubÚuse_kernel_func_from_hubÚ&use_kernel_func_from_hub_with_fallbackÚuse_kernelized_funcÚintegration_utils))ÚINTEGRATION_TO_CALLBACKÚAzureMLCallbackÚClearMLCallbackÚCodeCarbonCallbackÚCometCallbackÚDagsHubCallbackÚDVCLiveCallbackÚFlyteCallbackÚKubeflowCallbackÚMLflowCallbackÚNeptuneCallbackÚNeptuneMissingConfigurationÚSwanLabCallbackÚTensorBoardCallbackÚTrackioCallbackÚWandbCallbackÚ$get_available_reporting_integrationsÚ#get_reporting_integration_callbacksÚ	hp_paramsÚis_azureml_availableÚis_clearml_availableÚis_codecarbon_availableÚis_comet_availableÚis_dagshub_availableÚis_dvclive_availableÚ is_flyte_deck_standard_availableÚis_flytekit_availableÚis_kubeflow_availableÚis_mlflow_availableÚis_neptune_availableÚis_optuna_availableÚis_ray_availableÚis_ray_tune_availableÚis_swanlab_availableÚis_tensorboard_availableÚis_trackio_availableÚis_wandb_availableÚrewrite_logsÚrun_hp_search_optunaÚrun_hp_search_rayÚrun_hp_search_wandbÚligerÚapply_liger_kernelÚMetalLinearÚreplace_with_metal_linear)Úbatched_mm_experts_forwardÚgrouped_mm_experts_forwardÚuse_experts_implementation)ÚMxfp4GptOssExpertsÚconvert_moe_packed_tensorsÚ
dequantizeÚload_and_swizzle_mxfp4Úquantize_to_mxfp4Úreplace_with_mxfp4_linearÚswizzle_mxfp4)Úactivate_neftuneÚdeactivate_neftuneÚneftune_post_forward_hookÚPeftAdapterMixinÚreplace_with_quanto_layersÚSinqDeserializeÚSinqQuantizeÚreplace_with_spqr_linearÚreplace_with_vptq_linear)	Úmetal_quantizationÚmoeÚmxfp4ÚneftuneÚpeftÚquantoÚsinqÚspqrÚvptqÚ$TorchExportableModuleWithStaticCacheÚconvert_and_export_with_cacheÚ
executorch)Úshard_and_distribute_moduleÚALL_PARALLEL_STYLESÚ!translate_to_torch_parallel_styleÚtensor_parallelÚmake_flex_block_causal_maskÚflex_attentioné   )r	   )r   r   )r'   )r-   r.   )r0   r1   )rD   )rz   )r{   r|   )r€   r‚   rƒ   r„   r…   r†   )rŠ   )r‹   )rŒ   r�   )rŽ   )r�   )r™   rš   )r    )r�   rœ   rž   NÚ__file__)Úmodule_spec)¥Útypingr   Úutilsr   r   r   Ú_import_structurer   r	   r
   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r    r!   r"   r#   r$   r%   r&   r'   r(   r)   r*   r+   r,   r-   r.   r/   r0   r1   r2   r3   r4   r5   r6   r7   r8   r9   r:   r;   r<   r=   r>   r?   r@   rA   rB   rC   rD   rE   rF   rG   rH   rI   rJ   rK   rL   rM   rN   rO   rP   rQ   rR   rS   rT   rU   rV   rW   rX   rY   rZ   r[   r\   r]   r^   r_   r`   ra   rb   rc   rd   re   rf   rg   rh   ri   rj   rk   rl   rm   rn   ro   rp   rq   rr   rs   rt   ru   rv   rw   rx   ry   rz   r�   r{   r|   r‘   r}   r~   r   r’   r€   r‚   rƒ   r„   r…   r†   r“   r‡   rˆ   r‰   r”   rŠ   r•   r‹   r–   rŒ   r�   r—   rŽ   r˜   r�   r›   r™   rš   r¡   r    rŸ   r�   rœ   rž   ÚsysÚ__name__ÚglobalsÚ__spec__Úmodules© ó    úPC:\Projects\DSCons\.venv\Lib\site-packages\transformers\integrations\__init__.pyú<module>r°      s¥	  ðð !Ð  Ð  Ð  Ð  Ð  à SÐ SÐ SÐ SÐ SÐ SÐ SÐ SÐ SÐ SðLØ
Ð'Ð(ðLà	ð ð ð ðLð ð ð ð ðLð ð ð ð ðLð& Ð7Ð9eÐfð'Lð( ð ð ð ð)Lð@ Ð'Ð(ðALðB ÐeÐeÐeðCLðD ˜Ð%>Ð?ðELðF ÐÐ 8Ð9ðGLðH ð ð ð ðILðT ð ð ð ðULðd ð ð ð ðeLðp 
Ð$Ð%ðqLðr ð 
ð 
ð 
ðsLðH ð *ð *ð *ðILð^ Ð"Ð#ð_Lðb 	Ø#ððð ð ð
ð ð ðð ð ð
  Ð Ø+Ð,Ø Ð/Ø'Ð(Ø'Ð(ðWLð Lð LÐ ð\	ØÐÑÔð /Ø,Ð,Ñ.Ô.Ð.ð/ð 	/Ø'ð'Ð�lÑ#Ð#øð &ð 	ð 	ð 	Ø€Dð	øøøð(ð (ð (Ð Ð#Ñ $ð "ð'Ð Ð"Ñ #ð ñ TrØ.Ð.Ð.Ð.Ð.Ð.ðð ð ð ð ð ð ð ð ð ð
ð ð ð ð ð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð ð ð kÐjÐjÐjÐjÐjÐjÐjðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð /Ð.Ð.Ð.Ð.Ð.ØgÐgÐgÐgÐgÐgÐgÐgÐgÐgØCÐCÐCÐCÐCÐCÐCÐCØ=Ð=Ð=Ð=Ð=Ð=Ð=Ð=ðð ð ð ð ð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð eÐdÐdÐdÐdÐdÐdÐdÐdÐdÐdÐdØ+Ð+Ð+Ð+Ð+Ð+ð
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð*ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ð *ðV *Ð)Ð)Ð)Ð)Ð)ðð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð
ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð YÐXÐXÐXÐXÐXÐXÐXÐXÐXØ&Ð&Ð&Ð&Ð&Ð&Ø2Ð2Ð2Ð2Ð2Ð2Ø3Ð3Ð3Ð3Ð3Ð3Ð3Ð3Ø.Ð.Ð.Ð.Ð.Ð.Ø.Ð.Ð.Ð.Ð.Ð.ðdØ!Ð!Ñ#Ô#ð 	3Ø0Ð0Ñ2Ô2Ð2ð	3ð
 	dÐcÐcÐcÐcÐcÐcÐcÐcøð *ð ð ð Øˆðøøøð
 <Ð;Ð;Ð;Ð;Ð;ðð ð ð ð ð ð ð ð ð ð ð ð €J€J€Jà'˜K¨°'°'±)´)¸JÔ2GÐIZÐhpÐqÑqÔq€C„K�ÑÐÐs$   Á?B ÂB$Â#B$ÈH* È*H2È1H2