132 lines
22 KiB
Plaintext
132 lines
22 KiB
Plaintext
|
Ë
|
|||
|
|
-ziªP ã óÄ — d dl Z d dlZd dlZd dlmZ d dlmZmZmZmZ d dl Z d dl
|
|||
|
|
Z
|
|||
|
|
d dl m Z m
|
|||
|
|
Z
|
|||
|
|
d dlZd dlmZ d dlmZ d dlmZ ej, d« Z G d „ d« Zy)
|
|||
|
|
é N)Údatetime)ÚDictÚListÚOptionalÚAny)ÚThreadPoolExecutorÚ as_completed)ÚSQLAlchemyError)Ú
|
|||
|
|
MySQLAgent)ÚCrossPlatformLogÚ
|
|||
|
|
TaskSchedulerc
|
|||
|
|
ó — e Zd Zddee defd„Zdefd„Zd de deeef fd „Z
|
|||
|
|
d
|
|||
|
|
eee f de fd „Z d
|
|||
|
|
eee f ddfd „Z
|
|||
|
|
d
|
|||
|
|
„ Zd dededefd„Zdedeee f ddfd„Z d dedededededef d„Zdefd„Zdeeee f fd„Zdeeef fd„Zy) r
|
|||
|
|
NÚ db_configÚ max_workersc óú — t |xs i « | _ t |¬« | _ t j
|
|||
|
|
|« | _ ddddœ| _ t j « | _ t j d|› �« y)u1 åˆ�始化任务调度器（基于Cron表达å¼�）)r r ©õ æˆ�功õ 失败õ 总数u5 任务调度器已åˆ�始化，最大工作线程数: N) r Údbr ÚexecutorÚ threadingÚ SemaphoreÚ_running_semaphoreÚ hourly_statsÚLockÚhourly_stats_lockÚlogÚinfo)Úselfr r s úQD:\Idea Project\intelligence_system\system_management\scheduler\task_scheduler.pyÚ__init__zTaskScheduler.__init__ sc € ä ˜Yš_¨"Ó-ˆŒÜ*°{ÔCˆŒ
|
|||
|
|
ä"+×"5Ñ"5°kÓ"BˆÔ à'(°AÀÑ CˆÔÜ!*§ ¡ Ó!1ˆÔ Ü �‰ÐHÈÈ
|
|||
|
|
ÐVÕWó Ú module_pathc ó– — |rt |t « s t d« ‚|j d« }d}t t |« dd« D �]> }dj
|
|||
|
|
|d| « } t j |« }||d }|}|D ]+ } t || « st d|› d| › �« ‚t || « }Œ- t |t « rt |d« r#t t |d« « rt |d« c S |« }
|
|||
|
|
t |
|
|||
|
|
d« r#t t |
|
|||
|
|
d« « rt |
|
|||
|
|
d« c S t d |j › d
|
|||
|
|
�« ‚t |« r|c S t |d« r#t t |d« « rt |d« c S t d |› d �« ‚ t d
|
|||
|
|
|› dt |« › �« ‚# t $ r Y ŒŒw xY w# t $ r
|
|||
|
|
} | }Y d} ~ �Œ|d} ~ ww xY w)u� 解æž�模å�—路径，支æŒ�模å�—ã€�模å�—内类/函数，并返回å�¯è°ƒç”¨å¯¹è±¡
|
|||
|
|
|
|||
|
|
兼容以下形�：
|
|||
|
|
- package.module -> 期望模å�—内å˜åœ¨ main()
|
|||
|
|
- package.module.ClassName -> 调用 ClassName.main() 或实例化�调用 main()
|
|||
|
|
- package.module.func_name -> 直接调用该函数
|
|||
|
|
- package.module.ClassName.method_name -> 调用指定方法
|
|||
|
|
u æ— æ•ˆçš„æ¨¡å�—路径Ú.Nr éÿÿÿÿu 在 u ä¸æœªæ‰¾åˆ°å±žæ€§: Úmainõ ç±» u- 缺少å�¯è°ƒç”¨çš„ main() 作为任务入å�£u 路径 u= 未解æž�到å�¯è°ƒç”¨å…¥å�£ï¼ˆç¼ºå°‘ main 或ä¸�å�¯è°ƒç”¨ï¼‰õ 模å�— u 导入/解æž�失败: )Ú
|
|||
|
|
isinstanceÚstrÚ ImportErrorÚsplitÚrangeÚlenÚjoinÚ importlibÚ
|
|||
|
|
import_moduleÚhasattrÚAttributeErrorÚgetattrÚtypeÚcallableÚ ExceptionÚ__name__) r r$ ÚpartsÚlast_import_errorÚiÚ module_nameÚmoduleÚ
|
|||
|
|
attr_chainÚtargetÚattrÚinstanceÚes r! Ú_resolve_callablez TaskScheduler._resolve_callable sÝ € ñ ¤*¨[¼#Ô">Ü Ð 5Ó6Ð 6à×!Ñ! #Ó&ˆØ Ðô ”s˜5“z 1 b×)ˆAØ Ÿ(™( 5¨¨! 9Ó-ˆKð%
|
|||
|
|
Ü"×0Ñ0°Ó=�Ø " 1 2˜Y�
|
|||
|
|
ð �Û &�DÜ" 6¨4Ô0Ü ,¨t°F°8Ð;PÐQUÐPVÐ-WÓ XÐXÜ $ V¨TÓ 2‘Fð 'ô ˜f¤dÔ+ä ˜v vÔ.´8¼GÀFÈFÓ<SÔ3TÜ & v¨vÓ 6Ò6ð Ù#)£8˜Ü" 8¨VÔ4¼Ä'È(ÐTZÓB[Ô9\Ü#*¨8°VÓ#<Ò <ô )¨4°·±Ð/@Ð@mÐ)nÓoÐoô ˜FÔ#Ø!’Mô ˜6 6Ô*¬x¼ÀÈÓ8OÔ/PÜ" 6¨6Ó2Ò2ä$ w¨{¨mÐ;xÐ%yÓzÐzðI *ôT ˜G K =Ð0FÄsÐK\ÓG]ÐF^Ð_Ó`Ð`øô' %ò Ù ð ûô ò
|
|||
|
|
Ø$%Ð!Ýûð
|
|||
|
|
úsI Á BF2Ã,3F#Ä"%F2Å
|
|||
|
|
,F2Å9F2Æ# F/Æ,F2Æ.F/Æ/F2Æ2 GÆ;GÇGÚprint_empty_statusÚreturnc ó8 — ddddœ} t j d« }t j |« j d¬« }t
|
|||
|
|
j
|
|||
|
|
d|j d« › �« | j j d|fd ¬
|
|||
|
|
« }t |« |d < |j r!|r t d |j d« › �« |S g }|j « D ]J \ }}|j « } |j | j j# | j$ | « « ŒL t' |« D ]. }
|
|||
|
|
|
|
|||
|
|
j) « r|d
|
|||
|
|
xx dz
|
|||
|
|
cc< n
|
|||
|
|
|dxx dz
|
|||
|
|
cc< Œ0 | j0 5 | j2 d
|
|||
|
|
xx |d
|
|||
|
|
z
|
|||
|
|
cc< | j2 dxx |d z
|
|||
|
|
cc< | j2 dxx |d z
|
|||
|
|
cc< ddd« t
|
|||
|
|
j5 d|d |d
|
|||
|
|
|d ¬« |S # t* $ r:} t
|
|||
|
|
j- dt/ | « › �d¬« |dxx dz
|
|||
|
|
cc< Y d} ~ Œöd} ~ ww xY w# 1 sw Y ŒsxY w# t6 $ r/} t
|
|||
|
|
j- dt/ | « › �d¬« |cY d} ~ S d} ~ wt* $ r#} t
|
|||
|
|
j- dd¬« |cY d} ~ S d} ~ ww xY w)uÍ æ£€æŸ¥å¹¶æ‰§è¡Œæ‰€æœ‰åˆ°æœŸçš„ä»»åŠ¡ï¼Œä¼˜åŒ–ç©ºä»»åŠ¡å¤„ç�†å’Œå¼‚常容错
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
print_empty_status: 是�打�空任务状�（默认False，��频�输出）
|
|||
|
|
r )õ 总任务数r r ú
|
|||
|
|
Asia/ShanghaiN©Útzinfou 当å‰�检查时间: ú%Y-%m-%d %H:%M:%Sa
|
|||
|
|
SELECT *
|
|||
|
|
FROM main_task
|
|||
|
|
WHERE is_active = 1
|
|||
|
|
AND next_run_time <= %s
|
|||
|
|
AND is_running = 0
|
|||
|
|
ORDER BY next_run_time
|
|||
|
|
F)ÚparamsÚis_printrI u6 当å‰�没有到期的任务，ç‰å¾…æ–°ä»»åŠ¡åŠ å…¥...r é r u 任务线程执行失败: T©Úexc_infor u 任务调度周期完æˆ�u2 æ•°æ�®åº“æ“�作失败，将在下次轮询é‡�试: u6 调度器周期执行异常，将在下次轮询é‡�试) ÚpytzÚtimezoner ÚnowÚreplacer ÚdebugÚstrftimer Ú query_to_dfr0 ÚemptyÚprintÚiterrowsÚto_dictÚappendr ÚsubmitÚ_process_single_taskr Úresultr9 Úerrorr, r r r r
|
|||
|
|
) r rF ra ÚtzrU Útasks_dfÚfuturesÚ_ÚtaskÚ task_copyÚfuturerD s r! Úcheck_and_run_tasksz!TaskScheduler.check_and_run_tasksZ s„ € ð #$¨q¸AÑ>ˆð< ä— ‘ ˜Ó/ˆBÜ—,‘,˜rÓ"×*Ñ*°$Ð*Ó7ˆCÜ �I‰IÐ,¨S¯\©\Ð:MÓ-NÐ,OÐPÔ Qð —w‘w×*Ñ*ð ,/ð 9<°vÀuð +ó NˆHô &)¨£]ˆF�>Ñ "Ø�~Š~á%ÜÐ RÐSV×S_ÑS_Ð`sÓStÐRuÐvÔwØ �
|
|||
|
|
ð ˆGØ#×,Ñ,Ö.‘��4à ŸL™L›N� Ø—‘˜tŸ}™}× 3Ñ 3°D×4MÑ4MÈyÓ YÕZð /ô ' wÖ/�ð*Ø —}‘}”Ø ˜xÓ(¨AÑ-Ô(à ˜xÓ(¨AÑ-Ó(øð 0ð ×'Ó'Ø×!Ñ! (Ó+¨v°hÑ/?Ñ?Ó+Ø×!Ñ! (Ó+¨v°hÑ/?Ñ?Ó+Ø×!Ñ! (Ó+¨v°nÑ/EÑEÓ+÷ (ô
|
|||
|
|
|
|||
|
|
�H‰HØ*Ø # NÑ 3Ø ˜hÑ'Ø ˜hÑ'ð
|
|||
|
|
ô
|
|||
|
|
ð ˆMøô! !ò *Ü—I‘IÐ :¼3¸q»6¸(Ð CÈd�IÔSؘ8Ó$¨Ñ)×$Ð$ûð*ú÷
|
|||
|
|
(Ð'ûô ò Ü �I‰IÐJÌ3ÈqË6È(ÐSÐ^bˆIÔ cØ�MûÜò Ü �I‰IÐNÐY]ˆIÔ ^Ø�Mûð úsz ˆB:H7 ÃA-H7 Ä1+G%Å H7 Å*AH+Æ9+H7 Ç% H(Ç.0H#È H7 È#H(È(H7 È+H4È0H7 È7 JÉ $I*É$JÉ* JÉ6JÊJÊJrg c óœ — |d }|d }t j ||¬« }|j d|› �« | j j « t j |j dd« « }t j |« j d¬« }| j |d |d
|
|||
|
|
œ« | j j | j |j « « |j! d « y # t" $ rÌ}|j% d
|
|||
|
|
t' |« › �d ¬« t j « t) j* d¬« z } | j |dd|dœ« n5# t" $ r)} |j% dt' | « › �d ¬« Y d} ~ nd} ~ ww xY w | j j- « n# t" $ r Y nw xY wY d}~yd}~ww xY w)u$ 处ç�†å�•ä¸ªä»»åŠ¡ï¼ˆçº¿ç¨‹å®‰å…¨ï¼‰Útask_idÚ task_name©rl rm u 开始执行任务: Ú time_zonerJ NrK rP )Ú
|
|||
|
|
is_runningÚ
|
|||
|
|
last_run_timeu$ 任务已æ��交至å�Žå�°æ‰§è¡Œé˜Ÿåˆ—Tu 任务执行失败: rQ é ©ÚminutesÚfailedr ©Úlast_run_statusrp Ú
|
|||
|
|
next_run_timeu# 任务失败å�ŽçŠ¶æ€�更新失败: F)r Úbindr r ÚacquirerS rT Úgetr rU rV Ú_update_task_statusr r_ Ú_run_task_asyncÚcopyrW r9 rb r, ÚpdÚ TimedeltaÚrelease)
|
|||
|
|
r rg rl rm Útask_logrc Ú current_timerD Únext_retry_timeÚ
|
|||
|
|
update_errs
|
|||
|
|
r! r` z"TaskScheduler._process_single_task s¤ € à�y‘/ˆØ˜Ñ%ˆ Ü—8‘8 G°y�8ÓAˆØ�
|
|||
|
|
‰
|
|||
|
|
Ð,¨Y¨KÐ8Ô9ð( à × #Ñ #× +Ñ +Ô -ô — ‘ ˜tŸx™x¨ °_Ó EÓFˆBÜ#Ÿ<™<¨Ó+×3Ñ3¸4Ð3Ó@ˆLà × $Ñ $ WØ Ø!-ñ/ô
|
|||
|
|
ð
|
|||
|
|
�M‰M× Ñ ×!5Ñ!5°t·y±y³{Ô CØ �N‰NÐAÔ BØøäò Ø �N‰NÐ 1´#°a³&°Ð:ÀTˆNÔ Jô 'Ÿl™l›n¬r¯|©|ÀBÔ/GÑ GˆOð
|
|||
|
|
gØ×(Ñ(¨Ø'/Ø"#Ø%4ñ3õ øô
|
|||
|
|
ò
|
|||
|
|
gØ—‘Ð!DÄSÈÃ_ÐDUÐ VÐae�×fÑfûð
|
|||
|
|
gúð
|
|||
|
|
Ø×'Ñ'×/Ñ/Õ1øÜ ò
|
|||
|
|
Ùð
|
|||
|
|
úô ûð- úsg ·B>C6 Ã6 G Ã?A
|
|||
|
|
GÅ
|
|||
|
|
E!Å GÅ! FÅ* FÆ GÆFÆGÆF2Æ1GÆ2 F>Æ;GÆ=F>Æ>GÇG c óØ — |d }|d }t j ||¬« } | j |« | j |d |j dd« ¬« }| j |dd |d
|
|||
|
|
d z |d œ« |j
|
|||
|
|
d
|
|||
|
|
|› �« | j j « y# t $ r{ |j dd¬« t j « t j d¬« z } | j |dd |dœ« n"# t $ r |j dd¬« Y nw xY wY ŒŸw xY w# t $ r Y yw xY w# | j j « w # t $ r Y w w xY wxY w)uB 在å�Žå�°çº¿ç¨‹ä¸æ‰§è¡Œä»»åŠ¡ä¸»ä½“，并在结æ�Ÿå�Žæ›´æ–°çŠ¶æ€�rl rm rn Úcron_expressionro rJ )Ú cron_exprro Úsuccessr Ú run_countrP )rw rp rŠ rx u 任务执行æˆ�功: u 任务å�Žå�°æ‰§è¡Œå¤±è´¥TrQ rr rs ru rv u) 任务失败å�ŽçŠ¶æ€�更新失败(å�Žå�°)N)r ry Ú_execute_task_logicÚ_calculate_next_run_timer{ r| r r9 rb r rU r r€ r r� )r rg rl rm r‚ rx r„ s r! r} z TaskScheduler._run_task_asyncÑ s„ € à�y‘/ˆØ˜Ñ%ˆ Ü—8‘8 G°y�8ÓAˆð! à × $Ñ $ TÔ *ð !× 9Ñ 9Ø Ð 0Ñ1Ø Ÿ(™( ;°Ó@ð :ó ˆMð
|
|||
|
|
|
|||
|
|
× $Ñ $ WØ#,Ø Ø ! +Ñ .°Ñ 2Ø!.ñ /ô
|
|||
|
|
ð
|
|||
|
|
�M‰MÐ 0°° Ð<Ô =ð
|
|||
|
|
Ø×'Ñ'×/Ñ/Õ1øô ò
|
|||
|
|
[Ø �N‰NÐ5ÀˆNÔ EÜ &Ÿl™l›n¬r¯|©|ÀBÔ/GÑ GˆOð
|
|||
|
|
[Ø×(Ñ(¨Ø'/Ø"#Ø%4ñ3õ øô
|
|||
|
|
ò
|
|||
|
|
[Ø—‘Ð JÐUY�ÖZð
|
|||
|
|
[üð
|
|||
|
|
[ûô ò
|
|||
|
|
Ùð
|
|||
|
|
ûð
|
|||
|
|
Ø×'Ñ'×/Ñ/Õ1øÜ ò
|
|||
|
|
Ùð
|
|||
|
|
ýs £A(B'  D. Â'AD+Ã/DÄD+Ä D%Ä"D+Ä$D%Ä%D+Ä(D= Ä*D+Ä+D= Ä. D:Ä9D:Ä=E)Ä?EÅE)Å E&Å#E)Å%E&Å&E)c óÐ — |j d« }|s t d« ‚ |j d« }t |« dk rt d|› �« ‚dj |dd « }|d }d} d
|
|||
|
|
dl} |j |« } t | |« st d
|
|||
|
|
|› d|› �« ‚t | |« }
|
|||
|
|
t |
|
|||
|
|
|« st d|› d|› �« ‚t |
|
|||
|
|
|« } d
|
|||
|
|
dl
|
|||
|
|
} d}
|
|||
|
|
t | t « r| }
|
|||
|
|
n˜t | t « r| }
|
|||
|
|
n… | j# | « }t% |j& j) « « }|rL|d
|
|||
|
|
j* dk( r:|d
|