estrtto codice duplicato e devinito modulo orchestrator_utils

load_orchestrator.py

@@ -4,36 +4,12 @@
 import logging
 import importlib
 import asyncio
-import os
-import aiomysql
-import contextvars
 
 # Import custom modules for configuration and database connection
 from utils.config import loader_load_data as setting
 from utils.database import CSV_RECEIVED
-
 from utils.csv.loaders import get_next_csv_atomic
-
-# Crea una context variable per identificare il worker
-worker_context = contextvars.ContextVar("worker_id", default="^-^")
-
-
-# Formatter personalizzato che include il worker_id
-class WorkerFormatter(logging.Formatter):
-    """Formatter personalizzato per i log che include l'ID del worker."""
-
-    def format(self, record: str) -> str:
-        """Formatta il record di log includendo l'ID del worker.
-
-        Args:
-            record (str): Il record di log da formattare.
-
-        Returns:
-            La stringa formattata del record di log.
-        """
-        record.worker_id = worker_context.get()
-        return super().format(record)
-
+from utils.orchestrator_utils import run_orchestrator, worker_context
 
 # Initialize the logger for this module
 logger = logging.getLogger()
@@ -43,7 +19,6 @@ CSV_PROCESSING_DELAY = 0.2
 # Tempo di attesa se non ci sono record da elaborare
 NO_RECORD_SLEEP = 60
 
-
 async def worker(worker_id: int, cfg: object, pool: object) -> None:
     """Esegue il ciclo di lavoro per l'elaborazione dei file CSV.
 
@@ -137,70 +112,8 @@ async def load_csv(record: tuple, cfg: object, pool: object) -> bool:
 
 
 async def main():
-    """Funzione principale che inizializza e avvia il sistema.
-
-    Questa funzione si occupa di:
-    - Caricare la configurazione.
-    - Impostare il logging.
-    - Creare un pool di connessioni al database.
-    - Avviare i worker concorrenti per l'elaborazione dei CSV.
-    - Gestire l'arresto controllato del sistema.
-    """
-    logger.info("Avvio del sistema...")
-
-    cfg = setting.Config()
-    logger.info("Configurazione caricata correttamente")
-
-    try:
-        # Configura il logging globale
-        log_level = os.getenv("LOG_LEVEL", "INFO").upper()
-        debug_mode = logging.getLogger().getEffectiveLevel() == logging.DEBUG
-
-        # Configura il logging con il formatter personalizzato
-        handler = logging.FileHandler(cfg.logfilename)
-        formatter = WorkerFormatter(
-            "%(asctime)s - PID: %(process)d.Worker-%(worker_id)s.%(name)s.%(funcName)s.%(levelname)s: %(message)s"
-        )
-        handler.setFormatter(formatter)
-
-        # Rimuovi eventuali handler esistenti e aggiungi il nostro
-        logger.handlers.clear()
-        logger.addHandler(handler)
-        logger.setLevel(getattr(logging, log_level))
-
-        logger.info("Logging configurato correttamente")
-
-        # Numero massimo di worker concorrenti
-        logger.info(f"Avvio di {cfg.max_threads} worker concorrenti")
-
-        pool = await aiomysql.create_pool(
-            host=cfg.dbhost,
-            user=cfg.dbuser,
-            password=cfg.dbpass,
-            db=cfg.dbname,
-            minsize=cfg.max_threads,
-            maxsize=cfg.max_threads * 4,
-            pool_recycle=3600,
-        )
-
-        # Avvia i worker
-        workers = [
-            asyncio.create_task(worker(i, cfg, pool)) for i in range(cfg.max_threads)
-        ]
-
-        logger.info("Sistema avviato correttamente. In attesa di nuovi task...")
-
-        try:
-            await asyncio.gather(*workers, return_exceptions=debug_mode)
-        finally:
-            pool.close()
-            await pool.wait_closed()
-
-    except KeyboardInterrupt:
-        logger.info("Info: Shutdown richiesto... chiusura in corso")
-
-    except Exception as e:
-        logger.error(f"Errore principale: {e}", exc_info=debug_mode)
+    """Funzione principale che avvia il load_orchestrator."""
+    await run_orchestrator(setting.Config, worker)
 
 
 if __name__ == "__main__":