Ignorer les localisations nulle

dags/sources/tasks/business_logic/source_data_normalize.py

@@ -192,6 +192,19 @@ def source_data_normalize(
     # Merge et suppression des lignes indésirables
     df = _remove_undesired_lines(df, dag_config)
 
+    # TODO: A voir ce qu'on doit faire de ces acteurs non digitaus mais sans
+    # localisation (proposition : les afficher en erreur directement ?)
+    df_acteur_sans_loc = df[
+        (df["location"].isnull()) & (df["acteur_type_code"] != "acteur_digital")
+    ]
+    if not df_acteur_sans_loc.empty:
+        nb_acteurs = len(df)
+        logger.warning(
+            f"Nombre d'acteur sans localisation: {len(df_acteur_sans_loc)} / "
+            f"{nb_acteurs}"
+        )
+        log.preview("Acteurs sans localisation", df_acteur_sans_loc)
+
     log.preview("df après normalisation", df)
     if df.empty:
         raise ValueError("Plus aucune donnée disponible après normalisation")

dags/sources/tasks/transform/transform_column.py

@@ -171,7 +171,6 @@ def clean_souscategorie_codes(
         return souscategorie_codes
 
     product_mapping = dag_config.product_mapping
-    logger.warning(f"{sscat_list=}")
     for sscat in sscat_list.split("|"):
         sscat = sscat.strip().lower()
         if not sscat:

dags/utils/base_utils.py

@@ -114,6 +114,8 @@ def extract_details(row, col="adresse_format_ban"):
 
 
 def transform_location(longitude, latitude):
+    if not longitude or not latitude:
+        return None
     return wkb.dumps(Point(longitude, latitude)).hex()