Revert "normalisation des codes du modèle Source (#1127)" (#1140)

This reverts commit ebd8ec2.
incubateur-ademe · Dec 16, 2024 · 007e688 · 007e688
1 parent 106df69
commit 007e688
Show file tree

Hide file tree

Showing 5 changed files with 13 additions and 211 deletions.
diff --git a/dags/sources/tasks/business_logic/source_data_normalize.py b/dags/sources/tasks/business_logic/source_data_normalize.py
@@ -85,15 +85,13 @@ def source_data_normalize(
     # TODO : un peu crado, à revoir
     # A cause de la résolution de l'identifiant unique qui dépend du code de la source
     if "source_id" in df.columns:
-        df["source_code"] = df["source_id"].str.lower()
-        df["source_id"] = df["source_code"].map(source_id_by_code)
+        df["source_code"] = df["source_id"]
+        df["source_id"] = df["source_id"].map(source_id_by_code)
     elif source_code is not None:
         df["source_code"] = source_code
         df["source_id"] = source_id_by_code[source_code]
     else:
         ValueError("Pas de colonne 'source_id'")
-    if df["source_id"].isna().sum() > 0:
-        raise ValueError("Valeur nan dans 'source_id'")
 
     # Identifiant unique
     # TODO: on dévrait pouvoir utiliser les modèles django/DB pour automatiser cela

diff --git a/dags_unit_tests/sources/tasks/business_logic/test_source_data_normalize.py b/dags_unit_tests/sources/tasks/business_logic/test_source_data_normalize.py
@@ -303,7 +303,7 @@ def test_statut(self, statut, statut_expected, source_data_normalize_kwargs):
             {
                 "identifiant_externe": ["1"],
                 "ecoorganisme": ["source1"],
-                "source_id": ["source1"],
+                "source_id": ["source_id1"],
                 "acteur_type_id": ["decheterie"],
                 "produitsdechets_acceptes": ["Plastic Box"],
                 "statut": [statut],
@@ -318,7 +318,7 @@ def test_statut_no_column(self, source_data_normalize_kwargs):
             {
                 "identifiant_externe": ["1"],
                 "ecoorganisme": ["source1"],
-                "source_id": ["source1"],
+                "source_id": ["source_id1"],
                 "acteur_type_id": ["decheterie"],
                 "produitsdechets_acceptes": ["Plastic Box"],
             }
@@ -345,7 +345,7 @@ def test_label_bonus(
             {
                 "identifiant_externe": ["1"],
                 "ecoorganisme": ["source1"],
-                "source_id": ["source1"],
+                "source_id": ["source_id1"],
                 "acteur_type_id": ["decheterie"],
                 "labels_etou_bonus": [label_et_bonus],
                 "produitsdechets_acceptes": ["Plastic Box"],
@@ -375,7 +375,7 @@ def test_public_accueilli(
             {
                 "identifiant_externe": ["1"],
                 "ecoorganisme": ["source1"],
-                "source_id": ["source1"],
+                "source_id": ["source_id1"],
                 "public_accueilli": [public_accueilli],
                 "acteur_type_id": ["decheterie"],
                 "produitsdechets_acceptes": ["Plastic Box"],
@@ -401,7 +401,7 @@ def test_public_accueilli_filtre_pro(
             {
                 "identifiant_externe": ["1"],
                 "ecoorganisme": ["source1"],
-                "source_id": ["source1"],
+                "source_id": ["source_id1"],
                 "public_accueilli": [public_accueilli],
                 "acteur_type_id": ["decheterie"],
                 "produitsdechets_acceptes": ["Plastic Box"],
@@ -437,7 +437,7 @@ def test_uniquement_sur_rdv(
             {
                 "identifiant_externe": ["1"],
                 "ecoorganisme": ["source1"],
-                "source_id": ["source1"],
+                "source_id": ["source_id1"],
                 "uniquement_sur_rdv": [uniquement_sur_rdv],
                 "acteur_type_id": ["decheterie"],
                 "produitsdechets_acceptes": ["Plastic Box"],
@@ -468,7 +468,7 @@ def test_reprise(
             {
                 "identifiant_externe": ["1"],
                 "ecoorganisme": ["source1"],
-                "source_id": ["source1"],
+                "source_id": ["source_id1"],
                 "reprise": [reprise],
                 "acteur_type_id": ["decheterie"],
                 "produitsdechets_acceptes": ["Plastic Box"],
@@ -504,7 +504,7 @@ def test_exclusivite_de_reprisereparation(
             {
                 "identifiant_externe": ["1"],
                 "ecoorganisme": ["source1"],
-                "source_id": ["source1"],
+                "source_id": ["source_id1"],
                 "exclusivite_de_reprisereparation": [exclusivite_de_reprisereparation],
                 "acteur_type_id": ["decheterie"],
                 "produitsdechets_acceptes": ["Plastic Box"],
@@ -534,7 +534,7 @@ def test_column_transformations_is_called(self, source_data_normalize_kwargs):
             {
                 "identifiant_externe": ["1"],
                 "ecoorganisme": ["source1"],
-                "source_id": ["source1"],
+                "source_id": ["source_id1"],
                 "acteur_type_id": ["decheterie"],
                 "produitsdechets_acceptes": ["Plastic Box"],
                 "nom origin": ["nom origin 1"],

diff --git a/qfdmo/migrations/0108_refacto_source_codes.py b/qfdmo/migrations/0108_refacto_source_codes.py
diff --git a/qfdmo/migrations/0109_alter_source_code.py b/qfdmo/migrations/0109_alter_source_code.py
diff --git a/qfdmo/models/acteur.py b/qfdmo/models/acteur.py
@@ -131,13 +131,10 @@ class Meta:
     code = models.CharField(
         max_length=255,
         unique=True,
-        blank=False,
-        null=False,
         help_text=(
-            "Ce champ est utilisé lors de l'import de données, il ne doit pas être"
-            " mis à jour sous peine de casser l'import de données"
+            "This field is used to manage the import of data."
+            " Any update can break the import data process"
         ),
-        validators=[CodeValidator()],
     )
     afficher = models.BooleanField(default=True)
     url = models.CharField(max_length=2048, blank=True, null=True)