Skip to content

Commit

Permalink
Proposition de refactorisation de la configuration de normalisation d…
Browse files Browse the repository at this point in the history 
…es données sources (#1152)
  • Loading branch information
@kolok
kolok authored Jan 6, 2025
1 parent 57b60e0 commit f6c4795
Show file tree
Hide file tree
Showing 55 changed files with 4,437 additions and 1,770 deletions.
40 changes: 40 additions & 0 deletions dags/sources/config/airflow_params.py
View file
Original file line number Diff line number Diff line change
Expand Up @@ -3,11 +3,32 @@

import requests
from sources.tasks.transform.transform_column import (
cast_eo_boolean_or_string_to_boolean,
clean_acteur_type_code,
clean_code_postal,
clean_public_accueilli,
clean_reprise,
clean_siren,
clean_siret,
clean_souscategorie_codes,
clean_souscategorie_codes_sinoe,
clean_url,
convert_opening_hours,
strip_string,
)
from sources.tasks.transform.transform_df import (
clean_acteurservice_codes,
clean_action_codes,
clean_adresse,
clean_identifiant_externe,
clean_identifiant_unique,
clean_label_codes,
clean_siret_and_siren,
clean_telephone,
get_latlng_from_geopoint,
merge_and_clean_souscategorie_codes,
merge_sous_categories_columns,
)

PATH_NOMENCLARURE_DECHET = (
"https://data.ademe.fr/data-fair/api/v1/datasets/sinoe-r-nomenclature-dechets/lines"
Expand All @@ -23,6 +44,25 @@
"clean_siren": clean_siren,
"clean_siret": clean_siret,
"strip_string": strip_string,
"clean_siret_and_siren": clean_siret_and_siren,
"clean_acteur_type_code": clean_acteur_type_code,
"clean_identifiant_externe": clean_identifiant_externe,
"clean_identifiant_unique": clean_identifiant_unique,
"clean_telephone": clean_telephone,
"merge_sous_categories_columns": merge_sous_categories_columns,
"clean_adresse": clean_adresse,
"clean_public_accueilli": clean_public_accueilli,
"cast_eo_boolean_or_string_to_boolean": cast_eo_boolean_or_string_to_boolean,
"clean_reprise": clean_reprise,
"clean_acteurservice_codes": clean_acteurservice_codes,
"clean_label_codes": clean_label_codes,
"clean_code_postal": clean_code_postal,
"clean_action_codes": clean_action_codes,
"clean_souscategorie_codes": clean_souscategorie_codes,
"merge_and_clean_souscategorie_codes": merge_and_clean_souscategorie_codes,
"clean_url": clean_url,
"clean_souscategorie_codes_sinoe": clean_souscategorie_codes_sinoe,
"get_latlng_from_geopoint": get_latlng_from_geopoint,
}


Expand Down
201 changes: 103 additions & 98 deletions dags/sources/config/db_mapping.json
View file
Original file line number Diff line number Diff line change
Expand Up @@ -17,7 +17,12 @@
"décoration textile": "Décoration textile - Éléments d'ameublement",
"ecrans": "ecran",
"écrans": "ecran",
"emballage multimatériaux": ["autres_emballages_menagers","bouteilles_plastique","emballage_metal","emballage_carton"],
"emballage multimatériaux": [
"autres_emballages_menagers",
"bouteilles_plastique",
"emballage_metal",
"emballage_carton"
],
"gem froid": "gros electromenager (refrigerant)",
"gem hors froid": "gros electromenager (hors refrigerant)",
"huisseries": "Huisseries (produits et matériaux de construction du bâtiment)",
Expand Down Expand Up @@ -180,123 +185,123 @@
"écrans": "ecran"
},
"sous_categories_sinoe": {
"[SYDEREP] Bouteilles/Flacons PET clair (en extension)": "bouteilles_plastique",
"[SYDEREP] Bouteilles/Flacons/Pots/Barquettes PE (en extension)": "bouteilles_plastique",
"[SYDEREP] Bouteilles/Flacons/Pots/Barquettes PE/PP (en extension)": "bouteilles_plastique",
"[SYDEREP] Bouteilles/Flacons/Pots/Barquettes PE/PP/PS (en extension)": "bouteilles_plastique",
"[SYDEREP] Bouteilles/Flacons/Pots/Barquettes PET foncé (en extension)": "bouteilles_plastique",
"[SYDEREP] Bouteilles/Flacons/Pots/Barquettes PET opaque (en extension)": [
"[syderep] bouteilles/flacons pet clair (en extension)": "bouteilles_plastique",
"[syderep] bouteilles/flacons/pots/barquettes pe (en extension)": "bouteilles_plastique",
"[syderep] bouteilles/flacons/pots/barquettes pe/pp (en extension)": "bouteilles_plastique",
"[syderep] bouteilles/flacons/pots/barquettes pe/pp/ps (en extension)": "bouteilles_plastique",
"[syderep] bouteilles/flacons/pots/barquettes pet foncé (en extension)": "bouteilles_plastique",
"[syderep] bouteilles/flacons/pots/barquettes pet opaque (en extension)": [
"emballage_plastique",
"bouteilles_plastique"
],
"[SYDEREP] Bouteilles/Flacons/Pots/Barquettes PP (en extension)": "bouteilles_plastique",
"[SYDEREP] Emballages Plastiques ménagers rigides (en extension)": "emballage_plastique",
"[SYDEREP] Emballages Plastiques ménagers rigides (en extension)SUITE": "emballage_plastique",
"[SYDEREP] Emballages Plastiques ménagers rigides (hors extension)": "emballage_plastique",
"[SYDEREP] Flux développement (en extension)": "emballage_plastique",
"[SYDEREP] Flux plastiques rigides à trier (en extension)": "emballage_plastique",
"[SYDEREP] Flux plastiques rigides à trier (hors extension)": "emballage_plastique",
"[SYDEREP] Pots/Barquettes PET clair (en extension)": "emballage_plastique",
"[SYDEREP] Pots/Barquettes PS (en extension)": "bouteilles_plastique",
"[SYDEREP] Rigides multi-couches ou complexes (en extension)": "emballage_plastique",
"Articles de bricolage et de jardin (ABJ)": "outil de bricolage et jardinage",
"Articles de bricolage et de jardin (outils du peintre)": "ABJ_Outillage du peintre usagé",
"Articles de sports et de loisirs (ASL)": ["materiel de sport (hors velo)", "velo"],
"Automobiles hors d'usage": "Vehicule",
"Autres batteries (y compris moyens de transport légers)": "batteries_de_mtl",
"Batteries automobiles": "batterie_de_voitures_pour_demarrage",
"Biodéchets": "biodechets",
"Bouteilles de gaz/extincteurs": "Petits appareils extincteurs",
"Cartons": "emballage_carton",
"Catalyseurs chimiques usés": "Déchets de produits chimiques",
"Compost": "biodechets",
"Contenant d'huile de vidange": "Huiles_lubrifiantes",
"Déchets acides": "Déchets de produits chimiques acides",
"Déchets acides, alcalins ou salins": "Déchets de produits chimiques acides",
"Déchets amiantés": "Déchets dangereux de PMCB (produits et matériaux de construction du bâtiment)",
"Déchets chimiques en mélange": "Déchets de produits chimiques",
"Déchets chimiques mélangés pour traitement": "Déchets de produits chimiques",
"Déchets d'amiante friable": "Déchets dangereux de PMCB (produits et matériaux de construction du bâtiment)",
"Déchets d’articles de bricolage et de jardin": "outil de bricolage et jardinage",
"Déchets d'autres préparations chimiques": "Déchets de produits chimiques",
"Déchets d'élagage": "dechets_verts",
"Déchets d'emballages en bois": "emballage_multimateriaux",
"Déchets de composés chimiques": "Déchets de produits chimiques",
"Déchets de la préparation des produits végétaux": "biodechets",
"Déchets de laines de roche": "Laine de roche (produits et matériaux de construction du bâtiment)",
"Déchets de laines de verre": "Laine de verre (produits et matériaux de construction du bâtiment)",
"Déchets de peintures, vernis, encres et colles": "Déchets de peintures, vernis, encres et colles - Produits chimiques",
"Déchets de piles et accumulateurs": "Batteries & piles portables",
"Déchets de plâtre": "Plâtre - PMCB (produits et matériaux de construction du bâtiment)",
"Déchets de préparation chimiques": "Déchets de produits chimiques",
"Déchets de produits alimentaires": "biodechets",
"Déchets de vêtements en textiles": ["vetement", "linge de maison"],
"Déchets en mélange": "encombrants_menagers_divers",
"Déchets ménagers et assimilés": "encombrants_menagers_divers",
"Déchets textiles": ["vetement", "linge de maison"],
"Déchets verts": "dechets_verts",
"Déchets verts d'entretien des parcs et jardins": "dechets_verts",
"Ecorces": "dechets_verts",
"Ecrans, dont appareils à tubes cathodiques": "ecran",
"Elément d'ameublement": "meuble",
"Emballages en matières plastiques": "emballage_plastique",
"Emballages en verre": "emballage_verre",
"Emballages et papiers graphiques": [
"[syderep] bouteilles/flacons/pots/barquettes pp (en extension)": "bouteilles_plastique",
"[syderep] emballages plastiques ménagers rigides (en extension)": "emballage_plastique",
"[syderep] emballages plastiques ménagers rigides (en extension)suite": "emballage_plastique",
"[syderep] emballages plastiques ménagers rigides (hors extension)": "emballage_plastique",
"[syderep] flux développement (en extension)": "emballage_plastique",
"[syderep] flux plastiques rigides à trier (en extension)": "emballage_plastique",
"[syderep] flux plastiques rigides à trier (hors extension)": "emballage_plastique",
"[syderep] pots/barquettes pet clair (en extension)": "emballage_plastique",
"[syderep] pots/barquettes ps (en extension)": "bouteilles_plastique",
"[syderep] rigides multi-couches ou complexes (en extension)": "emballage_plastique",
"articles de bricolage et de jardin (abj)": "outil de bricolage et jardinage",
"articles de bricolage et de jardin (outils du peintre)": "ABJ_Outillage du peintre usagé",
"articles de sports et de loisirs (asl)": ["materiel de sport (hors velo)", "velo"],
"automobiles hors d'usage": "Vehicule",
"autres batteries (y compris moyens de transport légers)": "batteries_de_mtl",
"batteries automobiles": "batterie_de_voitures_pour_demarrage",
"biodéchets": "biodechets",
"bouteilles de gaz/extincteurs": "Petits appareils extincteurs",
"cartons": "emballage_carton",
"catalyseurs chimiques usés": "Déchets de produits chimiques",
"compost": "biodechets",
"contenant d'huile de vidange": "Huiles_lubrifiantes",
"déchets acides": "Déchets de produits chimiques acides",
"déchets acides, alcalins ou salins": "Déchets de produits chimiques acides",
"déchets amiantés": "Déchets dangereux de PMCB (produits et matériaux de construction du bâtiment)",
"déchets chimiques en mélange": "Déchets de produits chimiques",
"déchets chimiques mélangés pour traitement": "Déchets de produits chimiques",
"déchets d'amiante friable": "Déchets dangereux de PMCB (produits et matériaux de construction du bâtiment)",
"déchets d’articles de bricolage et de jardin": "outil de bricolage et jardinage",
"déchets d'autres préparations chimiques": "Déchets de produits chimiques",
"déchets d'élagage": "dechets_verts",
"déchets d'emballages en bois": "autres_emballages_menagers",
"déchets de composés chimiques": "Déchets de produits chimiques",
"déchets de la préparation des produits végétaux": "biodechets",
"déchets de laines de roche": "Laine de roche (produits et matériaux de construction du bâtiment)",
"déchets de laines de verre": "Laine de verre (produits et matériaux de construction du bâtiment)",
"déchets de peintures, vernis, encres et colles": "Déchets de peintures, vernis, encres et colles - Produits chimiques",
"déchets de piles et accumulateurs": "Batteries & piles portables",
"déchets de plâtre": "Plâtre - PMCB (produits et matériaux de construction du bâtiment)",
"déchets de préparation chimiques": "Déchets de produits chimiques",
"déchets de produits alimentaires": "biodechets",
"déchets de vêtements en textiles": ["vetement", "linge de maison"],
"déchets en mélange": "encombrants_menagers_divers",
"déchets ménagers et assimilés": "encombrants_menagers_divers",
"déchets textiles": ["vetement", "linge de maison"],
"déchets verts": "dechets_verts",
"déchets verts d'entretien des parcs et jardins": "dechets_verts",
"ecorces": "dechets_verts",
"ecrans, dont appareils à tubes cathodiques": "ecran",
"elément d'ameublement": "meuble",
"emballages en matières plastiques": "emballage_plastique",
"emballages en verre": "emballage_verre",
"emballages et papiers graphiques": [
"emballage_carton",
"bouteilles_plastique",
"emballage_plastique",
"emballage_metal",
"emballage_multimateriaux",
"autres_emballages_menagers",
"papiers_graphiques"
],
"Emballages métalliques en mélange": "emballage_metal",
"Emballages papier carton complexés": ["papiers_graphiques", "emballage_carton"],
"Emballages papier carton non complexés": [
"emballages métalliques en mélange": "emballage_metal",
"emballages papier carton complexés": ["papiers_graphiques", "emballage_carton"],
"emballages papier carton non complexés": [
"papiers_graphiques",
"emballage_carton"
],
"Emballages plastiques - metaux - briques": [
"emballages plastiques - metaux - briques": [
"bouteilles_plastique",
"emballage_plastique",
"emballage_metal",
"emballage_multimateriaux"
"autres_emballages_menagers"
],
"Emballages sans les papiers graphiques": [
"emballages sans les papiers graphiques": [
"emballage_carton",
"bouteilles_plastique",
"emballage_plastique",
"emballage_metal",
"emballage_multimateriaux"
"autres_emballages_menagers"
],
"Emballages souillés par une substance dangereuse": "Déchets de produits chimiques",
"Encombrants ménagers divers": "encombrants_menagers_divers",
"Equipements électriques et électroniques hors d'usage": "petit electromenager",
"Films plastiques": "emballage_plastique",
"Films plastiques emballages ménagers": "emballage_plastique",
"Filtres à huiles ou à gazole": "Déchets de produits chimiques",
"Gros appareils de production de froid": "gros electromenager (refrigerant)",
"Gros électroménager hors d'usage": "gros electromenager (hors refrigerant)",
"Huiles de vidange": "Huiles_lubrifiantes",
"Huiles usées": "Huiles_lubrifiantes",
"Huisseries multi-matériaux": "Huisseries (produits et matériaux de construction du bâtiment)",
"Jouets": "jouet",
"Jouets et ASL en mélange": ["jouet", "materiel de sport (hors velo)", "velo"],
"Palettes usagées": "palette",
"Papiers cartons en mélange à trier": ["papiers_graphiques", "emballage_carton"],
"Papiers cartons mêlés triés": ["papiers_graphiques", "emballage_carton"],
"Papiers graphiques": "papiers_graphiques",
"Petit électroménager hors d'usage": "petit electromenager",
"Petits déchets chimiques en mélange": "Déchets de produits chimiques",
"Piles et batteries portables (inférieur à 5 kg)": "Batteries & piles portables",
"Pneumatiques hors d'usage": "Pneu",
"Produits chimiques hors spécifications": "Déchets de produits chimiques",
"Sciures et copeaux de bois": "dechets_verts",
"Solvants usés": "Produits chimiques - Solvants",
"Solvants usés halogénés": "Produits chimiques - Solvants",
"Solvants usés non halogénés": "Produits chimiques - Solvants",
"Toner d'impression": "cartouches",
"Tubes cathodiques": "ecran",
"Tubes fluorescents": "ampoule",
"Véhicules hors d'usage": "Vehicule"
"emballages souillés par une substance dangereuse": "Déchets de produits chimiques",
"encombrants ménagers divers": "encombrants_menagers_divers",
"equipements électriques et électroniques hors d'usage": "petit electromenager",
"films plastiques": "emballage_plastique",
"films plastiques emballages ménagers": "emballage_plastique",
"filtres à huiles ou à gazole": "Déchets de produits chimiques",
"gros appareils de production de froid": "gros electromenager (refrigerant)",
"gros électroménager hors d'usage": "gros electromenager (hors refrigerant)",
"huiles de vidange": "Huiles_lubrifiantes",
"huiles usées": "Huiles_lubrifiantes",
"huisseries multi-matériaux": "Huisseries (produits et matériaux de construction du bâtiment)",
"jouets": "jouet",
"jouets et asl en mélange": ["jouet", "materiel de sport (hors velo)", "velo"],
"palettes usagées": "palette",
"papiers cartons en mélange à trier": ["papiers_graphiques", "emballage_carton"],
"papiers cartons mêlés triés": ["papiers_graphiques", "emballage_carton"],
"papiers graphiques": "papiers_graphiques",
"petit électroménager hors d'usage": "petit electromenager",
"petits déchets chimiques en mélange": "Déchets de produits chimiques",
"piles et batteries portables (inférieur à 5 kg)": "Batteries & piles portables",
"pneumatiques hors d'usage": "Pneu",
"produits chimiques hors spécifications": "Déchets de produits chimiques",
"sciures et copeaux de bois": "dechets_verts",
"solvants usés": "Produits chimiques - Solvants",
"solvants usés halogénés": "Produits chimiques - Solvants",
"solvants usés non halogénés": "Produits chimiques - Solvants",
"toner d'impression": "cartouches",
"tubes cathodiques": "ecran",
"tubes fluorescents": "ampoule",
"véhicules hors d'usage": "Vehicule"
}
}
Loading

0 comments on commit f6c4795

Please sign in to comment.