config_experiments.yaml

# Query to get label (infractor or not infractor from database
y: 'infractor' 
label_query: "select entity_id, month_year,
              case when s.infracted > 0 then true 
              when s.infracted = 0 then false
              end as infractor
              from staging.train_monthly_split_{table_start}_{table_end}
              left join
              (select entity_id, date_monthyear as month_year,
              sum(infra) as infracted
              from cleaned.inspections_se
              where date_monthyear >= '{table_start}'
              and date_monthyear <= '{table_end}'
              group by entity_id, date_monthyear) as s
              using (month_year, entity_id)
              "

# This parameter can be set true if we want to undersample our training data to account for the imbalance between 1's and 0's (label)
sample: False
sample_level: .8 # Removes 80% of 0's from training data

# Specify the features you want to train the model with
X: [
   'industry_real_estate',
   'industry_others',
   'industry_public_administration_and_defense',
   'industry_agriculture_livestock_hunting_and_forestry',
   'industry_commerce',
   'industry_construction',
   'industry_electricity_gas_and_water',
   'industry_education',
   'industry_financial_establishments_insurance_realestate_and_serv',
   'industry_exploitation_mines_and_quarries',
   'industry_private_homes_with_domestic_service',
   'industry_hotels_and_restaurants',
   'industry_manufacturing_industries',
   'industry_financial_intermediation',
   'industry_organizations_and_extraterritorial_bodies',
   'industry_other_community_service_activities',
   'industry_fishing',
   'industry_state_social_services',
   'industry_other_social_and_health_services',
   'industry_electricity_gas_and_water_supply',
   'industry_transportation_storage_and_communications',
   'industry_real_state_business_and_rental',
   'industry_none',
   'industry_administration_council_of_buildings',
   'industry_social_and_health_services',
   'industry_noinfo',
    'infra_sum',
'noinfra_sum', 
'total_matters',
'num_urgent',
'num_inspections',
'totalafectados',
'num_workers_sii',
'urgent',
'exchange_rate',
'cpi',
'total_retail_trade',
'active_population',
'employed_population',
'inactive_population',
'population',
'unemployed_population',
'working_age_population',
'employment_rate',
'inactivity_rate',
'unemployment_rate',
'month_plus_one',
'avg_copper_price',
'comuna_algarrobo',
'comuna_alhue',
'comuna_altobiobio',
'comuna_altodelcarmen',
'comuna_altohospicio',
'comuna_ancud',
'comuna_andacollo',
'comuna_angol',
'comuna_antartica',
'comuna_antofagasta',
'comuna_antuco',
'comuna_arauco',
'comuna_arica',
'comuna_aysen',
'comuna_buin',
'comuna_bulnes',
'comuna_cabildo',
'comuna_cabodehornos',
'comuna_cabrero',
'comuna_calama',
'comuna_calbuco',
'comuna_caldera',
'comuna_caleradetango',
'comuna_callelarga',
'comuna_camarones',
'comuna_camina',
'comuna_canela',
'comuna_canete',
'comuna_carahue',
'comuna_cartagena',
'comuna_casablanca',
'comuna_castro',
'comuna_catemu',
'comuna_cauquenes',
'comuna_cerrillos',
'comuna_cerronavia',
'comuna_chaiten',
'comuna_chanaral',
'comuna_chanco',
'comuna_chepica',
'comuna_chiguayante',
'comuna_chilechico',
'comuna_chillan',
'comuna_chillanviejo',
'comuna_chimbarongo',
'comuna_cholchol',
'comuna_chonchi',
'comuna_cisnes',
'comuna_cobquecura',
'comuna_cochamo',
'comuna_cochrane',
'comuna_codegua',
'comuna_coelemu',
'comuna_coihueco',
'comuna_coinco',
'comuna_colbun',
'comuna_colchane',
'comuna_colina',
'comuna_collipulli',
'comuna_coltauco',
'comuna_combarbala',
'comuna_concepcion',
'comuna_conchali',
'comuna_concon',
'comuna_constitucion',
'comuna_contulmo',
'comuna_copiapo',
'comuna_coquimbo',
'comuna_coronel',
'comuna_corral',
'comuna_coyhaique',
'comuna_cunco',
'comuna_curacautin',
'comuna_curacavi',
'comuna_curacodevelez',
'comuna_curanilahue',
'comuna_curarrehue',
'comuna_curepto',
'comuna_curico',
'comuna_dalcahue',
'comuna_diegodealmagro',
'comuna_donihue',
'comuna_elbosque',
'comuna_elcarmen',
'comuna_elmonte',
'comuna_elquisco',
'comuna_eltabo',
'comuna_empedrado',
'comuna_ercilla',
'comuna_estacioncentral',
'comuna_florida',
'comuna_freire',
'comuna_freirina',
'comuna_fresia',
'comuna_frutillar',
'comuna_futaleufu',
'comuna_futrono',
'comuna_galvarino',
'comuna_generallagos',
'comuna_gorbea',
'comuna_graneros',
'comuna_guaitecas',
'comuna_hijuelas',
'comuna_hualaihue',
'comuna_hualane',
'comuna_hualpen',
'comuna_hualqui',
'comuna_huara',
'comuna_huasco',
'comuna_huechuraba',
'comuna_illapel',
'comuna_independencia',
'comuna_iquique',
'comuna_islademaipo',
'comuna_isladepascua',
'comuna_juanfernandez',
'comuna_lacalera',
'comuna_lacisterna',
'comuna_lacruz',
'comuna_laestrella',
'comuna_laflorida',
'comuna_lagoranco',
'comuna_lagoverde',
'comuna_lagranja',
'comuna_lagunablanca',
'comuna_lahiguera',
'comuna_laja',
'comuna_laligua',
'comuna_lampa',
'comuna_lanco',
'comuna_lapintana',
'comuna_lareina',
'comuna_lascabras',
'comuna_lascondes',
'comuna_laserena',
'comuna_launion',
'comuna_lautaro',
'comuna_lebu',
'comuna_licanten',
'comuna_limache',
'comuna_linares',
'comuna_litueche',
'comuna_llanquihue',
'comuna_llayllay',
'comuna_lobarnechea',
'comuna_loespejo',
'comuna_lolol',
'comuna_loncoche',
'comuna_longavi',
'comuna_lonquimay',
'comuna_loprado',
'comuna_losalamos',
'comuna_losandes',
'comuna_losangeles',
'comuna_loslagos',
'comuna_losmuermos',
'comuna_lossauces',
'comuna_losvilos',
'comuna_lota',
'comuna_lumaco',
'comuna_machali',
'comuna_macul',
'comuna_mafil',
'comuna_maipu',
'comuna_malloa',
'comuna_marchigue',
'comuna_mariaelena',
'comuna_mariapinto',
'comuna_mariquina',
'comuna_maule',
'comuna_maullin',
'comuna_mejillones',
'comuna_melipeuco',
'comuna_melipilla',
'comuna_molina',
'comuna_montepatria',
'comuna_mostazal',
'comuna_mulchen',
'comuna_nacimiento',
'comuna_nancagua',
'comuna_natales',
'comuna_navidad',
'comuna_negrete',
'comuna_ninhue',
'comuna_niquen',
'comuna_nogales',
'comuna_nuevaimperial',
'comuna_nunoa',
'comuna_ohiggins',
'comuna_olivar',
'comuna_ollague',
'comuna_olmue',
'comuna_osorno',
'comuna_ovalle',
'comuna_padrehurtado',
'comuna_padrelascasas',
'comuna_paihuano',
'comuna_paillaco',
'comuna_paine',
'comuna_palena',
'comuna_palmilla',
'comuna_panguipulli',
'comuna_panquehue',
'comuna_papudo',
'comuna_paredones',
'comuna_parral',
'comuna_pedroaguirrecerda',
'comuna_pelarco',
'comuna_pelluhue',
'comuna_pemuco',
'comuna_penaflor',
'comuna_penalolen',
'comuna_pencahue',
'comuna_penco',
'comuna_peralillo',
'comuna_perquenco',
'comuna_petorca',
'comuna_peumo',
'comuna_pica',
'comuna_pichidegua',
'comuna_pichilemu',
'comuna_pinto',
'comuna_pirque',
'comuna_pitrufquen',
'comuna_placilla',
'comuna_portezuelo',
'comuna_porvenir',
'comuna_pozoalmonte',
'comuna_primavera',
'comuna_providencia',
'comuna_puchuncavi',
'comuna_pucon',
'comuna_pudahuel',
'comuna_puentealto',
'comuna_puertomontt',
'comuna_puertooctay',
'comuna_puertosaavedra',
'comuna_puertovaras',
'comuna_pumanque',
'comuna_punitaqui',
'comuna_puntaarenas',
'comuna_puqueldon',
'comuna_puren',
'comuna_purranque',
'comuna_putaendo',
'comuna_putre',
'comuna_puyehue',
'comuna_queilen',
'comuna_quellon',
'comuna_quemchi',
'comuna_quilaco',
'comuna_quilicura',
'comuna_quilleco',
'comuna_quillon',
'comuna_quillota',
'comuna_quilpue',
'comuna_quinchao',
'comuna_quintadetilcoco',
'comuna_quintanormal',
'comuna_quintero',
'comuna_quirihue',
'comuna_rancagua',
'comuna_ranquil',
'comuna_rauco',
'comuna_recoleta',
'comuna_renaico',
'comuna_renca',
'comuna_rengo',
'comuna_requinoa',
'comuna_retiro',
'comuna_rinconada',
'comuna_riobueno',
'comuna_rioclaro',
'comuna_riohurtado',
'comuna_rioibanez',
'comuna_rionegro',
'comuna_rioverde',
'comuna_romeral',
'comuna_sagradafamilia',
'comuna_salamanca',
'comuna_sanantonio',
'comuna_sanbernardo',
'comuna_sancarlos',
'comuna_sanclemente',
'comuna_sanesteban',
'comuna_sanfabian',
'comuna_sanfelipe',
'comuna_sanfernando',
'comuna_sangregorio',
'comuna_sanignacio',
'comuna_sanjavier',
'comuna_sanjoaquin',
'comuna_sanjosedemaipo',
'comuna_sanjuandelacosta',
'comuna_sanmiguel',
'comuna_sannicolas',
'comuna_sanpablo',
'comuna_sanpedro',
'comuna_sanpedrodeatacama',
'comuna_sanpedrodelapaz',
'comuna_sanrafael',
'comuna_sanramon',
'comuna_sanrosendo',
'comuna_santabarbara',
'comuna_santacruz',
'comuna_santajuana',
'comuna_santamaria',
'comuna_santiago',
'comuna_santodomingo',
'comuna_sanvicente',
'comuna_sierragorda',
'comuna_talagante',
'comuna_talca',
'comuna_talcahuano',
'comuna_taltal',
'comuna_temuco',
'comuna_teno',
'comuna_teodoroschmidt',
'comuna_tierraamarilla',
'comuna_til_til',
'comuna_timaukel',
'comuna_tirua',
'comuna_tocopilla',
'comuna_tolten',
'comuna_tome',
'comuna_torresdelpaine',
'comuna_tortel',
'comuna_traiguen',
'comuna_treguaco',
'comuna_tucapel',
'comuna_valdivia',
'comuna_vallenar',
'comuna_valparaiso',
'comuna_vichuquen',
'comuna_victoria',
'comuna_vicuna',
'comuna_vilcun',
'comuna_villaalegre',
'comuna_villaalemana',
'comuna_villarrica',
'comuna_vinadelmar',
'comuna_vitacura',
'comuna_yerbasbuenas',
'comuna_yumbel',
'comuna_yungay',
'comuna_zapallar',
'comuna_none',
'codoficina_1001',
'codoficina_1002',
'codoficina_1003',
'codoficina_1004',
'codoficina_1005',
'codoficina_1006',
'codoficina_1007',
'codoficina_1008',
'codoficina_1009',
'codoficina_101',
'codoficina_1011',
'codoficina_1012',
'codoficina_1013',
'codoficina_1014',
'codoficina_1015',
'codoficina_1016',
'codoficina_1017',
'codoficina_102',
'codoficina_103',
'codoficina_104',
'codoficina_1101',
'codoficina_1102',
'codoficina_1103',
'codoficina_1104',
'codoficina_1105',
'codoficina_1106',
'codoficina_1201',
'codoficina_1202',
'codoficina_1203',
'codoficina_1300',
'codoficina_1301',
'codoficina_1302',
'codoficina_1303',
'codoficina_1304',
'codoficina_1305',
'codoficina_1306',
'codoficina_1307',
'codoficina_1308',
'codoficina_1309',
'codoficina_1310',
'codoficina_1311',
'codoficina_1312',
'codoficina_1313',
'codoficina_1314',
'codoficina_1315',
'codoficina_1316',
'codoficina_1317',
'codoficina_1319',
'codoficina_1320',
'codoficina_1321',
'codoficina_1322',
'codoficina_1323',
'codoficina_1350',
'codoficina_1360',
'codoficina_1388',
'codoficina_1401',
'codoficina_1402',
'codoficina_1403',
'codoficina_1404',
'codoficina_1405',
'codoficina_1406',
'codoficina_1501',
'codoficina_200',
'codoficina_201',
'codoficina_202',
'codoficina_203',
'codoficina_204',
'codoficina_205',
'codoficina_206',
'codoficina_301',
'codoficina_302',
'codoficina_303',
'codoficina_305',
'codoficina_306',
'codoficina_308',
'codoficina_401',
'codoficina_402',
'codoficina_403',
'codoficina_404',
'codoficina_406',
'codoficina_407',
'codoficina_408',
'codoficina_409',
'codoficina_410',
'codoficina_411',
'codoficina_500',
'codoficina_501',
'codoficina_502',
'codoficina_503',
'codoficina_504',
'codoficina_505',
'codoficina_506',
'codoficina_507',
'codoficina_508',
'codoficina_510',
'codoficina_511',
'codoficina_513',
'codoficina_516',
'codoficina_601',
'codoficina_602',
'codoficina_603',
'codoficina_604',
'codoficina_606',
'codoficina_607',
'codoficina_608',
'codoficina_609',
'codoficina_610',
'codoficina_701',
'codoficina_702',
'codoficina_703',
'codoficina_704',
'codoficina_705',
'codoficina_706',
'codoficina_707',
'codoficina_708',
'codoficina_709',
'codoficina_710',
'codoficina_712',
'codoficina_715',
'codoficina_801',
'codoficina_802',
'codoficina_803',
'codoficina_804',
'codoficina_805',
'codoficina_806',
'codoficina_807',
'codoficina_808',
'codoficina_809',
'codoficina_810',
'codoficina_811',
'codoficina_812',
'codoficina_813',
'codoficina_814',
'codoficina_816',
'codoficina_817',
'codoficina_818',
'codoficina_819',
'codoficina_820',
'codoficina_821',
'codoficina_901',
'codoficina_902',
'codoficina_903',
'codoficina_904',
'codoficina_905',
'codoficina_906',
'codoficina_907',
'codoficina_909',
'codoficina_910',
'codoficina_911',
'region_1',
'region_2',
'region_3',
'region_4',
'region_5',
'region_6',
'region_7',
'region_8',
'region_9',
'region_10',
'region_11',
'region_12',
'region_13',
'region_14',
'region_15',
'company_income_level_1',
'company_income_level_10',
'company_income_level_11',
'company_income_level_12',
'company_income_level_13',
'company_income_level_2',
'company_income_level_3',
'company_income_level_4',
'company_income_level_5',
'company_income_level_6',
'company_income_level_7',
'company_income_level_8',
'company_income_level_9',
'winter_holiday',
'summer_holiday',
'random_feature']


# Models types and parameters
models: ['ExtraTrees'] # Specify model types to run from the list below
parameters:
    DecisionTreeClassifier:
        criterion: ['gini']
        max_depth: [10,100]
        max_features: ['auto']
        min_samples_split: [2,10]
        random_state: [2018]
    RandomForest: 
        n_estimators: [500, 5000, 10000]
        max_depth: [50, 5, 25] 
        max_features: ['log2', 'sqrt']
        criterion: ['gini']
        min_samples_split: [5, 10]
        random_state: [2019]
        n_jobs: [-1]
    SVM:
        C_reg: [0.00001, 0.0001, 0.001, 0.01, 0.1] 
        kernel: ['linear']
        random_state: [2018]
    ScaledLogisticRegression:
        C_reg: [0.001, 0.1, 1, 10] 
        penalty: ['l2']
        random_state: [2018]
    GradientBoostingClassifier:
        n_estimators: [10, 100, 1000]
        learning_rate: [0.001, 0.05,  0.5]
        subsample: [0.1, 0.5, 1.0]
        max_depth: [5, 20, 50]
        random_state: [2193]
    ExtraTrees:
        n_estimators: [5000, 10000]
        max_depth: [5, 50]
        max_features: ['log2']
        criterion: ['gini']
        min_samples_split: [5] 
        random_state: [2018]
        n_jobs: [-1 ]
    AdaBoost:
        algorithm: ['SAMME', 'SAMME.R']
        n_estimators: [100, 1000, 10000]
        learning_rate: [0.01, 1, 100]
        random_state: [2018]


# Specify metrics parameters for evaluatio of the model
metrics:
    cutoffs: [25, 50, 75, 100, 250, 500, 750, 1000, 1500, 
        1750, 2000, 2250, 2500, 3000, 3500, 4000, 4500, 5000, 
        6000, 7000, 8000, 9000, 10000] # These are the top k predictions at which we want to calculate our metrics at
    subset_features: [
        # 'region_1',
        # 'region_2',
        # 'region_3',
        # 'region_4',
        # 'region_5',
        # 'region_6',
        # 'region_7',
        # 'region_8',
        # 'region_9',
        # 'region_10',
        # 'region_11',
        # 'region_12',
        # 'region_13',
        # 'region_14',
        # 'region_15',
        #'industry_real_estate', 'industry_others', 'industry_public_administration_and_defense', 'industry_agriculture_livestock_hunting_and_forestry', 'industry_commerce', 'industry_construction', 'industry_electricity_gas_and_water', 'industry_education', 'industry_financial_establishments_insurance_realestate_and_serv', 'industry_exploitation_mines_and_quarries', 'industry_private_homes_with_domestic_service', 'industry_hotels_and_restaurants', 'industry_manufacturing_industries', 'industry_financial_intermediation', 'industry_organizations_and_extraterritorial_bodies', 'industry_other_community_service_activities', 'industry_fishing', 'industry_state_social_services', 'industry_other_social_and_health_services', 'industry_electricity_gas_and_water_supply', 'industry_transportation_storage_and_communications', 'industry_real_state_business_and_rental', 'industry_none', 'industry_administration_council_of_buildings', 'industry_social_and_health_services', 'industry_noinfo'
        ] 
    
# Temporal validation (units in months)
validation:
    start_date: '2010-01-01' # The date we want to start training our models on 
    end_date: '2016-06-01' # The date we want to train our models till
    window_size: 24 # The of size the training set
    steps_ahead: 1 # Delay in label creation
    pred_freq: 1 # Duration generating list for 
    rolling_window: True

# Imputation of features
imputation:
    # Performing multiple imputation
    multiple_imputation: False
    multiple_imputation_method: 'NA'
    # Select imputation methods if multiple_imputation is 'False'
    select_imputation: True
    binary: 'mode'
    continuous: 'mean'

# Do we want to drop any existing staging tables?
drop_table: False