metros-cubicos-crawler

Webscrapping para poblar una base datos de casas

1. Requerimientos

pip3 install aiohttp
pip3 install requests
pip3 install nest-asyncio
pip3 install beautifulsoup4

2. Ejecución

python3 adventure.py 

Cuenta con dos parametros opcionales

optional arguments:
  -h, --help            show this help message and exit
  -e ELEMENTS, --elements ELEMENTS
    number of elements to extract

  -s STATE, --state STATE
    state you want to extract

Ejemplo:

python3 adventure.py -e 278 -s "Distrito Federal"

NOTAS:

• Agregue un campo que es de moneda ya que noté que algunos precios los marcaba en dolares

• El campo county lo elimine ya que en general la direccion de las casas solo tienen cuatro datos: calle,número(en algunos casos),colonia,delegacion/municipio,estado.

• Para obtener la informacion de amenidades requeriere de un click por parte del usuario. En ese caso se podría usar la biblioteca selenium sin embargo pienso que aumenta el tiempo de ejecución. Es por eso que lo elimine.