forked from ericbrasiln/ferramentas_scielo_v2
-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathreports.py
106 lines (101 loc) · 3.4 KB
/
reports.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
import os
from datetime import datetime
now = datetime.now()
data_hora = now.strftime("%Y-%m-%d_%H-%M-%S")
def report_scrape(diretorio, time, theme, saveMode):
'''
Função para criar relatório geral da raspagem
'''
if saveMode == 1:
tipo = 'Apenas XLM'
else:
tipo = 'XML e Download de PDF'
if theme == '1':
theme = 'Ciências Agrárias'
elif theme == '2':
theme = 'Ciências Biológicas'
elif theme == '3':
theme = 'Ciências da Saúde'
elif theme == '4':
theme = 'Ciêncas Exatas e da Terra'
elif theme == '5':
theme = 'Ciências Humanas'
elif theme == '6':
theme = 'Ciências Sociais Aplicadas'
elif theme == '7':
theme = 'Engenharias'
elif theme == '8':
theme = 'Linguística, Letras e Artes'
out_relatório = os.path.join(diretorio, 'RELATÓRIO_GERAL')
#Criando relatório
relatório = open(f'{out_relatório}_{time}.txt', 'w')
#Inserindo dados no relatório
relatório.write(
f'=-=-=-=-=-Relatório da raspagem-=-=-=-=-=\n'
f'- Data e hora: {time};\n'
f'- Área Temática: {theme};\n'
f'- Tipo de raspagem: {tipo}\n'
)
relatório.close
def report_scrape_rev(diretorio, time, revList, saveMode):
'''
Função para criar relatório de raspagem de lista de revistas
'''
if saveMode == 1:
tipo = 'Apenas XLM'
else:
tipo = 'XML e Download de PDF'
out_relatório = os.path.join(diretorio, 'RELATÓRIO_GERAL_REVISTAS')
#Criando relatório
relatório = open(f'{out_relatório}_{time}.txt', 'w')
#Inserindo dados no relatório
relatório.write(
f'=-=-=-=-=-Relatório da raspagem-=-=-=-=-=\n'
f'- Data e hora: {time};\n'
f'- Lista de revistas: {revList};\n'
f'- Tipo de raspagem: {tipo}\n'
)
relatório.close
def report_erro (diretorio,error_list, saveMode):
'''
Função para criar relatório com erros ao baixar o xml.
'''
if saveMode == 1:
tipo = 'Apenas XLM'
else:
tipo = 'XML e Download de PDF'
#Criando pasta para salvar relatórios
report_path = diretorio
out_relatório = os.path.join(report_path, 'RELATÓRIO_ERRO')
#Criando relatório
relatório = open(f'{out_relatório}_{data_hora}.txt', 'w')
#Inserindo dados no relatório
relatório.write(
f'=-=-=-=-=-Relatório de erro-=-=-=-=-=\n'
f'- Data e hora: {data_hora};\n'
f'- Tipo de raspagem: {tipo};\n'
f'- Link do xml que apresentou erro e não foi baixado: {error_list}\n'
)
relatório.close
def report_erro_pdf (diretorio, error_pdf_list, saveMode):
'''
Função para criar relatório com erros ao baixar PDF.
'''
if saveMode == 1:
tipo = 'Apenas XLM'
else:
tipo = 'XML e Download de PDF'
#Criando pasta para salvar relatórios
current_dir = os.curdir
report_path = os.path.join(current_dir, diretorio)
out_relatório = os.path.join(report_path, 'RELATÓRIO_ERRO')
#Criando relatório
relatório = open(f'{out_relatório}_{data_hora}.txt', 'w')
#Inserindo dados no relatório
relatório.write(
f'=-=-=-=-=-Relatório de erro-=-=-=-=-=\n'
f'- Data e hora: {data_hora};\n'
f'- Tipo de raspagem: {tipo};\n'
f'- Link do pdf que apresentou erro e não foi baixado: {error_pdf_list}\n'
)
relatório.close