Skip to content

Commit

Permalink
Fixed pep8
Browse files Browse the repository at this point in the history
  • Loading branch information
excavador committed Nov 12, 2016
1 parent a9a51dd commit 2c62a12
Show file tree
Hide file tree
Showing 2 changed files with 6 additions and 7 deletions.
12 changes: 6 additions & 6 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -14,12 +14,12 @@ example of usage:

# постановка задачи

Задача:
Реализовать web-crawler, рекурсивно скачивающий сайт (идущий по ссылкам вглубь). Crawler должен скачать документ по указанному URL и продолжить закачку по ссылкам, находящимся в документе.
Crawler должен поддерживать дозакачку.
Crawler должен грузить только текстовые документы - html, css, js (игнорировать картинки, видео, и пр.)
Crawler должен грузить документы только одного домена (игнорировать сторонние ссылки)
Crawler должен быть многопоточным (какие именно части параллелить - полностью ваше решение)

Реализовать web-crawler, рекурсивно скачивающий сайт (идущий по ссылкам вглубь). Crawler должен скачать документ по указанному URL и продолжить закачку по ссылкам, находящимся в документе.
- Crawler должен поддерживать дозакачку.
- Crawler должен грузить только текстовые документы - html, css, js (игнорировать картинки, видео, и пр.)
- Crawler должен грузить документы только одного домена (игнорировать сторонние ссылки)
- Crawler должен быть многопоточным (какие именно части параллелить - полностью ваше решение)

Требования специально даны неформально. Мы ходим увидеть, как вы по постановке задаче самостоятельно примете решение, что более важно, а что менее.

Expand Down
1 change: 0 additions & 1 deletion crawler.py
Original file line number Diff line number Diff line change
Expand Up @@ -210,7 +210,6 @@ def _parse_(self, body):
result.append(self.scheme + ':' + url)
continue


return result

def _fetch_(self, url):
Expand Down

0 comments on commit 2c62a12

Please sign in to comment.