Dydyshko Andrey #35

InvokerAndrey · 2019-11-10T16:36:53Z

Progress

[Iteration 1] One-shot command-line RSS reader.
[Iteration 2] Distribution
[Iteration 3] News caching
[Iteration 4] Format converter
* [Iteration 5] Output colorization
* [Iteration 6] Web-server

Empty project

Description of news is readable now Also added docstrings

also refactored get_feed() method in RSSreader class

added info logs also refactored --version argument also added modules docstrings

into final_task

the project has been restructured

Added cache_mews_json(), get_cached_json_news(), print_chached_feed(), print_cached_feed_json() methods Added argument --date

added class Converter in converter.py added new fonts for PDF in fonts directory does not contain images yet

added class PDFConverter

AlexeiBuzuma · 2019-11-27T19:04:25Z

setup.py

+    long_description = f.read()
+
+
+setup(


Забавная ситуация вышла)
Пакет установился успешно и вполне себе успешно распарсил новости с tut.by
но по какой-то причине не работачет обычный help :)

# rss-reader --help Traceback (most recent call last): File "/usr/local/bin/rss-reader", line 8, in <module> sys.exit(main()) File "/usr/local/lib/python3.8/site-packages/app/rss_reader.py", line 17, in main arguments = ArgParser() File "/usr/local/lib/python3.8/site-packages/app/argparser.py", line 15, in __init__ self.args = self.parse_args() File "/usr/local/lib/python3.8/site-packages/app/argparser.py", line 61, in parse_args args = argparser.parse_args() File "/usr/local/lib/python3.8/argparse.py", line 1768, in parse_args args, argv = self.parse_known_args(args, namespace) File "/usr/local/lib/python3.8/argparse.py", line 1800, in parse_known_args namespace, args = self._parse_known_args(args, namespace) File "/usr/local/lib/python3.8/argparse.py", line 2006, in _parse_known_args start_index = consume_optional(start_index) File "/usr/local/lib/python3.8/argparse.py", line 1946, in consume_optional take_action(action, args, option_string) File "/usr/local/lib/python3.8/argparse.py", line 1874, in take_action action(self, namespace, argument_values, option_string) File "/usr/local/lib/python3.8/argparse.py", line 1044, in __call__ parser.print_help() File "/usr/local/lib/python3.8/argparse.py", line 2493, in print_help self._print_message(self.format_help(), file) File "/usr/local/lib/python3.8/argparse.py", line 2477, in format_help return formatter.format_help() File "/usr/local/lib/python3.8/argparse.py", line 282, in format_help help = self._root_section.format_help() File "/usr/local/lib/python3.8/argparse.py", line 213, in format_help item_help = join([func(*args) for func, args in self.items]) File "/usr/local/lib/python3.8/argparse.py", line 213, in <listcomp> item_help = join([func(*args) for func, args in self.items]) File "/usr/local/lib/python3.8/argparse.py", line 213, in format_help item_help = join([func(*args) for func, args in self.items]) File "/usr/local/lib/python3.8/argparse.py", line 213, in <listcomp> item_help = join([func(*args) for func, args in self.items]) File "/usr/local/lib/python3.8/argparse.py", line 529, in _format_action help_text = self._expand_help(action) File "/usr/local/lib/python3.8/argparse.py", line 621, in _expand_help return self._get_help_string(action) % params ValueError: unsupported format character 'Y' (0x59) at index 26

Проблема была в атрибуте help аргумента date (написал там пример формата даты с процентами %Y%m%d, чего не стоило делать) Сейчас все работает
ну или почти все

AlexeiBuzuma · 2019-11-27T19:14:46Z

app/pdf_converter.py

+            self.logger.info('Creating directory images')
+            os.mkdir(directory_path)
+        split_list = img_url.split('/')
+        img_name = split_list[len(split_list) - 1]


строка split_list[len(split_list) - 1] эквивалентна split_list[-1]

что значит -1 и -2 ? Магические числа. возможно есть смысл это как-нибудь отрефакторить

Сделал получше
(а может только хуже :/)
Вынес все это дело в отдельный метод и обошелся без -2

AlexeiBuzuma · 2019-11-27T19:17:45Z

app/RSSreader.py

+                    # already cached
+                    return
+        except FileNotFoundError:
+            pass


в данном случае стоило хотя бы залогировать факт возникновения такого эксепшена
а то два pass подряд в except блоках смотрится странно)

Сделано

AlexeiBuzuma · 2019-11-27T19:20:12Z

app/RSSreader.py

+            print('========================================================')
+
+    def to_json(self, entry):
+        """ Returns feed in JSON (actually dict()) format """


Сам факт такого док стринга должен навести на мысль, что тут что-то не так.
Эта функция не производит конвертацию в json.
Она создает словарь
название метода to_dict в данном случае подойдет намного лучше (ну или что-то другое, но точно не to_json)

Исправлено

AlexeiBuzuma · 2019-11-27T19:22:41Z

app/RSSreader.py

+
+        for entry in entries:
+            print('========================================================')
+            print(f'Title: {entry.title}')


А почему не печатается информация об изображениях?

Оформил вывод url изображения во всех форматах для консоли и кэша
А в pdf так вообще саму картинку иногда показывает

AlexeiBuzuma · 2019-11-27T19:23:23Z

app/RSSreader.py

+
+        for entry in entries:
+            feed = self.to_json(entry)
+            print('========================================================')


эти строки тут не нужны
в аутпут должен пойти только JSON (чтобы аутпут можно было распарсить другой утилитой или записать результат в файл)

то есть аутпутом должен являться валидный json

Сделяль

now image imformation prints in stdout

Fixed packages_data in setup.py Now it should work correctly on clean machine

AlexeiBuzuma · 2019-12-01T10:10:17Z

README.md

+internet connection
+* Btw i use fonts for .pdf files to avoid encoding issues,
+hope they will be installed correctly by 'pip install .'
+* P.S. Ля, ребята, 4 курс птуира, уже распред идет во всю, работа нужна кааапец


Лучше удалить эту строку :)

AlexeiBuzuma · 2019-12-01T10:12:20Z

app/RSSReader.py

+class RSSReader:
+    """ Reads news from RSS url and prints them """
+
+    def __init__(self, args, logger):


Советую заменить аргумент args на те три аргумента, которые используется в этом классе
то есть путь вместо этого аргумента оно принимает url, limit, date
таким образом будет больше гибкости в использовании этого класса. И интерфейс будет более понятным и прозрачным.

AlexeiBuzuma · 2019-12-01T10:18:29Z

app/pdf_converter.py

+from app.RSSReader import RSSReader
+
+
+warnings.filterwarnings("ignore")


А для чего необходимо игнорировать варнинги?

Я использую BeautifulSoup чтобы достать ссылку на картинку из тега img src=""
А скачиваю картинку уже при помощи urllib.request
Но BeautifulSoup все равно печатает в консоль такие warnings
C:\Users\F5\Documents\GitHub\PythonHomework\venv\lib\site-packages\bs4_init_.py:371: UserWarning: "https://img.tyt.by/thumbnails/n/01/3/novostroyka_dzerzhinskogo_obrushenie_1.jpg" looks like a URL. Beautiful Soup is not an HTTP client. You should probably use an HTTP client like requests to get the document behind the URL, and feed that document to Beautiful Soup.
warnings.warn(

Added class RSSException(Exception), implemented argument --colorize Added 2 tests for RSSReader class methods

was -> args now -> limit url date etc.

AlexeiBuzuma · 2019-12-07T21:09:25Z

Не могу понять в чем дело
Пытаюсь сгенерировать новости в pdf или html формате.
Утилита сначала долго думает, потом заканчивает свою работу, но не создает никакого файла
В чем может быть причина?

InvokerAndrey · 2019-12-07T21:37:37Z

Не могу понять в чем дело
Пытаюсь сгенерировать новости в pdf или html формате.
Утилита сначала долго думает, потом заканчивает свою работу, но не создает никакого файла
В чем может быть причина?

Может дело в передаваемом пути аргументу
--to-pdf и --to-html принимают полный путь к существующей папке (без имени файла), куда будет сохранен файл
Вот скриншотики, если от них есть толк:
https://ibb.co/D7YRLDB
https://ibb.co/dcRckQF
(если не откроются напрямую (github 404), то скопируйте и вставьте ссылку на картиночку)
У меня конечно все работает, только вот толку...

now feedparser receives response from requests.get(url) added exception to write(img)

AlexeiBuzuma · 2020-02-04T08:32:56Z

Моменты, которые можно улучшить:

Класс RSSReader отвечает за то, что отвечать не должен. По названию он должен заниматсья вычиткой RSS, но по факту он занимается печатью новости в консоль и кэшированием. Необходимо немного переработать разбиение на классы.
HTML собирается "руками". На сегодняшний день есть большое количество уже готовых библиотек, которые помогут сделать это удобнее, красивее и безопаснее.
Фуникця main достаточно большая. Возможно есть смысл ее декомпозировать.
Желательно, чтобы тестов было больше :)
Варининги отключать решение не самое хорошее :) Не зря разработчики библиотеки сделали так, чтобы в какой-то конкретной ситуации был поднят вариниг. Это звоночек к тому, что что-то делается не так.

InvokerAndrey added 13 commits November 10, 2019 19:33

Init commit

64066b4

Empty project

Added argumet parser

3d5dc1d

Added rss reader class and main function

b291b7f

Implemented --json argument processing

2872722

Refactored invoke mothods

247aae4

Implemented human-readable format

4abd526

Description of news is readable now Also added docstrings

Added --version argument

f14e675

also refactored get_feed() method in RSSreader class

Implemented --verbose argument

f1f134d

added info logs also refactored --version argument also added modules docstrings

Delete rss_reader.py

5cb2846

Create README.md

83343d7

Create requirements.txt

d7eec79

Merge branch 'final_task' of https://github.com/BntuHater/PythonHomework

934e2da

into final_task

Implemented [Iteration 2] Distribution

5d1778d

the project has been restructured

AlexeiBuzuma added the [Deadline] Iteration 1-2 This is a marker for first and second iterations deadline. label Nov 17, 2019

InvokerAndrey added 5 commits November 21, 2019 12:19

Implemented [Iteration 3] News caching

71ab39b

Added cache_mews_json(), get_cached_json_news(), print_chached_feed(), print_cached_feed_json() methods Added argument --date

Refactored [Iteration 3] News caching

0ae55a5

Now cached news dasplay specifically from the transmitted URL

10ab7b2

Implented --to-pdf argument

c5b01e9

added class Converter in converter.py added new fonts for PDF in fonts directory does not contain images yet

Implemented --to-pdf argument

e4cdb8b

added class PDFConverter

AlexeiBuzuma reviewed Nov 27, 2019

View reviewed changes

InvokerAndrey added 5 commits November 28, 2019 00:00

Refactored code

f4f457d

now image imformation prints in stdout

fixed rss-reader --help

304ddb9

Implemented --to-html argument

177135c

added --to-html argument

656376a

Included fonts for pdf into setup.py

47245d4

Fixed packages_data in setup.py Now it should work correctly on clean machine

implemented couple exceptions

bfe71bc

AlexeiBuzuma reviewed Dec 1, 2019

View reviewed changes

InvokerAndrey added 3 commits December 1, 2019 23:05

RSSException, --colorize, test_RSSReader

589dc8d

Added class RSSException(Exception), implemented argument --colorize Added 2 tests for RSSReader class methods

refactored args

12f9051

was -> args now -> limit url date etc.

version 0.5.0

b2fce55

InvokerAndrey changed the title ~~[WIP] Dydyshko Andrey~~ Dydyshko Andrey Dec 1, 2019

AlexeiBuzuma added the Hard Deadline label Dec 1, 2019

AlexeiBuzuma added the [1-2 iteration] Minimal requirements checked label Dec 7, 2019

exception and requests

e7e4e7c

now feedparser receives response from requests.get(url) added exception to write(img)

AlexeiBuzuma added [3-4 iteration] Minimal requirements checked and removed Hard Deadline [Deadline] Iteration 1-2 This is a marker for first and second iterations deadline. labels Dec 11, 2019

AlexeiBuzuma added the Reviewed label Feb 4, 2020

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Dydyshko Andrey #35

Dydyshko Andrey #35

InvokerAndrey commented Nov 10, 2019 •

edited

Loading

AlexeiBuzuma Nov 27, 2019

InvokerAndrey Nov 27, 2019

AlexeiBuzuma Nov 27, 2019

InvokerAndrey Nov 27, 2019

AlexeiBuzuma Nov 27, 2019

InvokerAndrey Nov 27, 2019

AlexeiBuzuma Nov 27, 2019

InvokerAndrey Nov 27, 2019

AlexeiBuzuma Nov 27, 2019

InvokerAndrey Nov 27, 2019

AlexeiBuzuma Nov 27, 2019

AlexeiBuzuma Nov 27, 2019

InvokerAndrey Nov 27, 2019

AlexeiBuzuma Dec 1, 2019

AlexeiBuzuma Dec 1, 2019

AlexeiBuzuma Dec 1, 2019

InvokerAndrey Dec 1, 2019 •

edited

Loading

AlexeiBuzuma commented Dec 7, 2019 •

edited

Loading

InvokerAndrey commented Dec 7, 2019 •

edited

Loading

AlexeiBuzuma commented Feb 4, 2020

		from app.RSSReader import RSSReader


		warnings.filterwarnings("ignore")

Dydyshko Andrey #35

Are you sure you want to change the base?

Dydyshko Andrey #35

Conversation

InvokerAndrey commented Nov 10, 2019 • edited Loading

Progress

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

InvokerAndrey Dec 1, 2019 • edited Loading

Choose a reason for hiding this comment

AlexeiBuzuma commented Dec 7, 2019 • edited Loading

InvokerAndrey commented Dec 7, 2019 • edited Loading

AlexeiBuzuma commented Feb 4, 2020

InvokerAndrey commented Nov 10, 2019 •

edited

Loading

InvokerAndrey Dec 1, 2019 •

edited

Loading

AlexeiBuzuma commented Dec 7, 2019 •

edited

Loading

InvokerAndrey commented Dec 7, 2019 •

edited

Loading