NeuralMAB

[maypink]

• Implementation of Contextual Bandits and Neural Contextual Bandits from the article.
• SyntheticExperimentHelper to compare bandits with each other

[aim-pep8-bot]

Hello @maypink! Thanks for updating this PR. We checked the lines you've touched for PEP 8 issues, and found:

There are currently no PEP 8 issues detected in this Pull Request. Cheers! 🍻

Comment last updated at 2023-06-09 11:06:35 UTC

[maypink]

Получается как-то так. Работает медленно, но сейчас:

• я запускаюсь на cpu
• эмбеддинги получаются достаточно большие (500 до подачи в сеть. Я пыталась условно их порезать до 20, по времени кратно быстрее не становится)

Например, для выращивания нод:

[gkirgizov]

Все выглядит разумно, вопросов по реализации нет, есть вопросы и комментарии по логике.

• Сориентируй, как долго работает энкодер на графах? Сколько занимает итерация обучения нейронки?
• Тестировала ли ты реализацию бандита на какой-то простой задаче? Бенчмарк из статьи, например. Можно без энкодера графов обойтись.
• Нужно поставить эксперимент, где для разных графов (разных эмбеддингов) наилучшими будут различные действия. Например, если это оптимизация размера графов до N , то маленькие графы надо растить, а большие обрезать. Вот надо бы хотя бы такой тривиальный случай поймать, чтобы проверить , что контекст вообще работает. И затем что-то менее тривиальное надо придумать.

[gkirgizov]

Предлагаю убрать этот обман бедного бандита с произвольным контекстом. Вместо этого использовать флаг is_fitted внутри partial_fit для первого фита

[maypink]

не совсем поняла, при чем тут первый фит. проблема же в том, что predict вызывается первее, чем partial_fit, так что нужен какой-то warm start

[gkirgizov]

может, тогда в predict добавить проверку на is_fitted? и выдавать дефолтные вероятности, что-то такое

[maypink]

да будто бы это оно и есть. мы же одинаковый контекст с одинаковыми наградами передаем для всех рук, то есть вероятности не сдвинутся после такого

[gkirgizov]

Мы вносим bias , давая бандиту ложные данные. Это не очень корректно, больше на хак похоже.
Если можем обойтись без этого, то лучше обойтись.

[maypink]

да вроде не можем: у бандитов есть warm_start, но он предназначен не для этого, а для того, чтобы просто задать начальное представление перед первым фитом. без фита все равно не обойтись

[maypink]

добавлю сюда тоже
теперь можно смотреть вероятности мутаций в зависимости от контекста. контексы делятся по кластерам онлайн с помощью k-means. для задачи, где целей граф имеет размер 50, а изначальные графы находятся либо в промежутке 5-10, либо в 90-95, получается так:

Пик на втором графике объясняется тем, что граф за ~20 итераций уже уменьшился до размера 50.

[codecov-commenter]

Codecov Report

Merging #102 (ec61d3a) into main (3dc2a9b) will increase coverage by 1.25%.
The diff coverage is 24.59%.

@@            Coverage Diff             @@
##             main     #102      +/-   ##
==========================================
+ Coverage   71.30%   72.55%   +1.25%     
==========================================
  Files         120      126       +6     
  Lines        6691     7208     +517     
==========================================
+ Hits         4771     5230     +459     
- Misses       1920     1978      +58     

Impacted Files	Coverage Δ
...m/core/optimisers/adaptive/mab_agents/mab_agent.py	40.54% <ø> (ø)
golem/core/optimisers/adaptive/neural_mab.py	15.50% <15.50%> (ø)
golem/core/adapter/nx_adapter.py	80.00% <16.66%> (-17.73%)	⬇️
golem/visualisation/opt_history/fitness_line.py	33.78% <20.37%> (-5.04%)	⬇️
...misers/adaptive/mab_agents/contextual_mab_agent.py	31.03% <31.03%> (ø)
...olem/core/optimisers/genetic/operators/mutation.py	90.62% <42.85%> (-1.77%)	⬇️
golem/core/optimisers/adaptive/context_agents.py	63.63% <63.63%> (ø)
...adaptive/mab_agents/neural_contextual_mab_agent.py	77.77% <77.77%> (ø)
golem/core/optimisers/adaptive/operator_agent.py	92.15% <100.00%> (+0.07%)	⬆️
golem/core/optimisers/genetic/gp_params.py	100.00% <100.00%> (ø)
... and 1 more

... and 13 files with indirect coverage changes