S3 naar B2 #73

indiePeeters · 2019-03-16T18:43:07Z

Hier de pull request om S3 naar B2 te zetten

Alles verliep vrij soepel, alleen dat de library niet de url methode ondersteund. Waardoor het ophalen van de foto url niet kan. Aangezien ik zo snel mogelijk wil beginnen aan de ideal betalingen heb ik voor een snelle oplossing gekozen. Nu wordt url opgebouwd via string concat. Stel B2 kiest er later voor om hun server locatie te veranderen betekend dit dat er een regeltje in de code moet worden aangepast.

… PhotoAlbums

wouterbles · 2019-03-16T22:09:55Z

Is er een reden dat we niet \Storage::disk('b2')->get('filename.txt') gebruiken?

indiePeeters · 2019-03-17T00:16:32Z

Omdat je een RAW file contents terug krijgt. Deze moet je dan encoden met base64. Dit duurde tijdens het uploaden vrij lang en om die reden ook verwijderd bij het ophalen van bestanden.

wouterbles · 2019-03-17T14:38:25Z

Helder! Heb even gezocht, en volgensmij is de URL gewoon bucket specifiek, zou dus opzich geen probleem moeten zijn. Dan lijkt het me wel zo netjes om de bucket URL even in de .env file te zetten ipv direct in de code. Hoe denk jij hierover?

indiePeeters · 2019-03-17T17:40:08Z

Yes, dat is inderdaad beter, zal het fixen

Signed-off-by: Indie <indiepeeters@hotmail.com>

indiePeeters · 2019-03-19T22:40:35Z

@wouterbles Kan ik deze mergen? Fixed #55 en #61

wouterbles · 2019-03-20T00:13:25Z

Is het nog een idee om een migratie aan te maken die de huidige DB entries in de foto tabel verwijderd? Weet niet of dit best practice is? Maar anders moeten we handmatig gaan kloten op de live server database.

Ook is de seeder nog niet geüpdate denk ik?

Oh en over die bucket url doelde ik eigenlijk op de volledige URL. Het f002 gedeelte wat er voor staat is wat ik uit de docs begreep namelijk ook bucket specifiek.

marijnvanderhorst · 2019-03-22T14:11:34Z

Is het nog een idee om een migratie aan te maken die de huidige DB entries in de foto tabel verwijderd? Weet niet of dit best practice is? Maar anders moeten we handmatig gaan kloten op de live server database.

Table truncates zou ik niet in een migration zetten, deze is echt bedoeld voor structurele wijzigingen voor zo ver ik weet.

indiePeeters · 2019-03-22T14:30:27Z

Seeder moet inderdaad opnieuw gemaakt worden. Mij lijkt het handmatig doen voor nu de snelste optie

wouterbles · 2019-03-22T14:32:10Z

Ben het eens met Marijn, een migratie voor data uit een tabel verwijderen is niet logisch.

@indiePeeters Bedoel je handmatig seeden of handmatig de data uit de tabel verwijderen?

indiePeeters · 2019-03-22T14:33:19Z

Handmatig de bestaande records uit de Database verwijderen, met sql workbench of cli ofzo. De seeder zal ik vanavond even in elkaar zetten

wouterbles · 2019-03-22T14:35:57Z

Gewoon een simpele SQL query draaien moet ook wel lukken denk ik. Dan maak ik wel eerst een backup ;)

wouterbles · 2019-03-26T16:57:28Z

Handmatig de bestaande records uit de Database verwijderen, met sql workbench of cli ofzo. De seeder zal ik vanavond even in elkaar zetten

Dit nog gelukt?

…vailable as env variable

indiePeeters · 2019-03-28T19:15:44Z

@wouterbles zojuist de seeder in elkaar gezet en de env variabele naar de gehele url gezet

wouterbles · 2019-03-29T12:00:29Z

Mooi! Heb je ook nog de API inlog gegevens van b2? Dan kan ik het even testen

wouterbles · 2019-03-29T12:35:14Z

De photo album seeder werkte niet, die heb ik nog even gefixt.

Verder lukt het uploaden van albums bij mij niet, de progress bar blijft op 0% staan. Ik zie geen errors in de console, en ook in de database gebeurt helemaal niets.

wouterbles · 2019-04-02T14:14:50Z

Na veel te veel tijd heb ik eindelijk ontdekt waar het fout gaat sinds de overstap naar B2.

Backblaze is zoals ze het zelf zeggen erg goedkoop door hun speciale server architectuur. Hierdoor kan het voorkomen dat je bij een upload een 500/503 response terugkrijgt. Dit is te interpreteren als, probeer het nog een keer, vaak lukt het dan de tweede of derde keer wel. Meer informatie op deze blogpost: https://www.backblaze.com/blog/b2-503-500-server-error/

Nu blijkt dat het package wat wij gebriuken "laravel-backblaze-b2" depend op "flysystem-backblaze" en deze weer depend op "backblaze-b2". Die laatste is de PHP SDK. Om te kijken of een van deze packages 500/503 errors afvangt en retried heb ik de source van al deze packages doorgekeken. Dit is niet het geval, bij een 500/503 error geeft "backblaze-b2" een exception, iets wat dus volgens de blogpost hierboven niet zou moeten gebeuren.

Na even zoeken in de issues/PR's van de repo vond ik dit issue: gliterd/backblaze-b2#26. Naar mijn idee niet erg positief, een naar mijn idee legitiem issue wordt gesloten...

Om het bovenstaande probleem in de package op te lossen heb ik in mijn lokale versie van "backblaze-b2" het bestand \Http\Client.php aangepast met de volgende code:

        if ($response->getStatusCode() !== 200) {
            //ErrorHandler::handleErrorResponse($response);
            $response = parent::request($method, $uri, $options);
        }

Voor zover ik het heb kunnen testen lost dit onze problemen op!

Nu zijn er naar mijn idee twee dingen die moeten gebeuren:

Een iets nettere try/catch/retry schrijven dan wat ik hierboven heb gemaakt. Hier ga ik mee aan de gang!
Hierna maak ik een PR aan op de backblaze-b2 repo. Hopen dat de wijzigingen geaccepteert worden aangezien dat issue wel zomaar is gesloten.

UPDATE:
Met de testcode hierboven wordt elk bestand twee keer geupload naar backblaze,, waarom dit exact gebeurt weet ik niet. Maar dit is toch geen code die we in productie willen draaien.

UPDATE 2:
De issue die ik hierboven beschreef is inmiddels heropend 👍

marijnvanderhorst · 2019-04-02T15:52:38Z

Heel netjes uitgezocht @wouterbles!
Mocht de PR niet op tijd geaccepteerd worden, lijkt het me het beste tijdelijk de fork op packagist.org te zetten.

wouterbles · 2019-04-02T16:04:10Z

Dankje! Ik denk dat hij wel snel reageert, hij vroeg me om het openen van een PR.

wouterbles · 2019-04-04T17:17:54Z

Nog een update:

Ipv laravel filesystem wordt nu direct de php sdk gebruikt. Dit haalt wat abstractie weg, maar maakt het wel een stuk makkelijker om van php sdk te wisselen. Anders zouden we de twee bovenliggende packages ook moeten forken en aanpassen. Bovendien heeft dit deze php sdk ook cahcing zodat we niet onze API caps halen.

Enige nadeel is dus dat hij de laatste twee commits nog niet heeft getagd in een release waardoor je een verouderde versie met bugs via composer binnen trekt. Ik heb daar een issue voor aangemaakt en hoop dat hij het fixt.

Wat denken jullie verder over de wijziging van filesystem naar sdk?

…ther buttons

wouterbles · 2019-05-10T14:11:03Z

Ik stel voor om met deze PR even te wachten en kijken of we iets met Azure kunnen. Dat zou namelijk veel makkelijker zijn.

codecov-io · 2019-05-20T14:41:20Z

Codecov Report

Attention: Patch coverage is 9.52381% with 19 lines in your changes missing coverage. Please review.

Project coverage is 19.75%. Comparing base (b166424) to head (aa9cfa9).
Report is 559 commits behind head on master.

Files with missing lines	Patch %	Lines
app/repositories/PhotoRepository.php	0.00%	10 Missing ⚠️
app/Http/Controllers/PhotoController.php	0.00%	6 Missing ⚠️
app/MailList.php	0.00%	1 Missing ⚠️
app/Validators/ReCaptcha.php	0.00%	1 Missing ⚠️
app/repositories/PhotoAlbumRepository.php	0.00%	1 Missing ⚠️

Additional details and impacted files

@@             Coverage Diff              @@
##             master      #73      +/-   ##
============================================
- Coverage     19.79%   19.75%   -0.04%     
  Complexity      620      620              
============================================
  Files            82       82              
  Lines          2117     2121       +4     
============================================
  Hits            419      419              
- Misses         1698     1702       +4

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

wouterbles · 2019-05-20T15:52:40Z

Ook al gaan we misschien over op azure, heb hier toch nog even naar gekeken en alles werkt tot nu toe goed, behalve twee dingen:

Afbeeldingen zijn nog steeds redelijk groot, soms wel 1.6MB. Op zich is dit geen heel groot probleem.
Er komen regelmatig backblaze errors omdat de env() functie soms 'null' returned. Even gezocht op deze error en het schijnt bad practice te zijn om direct de env() functie in je code te gebruiken wat waarschijnlijk zorgt voor deze error. Wij gebruiken eigenlijk overal env() direct in de code en zouden dit moeten verplaatsen naar config files om die vervolgens uit te lezen in de code.

wouterbles · 2019-05-22T10:25:54Z

Alles werkt! Moet nu naar een meeting dus commit het straks.

indiePeeters · 2019-10-07T17:59:12Z

Front end validatie fixen

# Conflicts: # composer.lock # package-lock.json # resources/views/front-end/agenda.blade.php # resources/views/front-end/zekeringen.blade.php

indiePeeters added 2 commits March 10, 2019 20:22

Switched Photoserver from s3 to b2

675b388

Merge branch 'Photoalbums' of https://github.com/esac-ic/esac.nl into…

448432c

… PhotoAlbums

indiePeeters added 2 commits March 19, 2019 23:26

Increased thumbnail downsize ratio

6d2ee3b

Signed-off-by: Indie <indiepeeters@hotmail.com>

Bucketname is now retrieved from the enviroment variable

0c2fdb5

Signed-off-by: Indie <indiepeeters@hotmail.com>

Updated Seeder, changed photo method names and whole B2 link is now a…

632b3ff

…vailable as env variable

wouterbles added 3 commits March 29, 2019 13:03

Merge branch 'master' into Photoalbums

1603506

Fixed typo in composer.json and updated lock files

eb4224c

Fixed photo album seeder

b7d6a3b

Reverted earlier change to photoalbum.js

3df5244

mhetreramesh mentioned this pull request Apr 2, 2019

Multiple file uploads returns uncatchable B2 Exception too busy when fails gliterd/backblaze-b2#26

Open

Switched from flysystem to PHP SDK

b91ed42

wouterbles added 3 commits April 5, 2019 11:29

Cleaned up photo repository and controller

2c4d1e8

Switched from obregonco/backblaze-b2 to esac/backblaze

13f2fee

Moved icon location in photo album add button to be consistent with o…

e2478cb

…ther buttons

Fixed merge conflicts

d823181

Fixed backblaze issues

5c04966

Updated env.example and moved env() functions to config files

111f057

indiePeeters mentioned this pull request Oct 7, 2019

Importeren oude foto's #56

Open

IndieLeoPeeters added 4 commits October 11, 2019 13:09

Merge branch 'master' into Photoalbums

0256a30

# Conflicts: # composer.lock # package-lock.json # resources/views/front-end/agenda.blade.php # resources/views/front-end/zekeringen.blade.php

removed pagination of thumbnails

1db96ee

Fixed form validation

e4200ed

Fixed Photoswiper

9a39182

nieka approved these changes Nov 24, 2019

View reviewed changes

wouterbles added 2 commits November 24, 2019 18:54

Merge branch 'master' into Photoalbums

f233f2d

Revert guzzleclient changes

aa9cfa9

wouterbles merged commit 247133d into master Nov 24, 2019

wouterbles deleted the Photoalbums branch November 24, 2019 18:45

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

S3 naar B2 #73

S3 naar B2 #73

indiePeeters commented Mar 16, 2019 •

edited

Loading

wouterbles commented Mar 16, 2019

indiePeeters commented Mar 17, 2019

wouterbles commented Mar 17, 2019

indiePeeters commented Mar 17, 2019

indiePeeters commented Mar 19, 2019 •

edited

Loading

wouterbles commented Mar 20, 2019 •

edited

Loading

marijnvanderhorst commented Mar 22, 2019

indiePeeters commented Mar 22, 2019

wouterbles commented Mar 22, 2019

indiePeeters commented Mar 22, 2019

wouterbles commented Mar 22, 2019

wouterbles commented Mar 26, 2019

indiePeeters commented Mar 28, 2019

wouterbles commented Mar 29, 2019

wouterbles commented Mar 29, 2019

wouterbles commented Apr 2, 2019 •

edited

Loading

marijnvanderhorst commented Apr 2, 2019

wouterbles commented Apr 2, 2019

wouterbles commented Apr 4, 2019

wouterbles commented May 10, 2019

codecov-io commented May 20, 2019 •

edited by codecov bot

Loading

wouterbles commented May 20, 2019

wouterbles commented May 22, 2019

indiePeeters commented Oct 7, 2019

S3 naar B2 #73

S3 naar B2 #73

Conversation

indiePeeters commented Mar 16, 2019 • edited Loading

wouterbles commented Mar 16, 2019

indiePeeters commented Mar 17, 2019

wouterbles commented Mar 17, 2019

indiePeeters commented Mar 17, 2019

indiePeeters commented Mar 19, 2019 • edited Loading

wouterbles commented Mar 20, 2019 • edited Loading

marijnvanderhorst commented Mar 22, 2019

indiePeeters commented Mar 22, 2019

wouterbles commented Mar 22, 2019

indiePeeters commented Mar 22, 2019

wouterbles commented Mar 22, 2019

wouterbles commented Mar 26, 2019

indiePeeters commented Mar 28, 2019

wouterbles commented Mar 29, 2019

wouterbles commented Mar 29, 2019

wouterbles commented Apr 2, 2019 • edited Loading

marijnvanderhorst commented Apr 2, 2019

wouterbles commented Apr 2, 2019

wouterbles commented Apr 4, 2019

wouterbles commented May 10, 2019

codecov-io commented May 20, 2019 • edited by codecov bot Loading

Codecov Report

wouterbles commented May 20, 2019

wouterbles commented May 22, 2019

indiePeeters commented Oct 7, 2019

indiePeeters commented Mar 16, 2019 •

edited

Loading

indiePeeters commented Mar 19, 2019 •

edited

Loading

wouterbles commented Mar 20, 2019 •

edited

Loading

wouterbles commented Apr 2, 2019 •

edited

Loading

codecov-io commented May 20, 2019 •

edited by codecov bot

Loading