Move HTML files to SPIFFS

[saschagu]

Hi,
as you mentioned that the way the HTML code is currently stored is not optimal and you consider moving them to the SD card, there may be another solution.
I tested the SPIFFS filesystem that is active in many partition layouts. For example nearly 1MB are reserved for SPIFFS in huge_app and can't be used by the firmware.
SPIFFS is intended for file storage like HTML. You just move your plain HTML files to a "data" folder and run "Build filesystem image" and "Upload filesystem image" in platformio. Here are the few code changes needed, if you want to see them.

Maybe these steps can also be automated via extra_scripts or something.

[biologist79]

Hi,
in general I like that idea pretty much. But as it turned out, some of the users are using Arduino-IDE and others don't read my documentation. So in the end I'm not sure if I'd end up with many support-questions :-)

After reading your message yesterday I gave it a thought when I was out on my road bike today :-) I guess moving html-stuff to SD is not an issue as everybody you wants to run a Tonuino knows how to put stuff onto the SD. And for sure everybody knows SD (wheras SPIFFS I'd have to explain). IMHO the main-problem is that users don't know when it's about time to copy a never version of a html-file to SD. But what if there'd be a version coded in the html-file and in the server as well. In that case we'd only need a JSON-request that's triggered by Js, that compares both und tells the user it's time to update? So whenever there's a html-update, both versions (server and GUI) need to be changed. But this should be easy for a developer.

[saschagu]

Well for sure SPIFFS is something you have to explain, although I think the upload mechanisms are also already integrated in the Arduino IDE. And documentation is needed for the HTML file copying too ;-)
The only problem with SD card I see is, that if you don't have the FTP server, without the HTML files you loose access to the system. Maybe you could write protect the folder or even check it automatically.

The version is a good idea. And updating HTML files this way will be a lot easier than with SPIFFS.

[gmbo]

Ich war auch der Meinung, dass es sinnvoll wäre die Html-Dateien ins SPIFFS zu legen. Hast du dabei mal getestet ob du Konflikte mit der SD-Karte hast?
Gut wäre in dem Zusammenhang dann auch die css, js und Bilder local zu holen, dann ist Internet nur dann erforderlich wenn man es für den Stream benötigt.

I was also of the opinion that it would make sense to put the html files in the SPIFFS. Have you ever tested whether you have conflicts with the SD card?
Good would be in the context then also the css, js and images to get local, then Internet is only required if you need it for the stream.

[biologist79]

Grundsätzlich ist SPIFFs dafür total geeignet. Das Problem ist für mich nur so ein bisschen, dass es wieder ein Punkt mehr ist, den ich den Benutzern erklären muss. Auch muss ich selbst erstmal ausprobieren, wie das mit der Arduino IDE geht... weil das werde ich direkt gefragt. Aber ja, von mir aus testen wir es mal.

Dass die anderen Sachen nicht lokal liegen ist kein Versehen oder Nachlässigkeit, sondern hat einen Grund: Die Anzahl der Verbindungen, die der ESP32 kann, ist begrenzt. Ruft man aus dem Webbrowser eine Seite auf, so baut der Webbrowser simultan mehrere Verbindungen auf. Das ist halt beim ESP32 dann schlecht, zumal offene Verbindungen auch Speicher brauchen. Insofern: Nachgedacht hatte ich über einen solchen Schritt auch schon, aber ich halte es nicht für machbar.

[gmbo]

ist eigentlich einfach:

von
https://github.com/me-no-dev/arduino-esp32fs-plugin/releases/

die Datei ESP32FS-1.0.zip herunterladen und in das Arduinoverzeichnis /home/gisbert/arduino-1.8.13/tools legen.
dort entpacken.

Man erhält dann /home/gisbert/arduino-1.8.13/tools/ESP32FS/tool/esp32fs.jar.

Nach dem Neustart der Arduino IDE liegt dann im Menu Werkzeuge der Punkt ESP32 Sketch Data upload.

Alles was im Projektordner/Data/ liegt wird dann hochgeladen.
Das ist schon alles.

Das Tutorial dazu:
https://randomnerdtutorials.com/install-esp32-filesystem-uploader-arduino-ide/

Bei PlatformIO klappt das auch, da muß das Verzeichnis nur neben src liegen.

Für den ESP8266 geht das genauso.
https://github.com/esp8266/arduino-esp8266fs-plugin/releases

Das Tutorial dazu:
https://randomnerdtutorials.com/install-esp8266-filesystem-uploader-arduino-ide/

[saschagu]

Hallo zusammen,
SPIFFS arbeitet bisher problemlos mit der SD zusammen. Intern sind das quasi zwei Dateisysteme. Ich habe in meinem Fork einen Patch dazu wenn du den ausprobieren willst.
Ich vermute dass man die Anzahl paralleler Verbindungen auch begrenzen kann oder?
Ein Nachteil könnte allerdings die Updatebarkeit sein, da Ich das SPIFFS bisher noch nicht über SD Karte updaten konnte, was mit dem Hauptprogramm geht.
Eine Alternative dazu könnte aber funktionieren:
Beim Start prüft das Programm ob auf der SD Karte ein HTML Ordner existiert und verschiebt ihn ins SPIFFS.
Dann hat man sowohl das Initiale draufspielen (ohne extra Tools) als auch die Updatebarkeit gelöst. Da setze ich mich mal nächste Woche dran, wenn Interesse besteht...

[tueddy]

Hi Gemeinde,

ich verstehe noch nicht ganz den Nutzen warum die HTML-Dateien aus dem SPIFFS kommen sollten, wenn dieses Projekt doch eh schon eine SD-Karte hat. Warum nicht einfach die SD-Karte mit den HTML-Dateien befüllen? Das bekommen auch Neulinge gut hin. Außerdem lassen sich die Daten dann leichter anpassen. Wenn jemand z.B. ein eigenes Logo/Brand verwenden möchte ändert er dies einfach auf der SD-Karte. Übrigens Logo-Änderung steht ja auch gerade an..
SPIFFS würde nur Sinn machen wenn das HTML statisch und vor dem Anwender vorborgen sein soll. Das Verbergen der HTML Dateien wäre bei SD auch leicht möglich, wenn man beim FileBrowser das Verzeichnis /HTML ignoriert.

Könnte mir vorstellen das dieses Projekt in naher Zukunft einen Startsound und Advertising Soundfiles bekommt (so wie beim Tonuino). Das könnte dann Alles als Verzeichnisstruktur zum Kopieren auf SD-Karte bereitgestellt werden..
Dirk

[biologist79]

Tja wenn ich so drüber nachdenke, auch in Bezug dessen, wie sich das Projekt vielleicht mal weiterentwickelt, sind wir mit SD schon universeller unterwegs. Wir haben halt viel mehr Speicherplatz, für die Benutzer ist es einfach verständlich und man muss dafür auch nicht flashen.

Was halt denke ich Sinn macht: Man muss dem Benutzer in der GUI anzeigen, wenn sie aktualisiert werden muss. Aber das ist ja kein Hexenwerk: Man legt in der Webgui eine Version fest und auch im Serverdienst. Dann braucht man dafür einen "Webhook", dem die GUI die Version der GUI sendet. Es wird dann eine Methode aufgerufen, die die Version der GUI mit der des Servers vergleicht. Und dann liefert man halt ein true oder false zurück und der Benutzer kriegt eine Meldung (oder auch nicht).

Zum Thema Logo: Ein Freund von mir ist gerade dran, was zu designen.