Re-organization proposal

[Yicong-Huang]

The current repo structure has some issues:

1. everything is inside core
2. there are too many core-related folders, such as core/, core/src/main/python/core/, core/workflow-core/, too confusing.
3. services are flatten, not grouped.
4. missing docs folder
5. the placement of deployment and scripts are a bit awkward.

I propose the following changes:

1. Move everything out from core/.
2. put services components into services/
3. add docs/ folder
4. rename scripts/ to bin/
5. move deployment/ into bin/deployment/
6. move scripts/sql/ out to be sql/

Current repo structure:

.
├── .git
├── .github
├── CONTRIBUTING.md
├── DISCLAIMER
├── Dockerfile
├── LICENSE
├── NOTICE
├── README.md
├── core
│   ├── access-control-service
│   │   ├── build.sbt
│   │   ├── project
│   │   └── src
│   ├── amber
│   │   ├── DESCRIPTION
│   │   ├── README.md
│   │   ├── amber.iml
│   │   ├── build.sbt
│   │   ├── operator-requirements.txt
│   │   ├── project
│   │   ├── r-requirements.txt
│   │   ├── requirements.txt
│   │   ├── src
│   │   └── user-resources
│   ├── auth
│   │   ├── build.sbt
│   │   └── src
│   ├── build.sbt
│   ├── computing-unit-managing-service
│   │   ├── build.sbt
│   │   ├── project
│   │   └── src
│   ├── config
│   │   ├── build.sbt
│   │   └── src
│   ├── config-service
│   │   ├── build.sbt
│   │   └── src
│   ├── dao
│   │   ├── build.sbt
│   │   └── src
│   ├── file-service
│   │   ├── build.sbt
│   │   └── src
│   ├── gui
│   │   ├── README.md
│   │   ├── angular.json
│   │   ├── coverage
│   │   ├── custom-webpack.config.js
│   │   ├── git-version.js
│   │   ├── gui.iml
│   │   ├── karma.conf.js
│   │   ├── migrations.json
│   │   ├── nx.json
│   │   ├── package.json
│   │   ├── proxy.config.json
│   │   ├── src
│   │   ├── tsconfig.json
│   │   └── yarn.lock
│   ├── project
│   │   ├── build.properties
│   │   ├── plugins.sbt
│   │   └── project
│   ├── pyright-language-server
│   │   ├── README.md
│   │   ├── package.json
│   │   ├── pyright-language-server.iml
│   │   ├── src
│   │   ├── tsconfig.json
│   │   └── yarn.lock
│   ├── scripts
│   │   ├── add-computing-unit-worker.sh
│   │   ├── build-services.sh
│   │   ├── build.sh
│   │   ├── computing-unit-managing-service.sh
│   │   ├── config-service.sh
│   │   ├── config.php
│   │   ├── cron-restart-crashed-worker.sh
│   │   ├── deploy-daemon.sh
│   │   ├── deploy-docker.sh
│   │   ├── file-service.sh
│   │   ├── fix-format-all.sh
│   │   ├── forum
│   │   ├── gui-dev.sh
│   │   ├── gui-proto-gen.sh
│   │   ├── gui.sh
│   │   ├── install-nltk.sh
│   │   ├── python-language-server.sh
│   │   ├── python-proto-gen.sh
│   │   ├── server.sh
│   │   ├── shared-editing-server.sh
│   │   ├── sql
│   │   ├── terminate-daemon.sh
│   │   ├── workflow-compiling-service.sh
│   │   └── workflow-computing-unit.sh
│   ├── util
│   │   └── project
│   ├── workflow-compiling-service
│   │   ├── build.sbt
│   │   ├── project
│   │   └── src
│   ├── workflow-core
│   │   ├── build.sbt
│   │   └── src
│   └── workflow-operator
│       ├── build.sbt
│       ├── project
│       └── src
└── deployment
    ├── README.md
    ├── build-all.sh
    ├── computing-unit-master.dockerfile
    ├── computing-unit-worker.dockerfile
    ├── config-service.dockerfile
    ├── file-service.dockerfile
    ├── k8s
    │   ├── README.md
    │   └── texera-helmchart
    ├── merge-image-tags.sh
    ├── postgres17-pgroonga.dockerfile
    ├── pylsp
    │   ├── Dockerfile
    │   ├── python-language-server.yaml
    │   └── run_pylsp.sh
    ├── single-node
    │   ├── README.md
    │   ├── docker-compose.yml
    │   └── nginx.conf
    ├── texera-web-application.dockerfile
    ├── workflow-compiling-service.dockerfile
    ├── workflow-computing-unit-managing-service.dockerfile
    └── y-websocket-server
        ├── Dockerfile
        └── package.json

New proposal:

.
├── .git
├── .github
├── CONTRIBUTING.md
├── DISCLAIMER
├── Dockerfile
├── LICENSE
├── NOTICE
├── README.md
├── build.sbt
├── common
│   ├── auth
│   │   ├── build.sbt
│   │   └── src
│   ├── config
│   │   ├── build.sbt
│   │   └── src
│   ├── dao
│   │   ├── build.sbt
│   │   └── src
│   ├── workflow-core
│   │   ├── build.sbt
│   │   └── src
│   └── workflow-operator
│       ├── build.sbt
│       ├── project
│       └── src
│   └── util
│       ├── build.sbt
├── frontend
│   ├── README.md
│   ├── angular.json
│   ├── coverage
│   ├── custom-webpack.config.js
│   ├── git-version.js
│   ├── gui.iml
│   ├── karma.conf.js
│   ├── migrations.json
│   ├── nx.json
│   ├── package.json
│   ├── proxy.config.json
│   ├── src
│   ├── tsconfig.json
│   └── yarn.lock
├── project
│   ├── build.properties
│   ├── plugins.sbt
├── sql
├── amber
│   ├── DESCRIPTION
│   ├── README.md
│   ├── amber.iml
│   ├── build.sbt
│   ├── operator-requirements.txt
│   ├── project
│   ├── r-requirements.txt
│   ├── requirements.txt
│   ├── src
│   └── user-resources
├── access-control-service             
│   ├── build.sbt
│   ├── project
│   └── src
├── computing-unit-managing-service  
│   ├── build.sbt
│   ├── project
│   └── src
├── config-service                     
│   ├── build.sbt
│   └── src
├── file-service                      
│   ├── build.sbt
│   └── src
├── pyright-language-server          
│   ├── README.md
│   ├── package.json
│   ├── pyright-language-server.iml
│   ├── src
│   ├── tsconfig.json
│   └── yarn.lock
├── workflow-compiling-service          
│   ├── build.sbt
│   ├── project
│   └── src
└── bin
    ├── add-computing-unit-worker.sh
    ├── build-services.sh
    ├── build.sh
    ├── computing-unit-managing-service.sh
    ├── config-service.sh
    ├── config.php
    ├── cron-restart-crashed-worker.sh
    ├── deploy-daemon.sh
    ├── deploy-docker.sh
    ├── file-service.sh
    ├── fix-format-all.sh
    ├── forum
    ├── gui-dev.sh
    ├── gui-proto-gen.sh
    ├── gui.sh
    ├── install-nltk.sh
    ├── python-language-server.sh
    ├── python-proto-gen.sh
    ├── server.sh
    ├── shared-editing-server.sh
    ├── terminate-daemon.sh
    ├── workflow-compiling-service.sh
    ├── workflow-computing-unit.sh
    └── deployment
        ├── README.md
        ├── build-all.sh
        ├── computing-unit-master.dockerfile
        ├── computing-unit-worker.dockerfile
        ├── config-service.dockerfile
        ├── file-service.dockerfile
        ├── k8s
        │   ├── README.md
        │   └── texera-helmchart
        ├── merge-image-tags.sh
        ├── postgres17-pgroonga.dockerfile
        ├── pylsp
        │   ├── Dockerfile
        │   ├── python-language-server.yaml
        │   └── run_pylsp.sh
        ├── single-node
        │   ├── README.md
        │   ├── docker-compose.yml
        │   └── nginx.conf
        ├── texera-web-application.dockerfile
        ├── workflow-compiling-service.dockerfile
        ├── workflow-computing-unit-managing-service.dockerfile
        └── y-websocket-server
            ├── Dockerfile
            └── package.json

[chenlica]

Can we summarize the main changes and rationale behind them?

[Yicong-Huang]

Can we summarize the main changes and rationale behind them?

yeah. I have main changes and reasons at the beginning of the issue.