-
Notifications
You must be signed in to change notification settings - Fork 33
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
HDDS-11630. Add Build from Maven guide #100
base: HDDS-9225-website-v2
Are you sure you want to change the base?
Changes from 8 commits
abbaa24
8423cf1
9d4d3f8
2145ef7
f8459bc
a5d0551
ca27d88
7591004
a3499f8
File filter
Filter by extension
Conversations
Jump to
Diff view
Diff view
There are no files selected for viewing
Original file line number | Diff line number | Diff line change | ||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
@@ -0,0 +1,126 @@ | ||||||||||||||||||||||||||||||||||||||||||||
--- | ||||||||||||||||||||||||||||||||||||||||||||
sidebar_label: Maven | ||||||||||||||||||||||||||||||||||||||||||||
--- | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
<!-- cspell:words xzf Dskip Pdist installnpm installnpx installyarn --> | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
# Building Ozone With Maven | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
**TODO:** File a subtask under [HDDS-9861](https://issues.apache.org/jira/browse/HDDS-9861) and complete this page or section. | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
- Cover basic Maven commands to build and run tests. | ||||||||||||||||||||||||||||||||||||||||||||
- Document all the Ozone specific Maven flags we use to speed up or skip parts of the build, and when they are useful. | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
import Tabs from '@theme/Tabs'; | ||||||||||||||||||||||||||||||||||||||||||||
import TabItem from '@theme/TabItem'; | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
This guide explains how to build Apache Ozone from source using Maven and prepare it for deployment. | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
## Prerequisites | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
**TODO** : [HDDS-11625](https://issues.apache.org/jira/browse/HDDS-11625) Finalize the version numbers of prerequisite packages | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
Before you begin, ensure you have the following installed on your build machine: | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
- Java 1.8 or higher | ||||||||||||||||||||||||||||||||||||||||||||
- Apache Maven 3.6.3 or higher | ||||||||||||||||||||||||||||||||||||||||||||
- Git (if building from source repository) | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
## Obtain the Source Code | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
You can build Apache Ozone either by cloning the source code from Git or by downloading the official source tarball. | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
Choose one of the following methods to get the source code: | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
<Tabs> | ||||||||||||||||||||||||||||||||||||||||||||
<TabItem value="Git" label="Git" default> | ||||||||||||||||||||||||||||||||||||||||||||
Use this option to build any release, tag or commit of Ozone. | ||||||||||||||||||||||||||||||||||||||||||||
```bash | ||||||||||||||||||||||||||||||||||||||||||||
git clone https://github.com/apache/ozone.git | ||||||||||||||||||||||||||||||||||||||||||||
cd ozone | ||||||||||||||||||||||||||||||||||||||||||||
``` | ||||||||||||||||||||||||||||||||||||||||||||
</TabItem> | ||||||||||||||||||||||||||||||||||||||||||||
<TabItem value="Tarball" label="Tarball"> | ||||||||||||||||||||||||||||||||||||||||||||
Use this option if you only want the released version of Ozone. | ||||||||||||||||||||||||||||||||||||||||||||
<br/>Obtain the Ozone sources from the [download](/download) page. | ||||||||||||||||||||||||||||||||||||||||||||
<br/>Next, unpack the tarball | ||||||||||||||||||||||||||||||||||||||||||||
```bash | ||||||||||||||||||||||||||||||||||||||||||||
tar xzf ozone-<version>-src.tar.gz | ||||||||||||||||||||||||||||||||||||||||||||
cd ozone-<version>-src | ||||||||||||||||||||||||||||||||||||||||||||
``` | ||||||||||||||||||||||||||||||||||||||||||||
</TabItem> | ||||||||||||||||||||||||||||||||||||||||||||
</Tabs> | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
## Build the Project | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
Apache Ozone uses Maven as its build system. The build process compiles the source code, runs tests, and creates deployable artifacts. The project supports various build configurations to accommodate different development and deployment needs. | ||||||||||||||||||||||||||||||||||||||||||||
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more.
Suggested change
|
||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
### Build Options | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
The build system offers several options to customize the build process according to your requirements: | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
#### Basic Build | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
For a basic build that skips tests: | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
```bash | ||||||||||||||||||||||||||||||||||||||||||||
mvn clean install -DskipTests=true | ||||||||||||||||||||||||||||||||||||||||||||
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. I think we can change these commands back to |
||||||||||||||||||||||||||||||||||||||||||||
``` | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
This command will: | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
- Clean previous build artifacts | ||||||||||||||||||||||||||||||||||||||||||||
- Compile the source code | ||||||||||||||||||||||||||||||||||||||||||||
- Package the compiled code into JAR files | ||||||||||||||||||||||||||||||||||||||||||||
- Create a distribution in `hadoop-ozone/dist/target/ozone-<version>` | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
#### Build with Tests | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
To run unit tests during the build: | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
```bash | ||||||||||||||||||||||||||||||||||||||||||||
mvn clean install | ||||||||||||||||||||||||||||||||||||||||||||
``` | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
#### Create Distribution Tarball | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
To create a distribution tarball for deployment: | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
```bash | ||||||||||||||||||||||||||||||||||||||||||||
mvn clean install -DskipTests=true -Pdist | ||||||||||||||||||||||||||||||||||||||||||||
``` | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
This creates a tarball in `hadoop-ozone/dist/target` that contains all necessary files for deployment. | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
#### Maven Build Options | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
Several Maven options are available to customize the build process: | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
Here's the conversion to a markdown table: | ||||||||||||||||||||||||||||||||||||||||||||
Comment on lines
+95
to
+99
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more.
Suggested change
IMO the title explains it all. This is getting published as a website and all traces of markdown will be erased. |
||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
| Command | Description | | ||||||||||||||||||||||||||||||||||||||||||||
|---------|-------------| | ||||||||||||||||||||||||||||||||||||||||||||
| `-DskipTests=true` | Skip all tests | | ||||||||||||||||||||||||||||||||||||||||||||
| `-Dskip.installnpm -Dskip.installnpx -Dskip.installyarn -Dskip.npm -Dskip.npx -Dskip.yarn` | Skip building the Javascript frontend for Recon | | ||||||||||||||||||||||||||||||||||||||||||||
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Let's remove this and just use the |
||||||||||||||||||||||||||||||||||||||||||||
| `-Pdist` | Enable the distribution profile to create deployment tarballs | | ||||||||||||||||||||||||||||||||||||||||||||
| `-T 4` | Use 4 threads for parallel building (adjust number based on your CPU) | | ||||||||||||||||||||||||||||||||||||||||||||
| `-T 2C` | Use 2 threads per core for parallel building (adjust number based on your CPU) | | ||||||||||||||||||||||||||||||||||||||||||||
| `-am -pl module-name` | Build a specific module and its dependencies | | ||||||||||||||||||||||||||||||||||||||||||||
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more.
Suggested change
|
||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
jojochuang marked this conversation as resolved.
Show resolved
Hide resolved
|
||||||||||||||||||||||||||||||||||||||||||||
### Build Output | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
You can test the result of the compilation process by running a simple Ozone command which will display the Ozone version | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
```bash | ||||||||||||||||||||||||||||||||||||||||||||
./hadoop-ozone/dist/target/ozone-<version>-SNAPSHOT/bin/ozone version | ||||||||||||||||||||||||||||||||||||||||||||
``` | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
The build process creates several important artifacts: | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
- **Distribution Tarball**: `hadoop-ozone/dist/target/ozone-<version>.tar.gz` (when using `-Pdist`) | ||||||||||||||||||||||||||||||||||||||||||||
- **Distribution Directory**: `hadoop-ozone/dist/target/ozone-<version>/` | ||||||||||||||||||||||||||||||||||||||||||||
- **Individual Module JARs**: `hadoop-ozone/dist/target/ozone-<version>-SNAPSHOT/share/ozone/lib` | ||||||||||||||||||||||||||||||||||||||||||||
Comment on lines
+115
to
+125
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more.
Suggested change
I think this order of presentation makes more sense.
|
||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
## Next Steps | ||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
Run the build by deploying the binary on either a [machine](../../05-administrator-guide/01-installation/03-installing-binaries.md) or on a [Docker cluster](../../08-developer-guide/02-run/02-docker-compose.md) |
This file was deleted.
This file was deleted.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Just a little more concise and IMO reads smoother without the line breaks.