-
Notifications
You must be signed in to change notification settings - Fork 3
/
Copy pathtest_target_bitwidth.sh
33 lines (31 loc) · 6.97 KB
/
test_target_bitwidth.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
#!/bin/bash
# Ensure PYTHONPATH points to the root gptvq directory
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 512 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 2 --vq-dim 1 --groupsize 1024 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 256 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 2 --vq-dim 1 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 256 --svd-rank 0.5 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 2 --vq-dim 1 --groupsize 512 --svd-rank 0.5 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 1024 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 3 --vq-dim 1 --groupsize 2048 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 3 --vq-dim 1 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 512 --svd-rank 0.5 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 3 --vq-dim 1 --groupsize 1024 --svd-rank 0.5 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 2048 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 4 --vq-dim 1 --groupsize 4096 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 4 --vq-dim 1 --groupsize 2048 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 1024 --svd-rank 0.5 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 4 --vq-dim 1 --groupsize 2048 --svd-rank 0.5 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 4096 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 2 --vq-dim 2 --groupsize 8192 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 2048 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 2 --vq-dim 2 --groupsize 4096 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 2 --groupsize 16384 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 3 --vq-dim 2 --groupsize 32768 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 2 --groupsize 8192 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 3 --vq-dim 2 --groupsize 16384 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 2 --groupsize 65536 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 2 --groupsize 32768 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --vq-scaling-blocksize 64 --wbits 4 --vq-dim 2 --groupsize 65536 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2