Skip to content

Commit 22702ce

Browse files
authored
Update readme (#314)
* Update awq.py * Update module_utils.py * Update module_utils.py * Update base_blockwise_quantization.py * Update awq.py * Update base_blockwise_quantization.py * Update README_zh.md * Update README.md * Update README_ja.md * Update README.md * Update README_ja.md * Update README_zh.md
1 parent babf191 commit 22702ce

File tree

3 files changed

+3
-8
lines changed

3 files changed

+3
-8
lines changed

README.md

Lines changed: 1 addition & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -48,10 +48,7 @@ docker pull registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:pure-lates
4848

4949
## Latest News
5050

51-
### **February 7, 2025:**
52-
53-
- **February 7, 2025:** 🔥 We now fully support quantization of large-scale **`MOE`** models like **`DeepSeekv3`**, **`DeepSeek-R1`**, and **`DeepSeek-R1-zero`** with 671B parameters.
54-
You can now directly load FP8 weights without any extra conversion. AWQ and RTN quantization can run on a single 80GB GPU, and we also support the export of true quantized **INT4/INT8** weights.
51+
- **February 7, 2025:** 🔥 We now fully support quantization of large-scale **`MOE`** models like **`DeepSeekv3`**, **`DeepSeek-R1`**, and **`DeepSeek-R1-zero`** with 671B parameters. You can now directly load FP8 weights without any extra conversion. AWQ and RTN quantization can run on a single 80GB GPU, and we also support the export of true quantized **INT4/INT8** weights.
5552

5653
- **Nov 20, 2024:** 🔥 We now fully support the quantization of ✨`DeepSeekv2(2.5)` and other `MOE` models, as well as ✨`Qwen2VL`, `Llama3.2`, and other `VLM` models. Supported quantization methods include ✅integer quantization, ✅floating-point quantization, and advanced algorithms like ✅AWQ, ✅GPTQ, ✅SmoothQuant, and ✅Quarot.
5754

README_ja.md

Lines changed: 1 addition & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -48,8 +48,7 @@ docker pull registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:pure-lates
4848

4949
## 最新情報
5050

51-
- V 🔥 私たちは現在、671Bパラメータを持つ大規模な **`MOE`** モデル、例えば **`DeepSeekv3`****`DeepSeek-R1`**、および **`DeepSeek-R1-zero`** の量子化を完全にサポートしています。
52-
今すぐFP8ウェイトを追加の変換なしで直接読み込むことができます。AWQおよびRTN量子化は、1枚の80GB GPUで実行でき、さらに、真の量子化された **INT4/INT8** ウェイトのエクスポートにも対応しています。
51+
- V 🔥 私たちは現在、671Bパラメータを持つ大規模な **`MOE`** モデル、例えば **`DeepSeekv3`****`DeepSeek-R1`**、および **`DeepSeek-R1-zero`** の量子化を完全にサポートしています。 今すぐFP8ウェイトを追加の変換なしで直接読み込むことができます。AWQおよびRTN量子化は、1枚の80GB GPUで実行でき、さらに、真の量子化された **INT4/INT8** ウェイトのエクスポートにも対応しています。
5352

5453
- **2024年11月20日:** 🔥 私たちは現在、✨`DeepSeekv2(2.5)`などの`MOE`モデルおよび✨`Qwen2VL``Llama3.2`などの`VLM`モデルの量子化を完全にサポートしています。対応する量子化手法には、✅整数量子化、✅浮動小数点量子化、さらに✅AWQ、✅GPTQ、✅SmoothQuant、✅Quarotといった高度なアルゴリズムが含まれます。
5554

README_zh.md

Lines changed: 1 addition & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -48,8 +48,7 @@ docker pull registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:pure-lates
4848

4949
## 最新消息
5050

51-
- **2025年2月7日:** 🔥 我们现已全面支持 **`DeepSeekv3`****`DeepSeek-R1`****`DeepSeek-R1-zero`** 等 671B 大规模 **`MOE`** 模型的量化。
52-
现在,您可以直接加载 `FP8` 权重,无需额外转换。使用单张 80G 显存的 GPU 即可运行 `AWQ``RTN` 量化,同时还支持导出真实量化的 **INT4/INT8** 权重
51+
- **2025年2月7日:** 🔥 我们现已全面支持 **`DeepSeekv3`****`DeepSeek-R1`****`DeepSeek-R1-zero`** 等 671B 大规模 **`MOE`** 模型的量化。 现在,您可以直接加载 `FP8` 权重,无需额外转换。使用单张 80G 显存的 GPU 即可运行 `AWQ``RTN` 量化,同时还支持导出真实量化的 **INT4/INT8** 权重
5352

5453
- **2024年11月20日:** 🔥 我们现已全面支持✨`DeepSeekv2(2.5)``MOE`模型以及✨`Qwen2VL``Llama3.2``VLM`模型的量化。支持的量化方案包括✅整型量化、✅浮点量化,以及✅AWQ、✅GPTQ、✅SmoothQuant 和 ✅Quarot 等先进算法。
5554

0 commit comments

Comments
 (0)