Qianqian Xie1
Weiguang Han2
Zhengyu Chen2
Ruoyu Xiang1
Xiao Zhang1
Yueru He1
Mengxi Xiao2
Dong Li2
Yongfu Dai7
Duanyu Feng7
Yijing Xu1
Haoqiang Kang5
Ziyan Kuang12
Chenhan Yuan3
Kailai Yang3
Zheheng Luo3
Tianlin Zhang3
Zhiwei Liu3
Guojun Xiong10
Zhiyang Deng9
Yuechen Jiang9
Zhiyuan Yao9
Haohang Li9
Yangyang Yu9
Gang Hu8
Jiajia Huang11
Xiao-Yang Liu5
Alejandro Lopez-Lira4
Benyou Wang6
Yanzhao Lai13
Hao Wang7
Min Peng2*
Sophia Ananiadou3
Jimin Huang1
1The Fin AI
2Wuhan University
3The University of Manchester
4University of Florida
5Columbia University
6The Chinese University of Hong Kong, Shenzhen
7Sichuan University
8Yunnan University
9Stevens Institute of Technology
10Stony Brook University
11Nanjin Audit University
12Jiangxi Normal University
13Southwest Jiaotong University
Pixiu Paper | FinBen Leaderboard
免责声明
本资料库及其内容仅用于学术和教育目的。所有资料均不构成金融、法律或投资建议。不对内容的准确性、完整性或实用性提供任何明示或暗示的保证。作者和撰稿人不对任何错误、遗漏或因使用本网站信息而产生的任何后果负责。用户在做出任何财务、法律或投资决定之前，应自行判断并咨询专业人士。使用本资料库所含软件和信息的风险完全由用户自行承担。
使用或访问本资源库中的信息，即表示您同意对作者、撰稿人以及任何附属组织或个人的任何及所有索赔或损害进行赔偿、为其辩护并使其免受损害。
检查点:
语言
论文
- PIXIU: A Comprehensive Benchmark, Instruction Dataset and Large Language Model for Finance
- The FinBen: An Holistic Financial Benchmark for Large Language Models
- No Language is an Island: Unifying Chinese and English in Financial Large Language Models, Instruction Data, and Benchmarks
- Dólares or Dollars? Unraveling the Bilingual Prowess of Financial LLMs Between Spanish and English
评估 (更多详情，请参阅FinBen部分):
FinBen_ZH 是一项专注于中文金融领域的基石计划，旨在促进专为中文金融环境定制的大型语言模型（LLMs）的进展、完善和评估。FinBen_ZH 是 PIXIU 更大范围工作的一个重要部分，证明了我们在利用 LLMs 能力方面的承诺，确保中文世界的金融专业人士和爱好者拥有顶级的语言工具。
- 公开资源: PIXIU 公开提供财务 LLM、教学调整数据和评估基准中的数据集，以鼓励公开研究和透明度。
- 多任务: PIXIU 中的指令调整数据和基准涵盖了一系列不同的金融任务。
- 多模态: PIXIU 的指令调整数据和基准由多模态金融数据组成，包括股票走势预测任务的时间序列数据。它涵盖各种类型的金融文本，包括报告、新闻报道、推特和监管文件。
- 多样性: 与以往主要侧重于金融 NLP 任务的基准不同，PIXIU 的评估基准包括与真实世界场景相一致的关键金融预测任务，因此更具挑战性。
在本节中，我们将提供 FinMA 与其他领先模型（包括 ChatGPT、GPT-4、ince-zero 等）相比的详细性能分析。为了进行分析，我们选择了一系列任务和指标，涵盖了金融自然语言处理和金融预测的各个方面。
| 数据 | 任务类型 | 原始数据 | 数据类型 | 模式 | 许可证 | 论文 |
|---|---|---|---|---|---|---|
| AFQMC | 语义匹配 | 38,650 | 提问数据, 对话 | 文本 | Apache-2.0 | [1] |
| corpus | 语义匹配 | 120,000 | 提问数据, 对话 | 文本 | Public | [2] |
| stockA | 股票分类 | 14,769 | 新闻, 历史价格 | 文本, 时间序列 | Public | [3] |
| Fineval | 多项选择 | 1,115 | 金融考试 | 文本 | Apache-2.0 | [4] |
| NL | 新闻分类 | 7,955 | 新闻报道 | 文本 | Public | [5] |
| NL2 | 新闻分类 | 7,955 | 新闻报道 | 文本 | Public | [5] |
| NSP | 负面新闻判断 | 4,499 | 新闻、社交媒体文本 | 文本 | Public | [5] |
| RE | 关系识别 | 14,973 | 新闻、实体对 | 文本 | Public | [5] |
| FE | 情感分析 | 18,177 | 金融社交媒体文本 | 文本 | Public | [5] |
| stockB | 情感分析 | 9,812 | 金融社交媒体文本 | 文本 | Apache-2.0 | [6] |
| QA | 金融问答 | 22,375 | 财经新闻公告 | 文本, 表格 | Public | [5] |
| NA | 文本摘要 | 32,400 | 新闻文章、公告 | 文本 | Public | [5] |
| 19CCKS | 事件主体提取 | 156,834 | 新闻报道 | 文本 | CC BY-SA 4.0 | [7] |
| 20CCKS | 事件主体提取 | 372,810 | 新闻报道 | 文本 | CC BY-SA 4.0 | [8] |
| 21CCKS | 事件因果关系抽取 | 8,000 | 新闻报道 | 文本 | CC BY-SA 4.0 | [9] |
| 22CCKS | 事件主体提取 | 109,555 | 新闻报道 | 文本 | CC BY-SA 4.0 | [10] |
| NER | 命名实体识别 | 1,685 | 新闻报道 | 文本 | Public | [11] |
| FPB | 情感分析 | 4,845 | 新闻 | 文本 | MIT license | [12] |
| FIQASA | 情感分析 | 1,173 | 新闻头条、推文 | 文本 | MIT license | [12] |
| Headlines | 新闻标题分类 | 11,412 | 新闻头条 | 文本 | MIT license | [12] |
| BigData | 股票走势预测 | 7,164 | 推文、历史价格 | 文本, 时间序列 | MIT license | [12] |
| ACL | 股票走势预测 | 27,053 | 推文、历史价格 | 文本, 时间序列 | MIT license | [12] |
| CIKM | 股票走势预测 | 4,967 | 推文、历史价格 | 文本, 时间序列 | MIT license | [12] |
| FinQA | 金融问答 | 14,900 | 收益报告 | 文本, 表格 | MIT license | [12] |
| ConvFinQA | 多轮问答 | 48,364 | 收益报告 | 文本, 表格 | MIT license | [12] |
- Xu L, Hu H, Zhang X, et al. CLUE: A Chinese language understanding evaluation benchmark[J]. arXiv preprint arXiv:2004.05986, 2020.
- Jing Chen, Qingcai Chen, Xin Liu, Haijun Yang, Daohe Lu, and Buzhou Tang. 2018. The BQ Corpus: A Large-scale Domain-specific Chinese Corpus For Sentence Semantic Equivalence Identification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4946–4951, Brussels, Belgium. Association for Computational Linguistics.
- Jinan Zou, Haiyao Cao, Lingqiao Liu, Yuhao Lin, Ehsan Abbasnejad, and Javen Qinfeng Shi. 2022. Astock: A New Dataset and Automated Stock Trading based on Stock-specific News Analyzing Model. In Proceedings of the Fourth Workshop on Financial Technology and Natural Language Processing (FinNLP), pages 178–186, Abu Dhabi, United Arab Emirates (Hybrid). Association for Computational Linguistics.
- Zhang L, Cai W, Liu Z, et al. FinEval: A Chinese Financial Domain Knowledge Evaluation Benchmark for Large Language Models[J]. arxiv preprint arxiv:2308.09975, 2023.
- Lu D, Liang J, Xu Y, et al. BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark[J]. arxiv preprint arxiv:2302.09432, 2023.
- https://huggingface.co/datasets/kuroneko5943/stock11
- https://www.biendata.xyz/competition/ccks_2019_4/
- https://www.biendata.xyz/competition/ccks_2020_4_1/
- https://www.biendata.xyz/competition/ccks_2021_task6_2/
- https://www.biendata.xyz/competition/ccks2022_eventext/
- Jia C, Shi Y, Yang Q, et al. Entity enhanced BERT pre-training for Chinese NER[C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2020: 6384-6396.
- Xie Q, Han W, Zhang X, et al. PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance[J]. arXiv preprint arXiv:2306.05443, 2023.
git clone https://github.com/TheFinAI/PIXIU.git --recursive
cd PIXIU
pip install -r requirements.txt
cd PIXIU/src/financial-evaluation
pip install -e .[multilingual]sudo bash scripts/docker_run.sh以上命令会启动一个 docker 容器，你可以根据自己的环境修改 docker_run.sh。我们通过运行 sudo docker pull tothemoon/pixiu:latest 来提供预编译镜像。
docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \
--network host \
--env https_proxy=$https_proxy \
--env http_proxy=$http_proxy \
--env all_proxy=$all_proxy \
--env HF_HOME=$hf_home \
-it [--rm] \
--name pixiu \
-v $pixiu_path:$pixiu_path \
-v $hf_home:$hf_home \
-v $ssh_pub_key:/root/.ssh/authorized_keys \
-w $workdir \
$docker_user/pixiu:$tag \
[--sshd_port 2201 --cmd "echo 'Hello, world!' && /bin/bash"]参数说明:
[]表示可忽略的参数HF_HOME: huggingface 缓存目录sshd_port: 容器的 sshd 端口，可以运行ssh -i private_key -p $sshd_port root@$ip来连接容器，默认为 22001--rm: 退出容器时移除容器（即CTRL + D）
在评估前, 请下载 punto de control BART 到 src/metrics/BARTScore/bart_score.pth.
如需进行自动评估，请按照以下说明操作：
-
Transformador Huggingface
要评估 HuggingFace Hub 上托管的模型（例如，finma-7b-full），请使用此命令：
python eval.py \
--model "hf-causal-llama" \
--model_args "use_accelerate=True,pretrained=TheFinAI/finma-7b-full,tokenizer=TheFinAI/finma-7b-full,use_fast=False" \
--tasks "flare_ner,flare_sm_acl,flare_fpb"更多详情，请参阅 lm_eval 文档。
- 商用接口
请注意，对于 NER 等任务，自动评估是基于特定模式进行的。这可能无法提取零镜头设置中的相关信息，导致性能相对低于之前的人工标注结果。
export OPENAI_API_SECRET_KEY=YOUR_KEY_HERE
python eval.py \
--model gpt-4 \
--tasks flare_ner,flare_sm_acl,flare_fpb如果您在项目中使用了PIXIU，请引用我们的文章。
@misc{xie2023pixiu,
title={PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance},
author={Qianqian Xie and Weiguang Han and Xiao Zhang and Yanzhao Lai and Min Peng and Alejandro Lopez-Lira and Jimin Huang},
year={2023},
eprint={2306.05443},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@misc{xie2024FinBen,
title={The FinBen: An Holistic Financial Benchmark for Large Language Models},
author={Qianqian Xie and Weiguang Han and Zhengyu Chen and Ruoyu Xiang and Xiao Zhang and Yueru He and Mengxi Xiao and Dong Li and Yongfu Dai and Duanyu Feng and Yijing Xu and Haoqiang Kang and Ziyan Kuang and Chenhan Yuan and Kailai Yang and Zheheng Luo and Tianlin Zhang and Zhiwei Liu and Guojun Xiong and Zhiyang Deng and Yuechen Jiang and Zhiyuan Yao and Haohang Li and Yangyang Yu and Gang Hu and Jiajia Huang and Xiao-Yang Liu and Alejandro Lopez-Lira and Benyou Wang and Yanzhao Lai and Hao Wang and Min Peng and Sophia Ananiadou and Jimin Huang},
year={2024},
eprint={2402.12659},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
PIXIU 采用 [MIT] 许可。有关详细信息，请参阅 MIT 文件。