Pixiu Paper | FinBen Leaderboard
Descargo de responsabilidad
Este repositorio y su contenido se proporcionan únicamente con fines académicos y educativos. Ninguno de los materiales constituye asesoramiento financiero, legal o de inversión. No se ofrecen garantías, explícitas o implícitas, respecto a la precisión, integridad o utilidad del contenido. Los autores y colaboradores no son responsables de errores, omisiones o cualquier consecuencia derivada del uso de la información aquí contenida. Los usuarios deben ejercer su propio juicio y consultar a profesionales antes de tomar cualquier decisión financiera, legal o de inversión. El uso del software e información contenida en este repositorio es bajo el propio riesgo del usuario.
Al utilizar o acceder a la información de este repositorio, usted acepta indemnizar, defender y eximir de responsabilidad a los autores, colaboradores y cualquier organización o persona afiliada por cualquier reclamo o daño.
Puntos de control:
Idiomas
documento
- PIXIU: A Comprehensive Benchmark, Instruction Dataset and Large Language Model for Finance
- The FinBen: An Holistic Financial Benchmark for Large Language Models
- No Language is an Island: Unifying Chinese and English in Financial Large Language Models, Instruction Data, and Benchmarks
- Dólares or Dollars? Unraveling the Bilingual Prowess of Financial LLMs Between Spanish and English
Evaluaciones (más detalles en la sección FinBen):
- flare (flare-es-financees)
- flare (flare-es-tsa)
- flare (flare-es-fns)
- flare (flare-es-efpa)
- flare (flare-es-efp)
- flare (flare-es-multifin)
FinBen_ES es una iniciativa fundamental enfocada en el dominio financiero español. FinBen_ES busca reforzar el progreso, perfeccionamiento y evaluación de Modelos de Lenguaje a Gran Escala (MLGs) diseñados específicamente para contextos financieros españoles. Como un segmento vital del esfuerzo más amplio de PIXIU, FinBen_ES se erige como un testimonio del compromiso por aprovechar las capacidades de los MLGs, asegurando que los profesionales y entusiastas financieros del mundo hispanohablante tengan a su disposición herramientas lingüísticas de primera categoría.
- Recursos abiertos: PIXIU proporciona abiertamente el LLM financiero, los datos de instrucción de ajuste fino y los conjuntos de datos incluidos en el conjunto de evaluación de referencia para fomentar la investigación abierta y la transparencia.
- Multitarea: Los datos de instrucción y el conjunto de referencia en PIXIU cubren un diverso conjunto de tareas financieras, que incluyen cuatro tareas de NLP financiero y una tarea de predicción financiera.
- Multimodalidad: Los datos de instrucción y el conjunto de referencia de PIXIU consisten en datos financieros multimodales, que incluyen datos de series de tiempo de la tarea de predicción de movimientos de acciones. Cubre varios tipos de textos financieros, que incluyen informes, artículos de noticias, tweets y presentaciones regulatorias.
- Diversidad: A diferencia de conjuntos de referencia anteriores que se centran principalmente en tareas de NLP financiero, el conjunto de evaluación de referencia de PIXIU incluye tareas críticas de predicción financiera alineadas con escenarios del mundo real, lo que lo hace más desafiante.
En esta sección, proporcionamos un análisis de rendimiento detallado de FinMA en comparación con otros modelos líderes, incluyendo ChatGPT, GPT-4, lince-zero et al. Para este análisis, hemos elegido una gama de tareas y métricas que abarcan varios aspectos del Procesamiento del Lenguaje Natural financiero y de la predicción financiera.
| Datos | Tarea | Bruto | Tipos de Datos | Modalidades | Licencia | Artículo |
|---|---|---|---|---|---|---|
| MultiFin | clasificación de titulares | 230 | titulares de noticias | texto | CC BY 4.0 | [1] |
| FNS | respuesta a preguntas | 50 | informes de ganancias | texto | Público | [2] |
| TSA | análisis de sentimientos | 3,829 | titulares de noticias | texto | CC BY 4.0 | [3] |
| Financees | análisis de sentimientos | 6,539 | titulares de noticias | texto | Público | [4] |
| EFP | respuesta a preguntas | 37 | preguntas de evaluación empresarial | texto | Público | |
| EFPA | respuesta a preguntas | 228 | preguntas de evaluación empresarial | texto | Público |
- Rasmus Jørgensen, Oliver Brandt, Mareike Hartmann, Xiang Dai, Christian Igel, and Desmond Elliott. 2023. MultiFin: A Dataset for Multilingual Financial NLP. In Findings of the Association for Computational Linguistics: EACL 2023, 894–909. Association for Computational Linguistics, Dubrovnik, Croatia.
- FNS 2023. FNP 2023..
- Pan R, García-Díaz JA, Garcia-Sanchez F, and Valencia-García R. 2023. Evaluation of transformer models for financial targeted sentiment analysis in Spanish. In PeerJ Computer Science, 9:e1377. https://doi.org/10.7717/peerj-cs.1377.
- CodaLab. 2023. Competition
git clone https://github.com/TheFinAI/PIXIU.git --recursive
cd PIXIU
pip install -r requirements.txt
cd PIXIU/src/financial-evaluation
pip install -e .[multilingual]sudo bash scripts/docker_run.shEl comando anterior inicia un contenedor docker, puede modificar docker_run.sh para adaptarlo a su entorno. Proporcionamos una imagen precompilada ejecutando sudo docker pull tothemoon/pixiu:latest
docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \
--network host \
--env https_proxy=$https_proxy \
--env http_proxy=$http_proxy \
--env all_proxy=$all_proxy \
--env HF_HOME=$hf_home \
-it [--rm] \
--name pixiu \
-v $pixiu_path:$pixiu_path \
-v $hf_home:$hf_home \
-v $ssh_pub_key:/root/.ssh/authorized_keys \
-w $workdir \
$docker_user/pixiu:$tag \
[--sshd_port 2201 --cmd "echo 'Hello, world!' && /bin/bash"]Argumentos de explicación:
[]significa argumentos ignorablesHF_HOME: directorio de caché huggingfacesshd_port: puerto sshd del contenedor, puede ejecutarssh -i private_key -p $sshd_port root@$ippara conectarse al contenedor, el valor predeterminado es 22001--rm: elimina el contenedor al salir del contenedor (es decir,CTRL + D)
Antes de la evaluación, descargue el punto de control BART en src/metrics/BARTScore/bart_score.pth.
Para la evaluación automatizada, siga estas instrucciones:
-
Transformador Huggingface
Para evaluar un modelo alojado en HuggingFace Hub (por ejemplo, finma-7b-full), use este comando:
python eval.py \
--model "hf-causal-llama" \
--model_args "use_accelerate=True,pretrained=chancefocus/finma-7b-full,tokenizer=chancefocus/finma-7b-full,use_fast=False" \
--tasks "flare_ner,flare_sm_acl,flare_fpb"Puede encontrar más detalles en la documentación de lm_eval.
- API comerciales
Tenga en cuenta que para tareas como NER, la evaluación automatizada se basa en un patrón específico. Esto podría no extraer información relevante en entornos de cero disparos, dando como resultado un rendimiento relativamente más bajo en comparación con los resultados anteriores anotados manualmente.
export OPENAI_API_SECRET_KEY=YOUR_KEY_HERE
python eval.py \
--model gpt-4 \
--tasks flare_ner,flare_sm_acl,flare_fpbPIXIU tiene licencia [MIT]. Para más detalles, consulte el archivo MIT.