Skip to content

Latest commit

 

History

History
229 lines (180 loc) · 14.1 KB

README.es.md

File metadata and controls

229 lines (180 loc) · 14.1 KB

Qianqian Xie1  Weiguang Han2  Zhengyu Chen2  Ruoyu Xiang1  Xiao Zhang1  Yueru He1  Mengxi Xiao2  Dong Li2  Yongfu Dai7  Duanyu Feng7  Yijing Xu1  Haoqiang Kang5  Ziyan Kuang12  Chenhan Yuan3  Kailai Yang3  Zheheng Luo3  Tianlin Zhang3  Zhiwei Liu3  Guojun Xiong10  Zhiyang Deng9  Yuechen Jiang9  Zhiyuan Yao9  Haohang Li9  Yangyang Yu9  Gang Hu8  Jiajia Huang11  Xiao-Yang Liu5Alejandro Lopez-Lira4  Benyou Wang6  Yanzhao Lai13  Hao Wang7  Min Peng2*  Sophia Ananiadou3Jimin Huang1

1The Fin AI  2Wuhan University  3The University of Manchester  4University of Florida  5Columbia University  6The Chinese University of Hong Kong, Shenzhen  7Sichuan University  8Yunnan University  9Stevens Institute of Technology  10Stony Brook University  11Nanjin Audit University  12Jiangxi Normal University  13Southwest Jiaotong University

Wuhan University LogoManchester University LogoUniversity of Florida LogoColumbia University LogoHK University (shenzhen) LogoSichuan UniversityYunnan UniversityStevens Insititute of TechnologyStony Brook UniversityNanjing Audit UniversityJiangxi Normal UniversitySouthwest Jiaotong University Logo
-----------------

Discord

Pixiu Paper | FinBen Leaderboard

Descargo de responsabilidad

Este repositorio y su contenido se proporcionan únicamente con fines académicos y educativos. Ninguno de los materiales constituye asesoramiento financiero, legal o de inversión. No se ofrecen garantías, explícitas o implícitas, respecto a la precisión, integridad o utilidad del contenido. Los autores y colaboradores no son responsables de errores, omisiones o cualquier consecuencia derivada del uso de la información aquí contenida. Los usuarios deben ejercer su propio juicio y consultar a profesionales antes de tomar cualquier decisión financiera, legal o de inversión. El uso del software e información contenida en este repositorio es bajo el propio riesgo del usuario.

Al utilizar o acceder a la información de este repositorio, usted acepta indemnizar, defender y eximir de responsabilidad a los autores, colaboradores y cualquier organización o persona afiliada por cualquier reclamo o daño.

Puntos de control:

Idiomas

documento

Evaluaciones (más detalles en la sección FinBen):

Descripción general

FinBen_ES es una iniciativa fundamental enfocada en el dominio financiero español. FinBen_ES busca reforzar el progreso, perfeccionamiento y evaluación de Modelos de Lenguaje a Gran Escala (MLGs) diseñados específicamente para contextos financieros españoles. Como un segmento vital del esfuerzo más amplio de PIXIU, FinBen_ES se erige como un testimonio del compromiso por aprovechar las capacidades de los MLGs, asegurando que los profesionales y entusiastas financieros del mundo hispanohablante tengan a su disposición herramientas lingüísticas de primera categoría.

Características clave

  • Recursos abiertos: PIXIU proporciona abiertamente el LLM financiero, los datos de instrucción de ajuste fino y los conjuntos de datos incluidos en el conjunto de evaluación de referencia para fomentar la investigación abierta y la transparencia.
  • Multitarea: Los datos de instrucción y el conjunto de referencia en PIXIU cubren un diverso conjunto de tareas financieras, que incluyen cuatro tareas de NLP financiero y una tarea de predicción financiera.
  • Multimodalidad: Los datos de instrucción y el conjunto de referencia de PIXIU consisten en datos financieros multimodales, que incluyen datos de series de tiempo de la tarea de predicción de movimientos de acciones. Cubre varios tipos de textos financieros, que incluyen informes, artículos de noticias, tweets y presentaciones regulatorias.
  • Diversidad: A diferencia de conjuntos de referencia anteriores que se centran principalmente en tareas de NLP financiero, el conjunto de evaluación de referencia de PIXIU incluye tareas críticas de predicción financiera alineadas con escenarios del mundo real, lo que lo hace más desafiante.

FinBen_ES: Conjunto de evaluación de comprensión y predicción del lenguaje financiero

En esta sección, proporcionamos un análisis de rendimiento detallado de FinMA en comparación con otros modelos líderes, incluyendo ChatGPT, GPT-4, lince-zero et al. Para este análisis, hemos elegido una gama de tareas y métricas que abarcan varios aspectos del Procesamiento del Lenguaje Natural financiero y de la predicción financiera.

Tareas

Datos Tarea Bruto Tipos de Datos Modalidades Licencia Artículo
MultiFin clasificación de titulares 230 titulares de noticias texto CC BY 4.0 [1]
FNS respuesta a preguntas 50 informes de ganancias texto Público [2]
TSA análisis de sentimientos 3,829 titulares de noticias texto CC BY 4.0 [3]
Financees análisis de sentimientos 6,539 titulares de noticias texto Público [4]
EFP respuesta a preguntas 37 preguntas de evaluación empresarial texto Público
EFPA respuesta a preguntas 228 preguntas de evaluación empresarial texto Público
  1. Rasmus Jørgensen, Oliver Brandt, Mareike Hartmann, Xiang Dai, Christian Igel, and Desmond Elliott. 2023. MultiFin: A Dataset for Multilingual Financial NLP. In Findings of the Association for Computational Linguistics: EACL 2023, 894–909. Association for Computational Linguistics, Dubrovnik, Croatia.
  2. FNS 2023. FNP 2023..
  3. Pan R, García-Díaz JA, Garcia-Sanchez F, and Valencia-García R. 2023. Evaluation of transformer models for financial targeted sentiment analysis in Spanish. In PeerJ Computer Science, 9:e1377. https://doi.org/10.7717/peerj-cs.1377.
  4. CodaLab. 2023. Competition

Evaluación

Preparación

Instalación local
git clone https://github.com/TheFinAI/PIXIU.git --recursive
cd PIXIU
pip install -r requirements.txt
cd PIXIU/src/financial-evaluation
pip install -e .[multilingual]
Imagen de Docker
sudo bash scripts/docker_run.sh

El comando anterior inicia un contenedor docker, puede modificar docker_run.sh para adaptarlo a su entorno. Proporcionamos una imagen precompilada ejecutando sudo docker pull tothemoon/pixiu:latest

docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \
    --network host \
    --env https_proxy=$https_proxy \
    --env http_proxy=$http_proxy \
    --env all_proxy=$all_proxy \
    --env HF_HOME=$hf_home \
    -it [--rm] \
    --name pixiu \
    -v $pixiu_path:$pixiu_path \
    -v $hf_home:$hf_home \
    -v $ssh_pub_key:/root/.ssh/authorized_keys \
    -w $workdir \
    $docker_user/pixiu:$tag \
    [--sshd_port 2201 --cmd "echo 'Hello, world!' && /bin/bash"]

Argumentos de explicación:

  • [] significa argumentos ignorables
  • HF_HOME: directorio de caché huggingface
  • sshd_port: puerto sshd del contenedor, puede ejecutar ssh -i private_key -p $sshd_port root@$ip para conectarse al contenedor, el valor predeterminado es 22001
  • --rm: elimina el contenedor al salir del contenedor (es decir,CTRL + D)

Evaluación automatizada de tareas

Antes de la evaluación, descargue el punto de control BART en src/metrics/BARTScore/bart_score.pth.

Para la evaluación automatizada, siga estas instrucciones:

  1. Transformador Huggingface

    Para evaluar un modelo alojado en HuggingFace Hub (por ejemplo, finma-7b-full), use este comando:

python eval.py \
    --model "hf-causal-llama" \
    --model_args "use_accelerate=True,pretrained=chancefocus/finma-7b-full,tokenizer=chancefocus/finma-7b-full,use_fast=False" \
    --tasks "flare_ner,flare_sm_acl,flare_fpb"

Puede encontrar más detalles en la documentación de lm_eval.

  1. API comerciales

Tenga en cuenta que para tareas como NER, la evaluación automatizada se basa en un patrón específico. Esto podría no extraer información relevante en entornos de cero disparos, dando como resultado un rendimiento relativamente más bajo en comparación con los resultados anteriores anotados manualmente.

export OPENAI_API_SECRET_KEY=YOUR_KEY_HERE
python eval.py \
    --model gpt-4 \
    --tasks flare_ner,flare_sm_acl,flare_fpb

License

PIXIU tiene licencia [MIT]. Para más detalles, consulte el archivo MIT.

Historial de estrellas

Star History Chart