RuSentNE-2023: Соревнование по анализу тональности к именованным сущностям в новостных текстах

🔔 19 апреля 2024: опубликован pre-print версии статьи на arXiv с первыми ислледованиями применения генеративных инструктивных Large Language Models в направлении Reasoning with Chain-of-Thoughts, в рамках которых удалось поставить результат, превышающий результат #1 HAMAM model на основе prompt-tuning Flan-T5-xl.

🔔 28 мая 2023: соревнования открыты для участия в Post-evaluation этапа

📖 28 мая 2023: опубликована pre-print версия статьи на arXiv по результатам основного (final) этапа соревнований

❗ 26 февраля 2023: все обновления касательно дат фаз тестирования в первую очередь появляются в Telegram канале соревнований.

Ссылка на соревнования в системе Codalab

⏰ Даты и график проведения соревнования

📈 Таблица результатов

📰 Telegram канал соревнований

Описание

Анализ тональности текста — извлечение выраженной в тексте эмоциональной оценки к некоторой сущности — одно из наиболее активно развивающихся направлений в автоматической обработке текстов.

Анализ тональности новостных текстов — важное направление в области анализа мнений, поскольку обнаружение, отслеживание трендов тональности в новостном потоке важно для построения разного рода аналитических систем, отслеживания имиджа в СМИ конкретных людей или компаний.

Тональность по отношению к сущности в новостном тексте может происходить по крайней мере из трёх разных источников:

• мнения автора текста,
• цитируемого мнения, при этом сам носитель мнения может быть упомянут или не упомянут в тексте,
• имплицитного мнения, которое следует из каких-либо упомянутых действий или реакций, например, X уволил Y. Такая информация часто присутствует даже при внешне нейтральном изложении событий.

Участникам предлагается задача извлечения из новостных текстов тональности трёх классов (негативная, позитивная, нейтральная) по отношению к заранее размеченным сущностям типа PERSON, ORGANIZATION, PROFESSION, COUNTRY, NATIONALITY в рамках отдельного предложения.

Базовый подход

• baseline_submission.zip -- применение классификатора на основе модели RuBERT (см. описание применения в тексте статьи)

Формат данных

• sentence - предложение
• entity - объект анализа тональности
• entity_tag - тип сущности в рамках PERSON, ORGANIZATION, PROFESSION, COUNTRY, NATIONALITY
• label - метка тональности (0 - нейтрально, - 1 - отрицательно, 1 - положительно)

Организаторы

• Лукашевич Н.В. (МГУ им. М.В. Ломоносова)
• Голубев А.А. (МГУ им. М.В. Ломоносова)
• Русначенко Н.Л. (Newcastle University)

Источники

Официальная страница задачи RuSentNE на сайте Dialogue-2023

Официальная информация по конференции Dialogue-2023

Telegram канал соревнований

Ссылки

@inproceedings{golubev2023rusentne,
    title={{RuSentNE-2023}: {E}valuating Entity-Oriented Sentiment Analysis on Russian News Texts},
    author={Golubev, Anton and Rusnachenko, Nicolay and Loukachevitch, Natalia},
    booktitle={Computational Linguistics and Intellectual Technologies: papers from the Annual conference ``Dialogue'' (arxiv:2305.17679},
    year={2023}
}