Сервис поиска экспонатов и генерации описания "ExpoSearch"

Технологический стек: Python3, Faiss, Transformers, Streamlit

Уникальность нашего решения заключается в трех ключевых аспектах:

• Простота: Интуитивно понятный интерфейс и легкость интеграции обеспечивают комфортное взаимодействие с сервисом.
• Мультимодальный ассистент: Генерация описания основаная на мультимодальной большой языковой модели.
• Точность: Наш алгоритм, базируясь на передовых технологиях, гарантирует высокую степень точности в распознавании экспнатов.
• Масштабируемость: Платформа разработана с учетом потребностей роста и развития, обеспечивая стабильную работу при увеличении объемов данных.

Модель машинного обучения:

1. Классификация на группы экспонатов с f1-метрикой 0.91
2. Использование мультимодальной LLM Omnifusion с динамическими инструкциями (RAG) для генерации описания на основе визуальной информации в указанном стиле.
3. Применение методов кластеризации для создания графов и определения значений метрики для платформы
4. Агрегация метрик с каждого изображения и сбор внутренних показателей для выявления трех родов ошибок.

Фронтенд:

pip install -r requierements.txt

streamlit run main_front.py