Технологический стек: Python3, Faiss, Transformers, Streamlit
Уникальность нашего решения заключается в трех ключевых аспектах:
- Простота: Интуитивно понятный интерфейс и легкость интеграции обеспечивают комфортное взаимодействие с сервисом.
- Мультимодальный ассистент: Генерация описания основаная на мультимодальной большой языковой модели.
- Точность: Наш алгоритм, базируясь на передовых технологиях, гарантирует высокую степень точности в распознавании экспнатов.
- Масштабируемость: Платформа разработана с учетом потребностей роста и развития, обеспечивая стабильную работу при увеличении объемов данных.
- Классификация на группы экспонатов с f1-метрикой 0.91
- Использование мультимодальной LLM Omnifusion с динамическими инструкциями (RAG) для генерации описания на основе визуальной информации в указанном стиле.
- Применение методов кластеризации для создания графов и определения значений метрики для платформы
- Агрегация метрик с каждого изображения и сбор внутренних показателей для выявления трех родов ошибок.
pip install -r requierements.txt
streamlit run main_front.py