Используйте атрибут srcset для подключения SVG, а атрибут src для обычных изображений. В результате браузеры, которые поддерживают SVG получат его, а все остальные будут использовать PNG изображение.
<img src="image.png" srcset="image.svg" alt="image">Атрибут srcset поддерживается не всеми браузерами. Для проверки можно использовать демо.