Сайт может загружаться медленно по ряду причин

• Неоптимизированная база данных
• Неоптимизированные запросы
• Вызов несуществующих картинок, скриптов, стилей
• Отсутствие сжатия

Самый простой способ увидеть ряд причин, это обратиться к сервису Google PageSpeed.

Если показатели Вашего сайта находятся в зелёной зоне, то можно не переживать, но если в красной, то пора взяться за работу над сайтом.