Мониторинг ресурсов или как найти зажравшегося.

На днях я столкнулся с такой проблемой как нехватака CPU в кластере при тестировании системных компонент. И это было очень странно потому-что мониторинг показывал что занятых ресурсов очень мало.

И я стал сикать причину. Оказалось все довольно просто. Во многих компонентах я слишком сильно задрал cpu request и limits, что не давало деплоить новые поды(так-как все системыне компоненты у меня с приоритетом на невыселение)

В какой-то момент для того что-бы быстрее найти виновкика я модифицыровал дашборд графаны чтоб он показывал статистику по всем неймспейсам, типам нагрузок. Вот решил поделится с вами: https://gist.github.com/wirwolf/e665545fdcafbfe7731c67982f434809