Ты выгораешь, мы проверили! Как убедиться в корректности расчета степени выгорания

Марина Рябова, аналитик данных R&D-лаборатории Центра технологий кибербезопасности ГК «Солар», делится деталями исследования признаков выгорания сотрудников, которые можно выявить с помощью продукта Solar AddVisor.

Кто-то горит на работе, а кто-то выгорает

Бывают моменты, когда хочется захлопнуть рабочий ноутбук и громко закричать на всю Вселенную: «За что мне это?!?!» И думаешь: «Всё, я выгорел, надо увольняться». Это состояние длится до следующего утра, когда вдруг удается найти, казалось бы, неуловимую ошибку в коде или общий язык с коллегой, с которым вчера произошел конфликт. Теперь в голове другие мысли: «Нет, еще повоюем!» Вот из таких взлетов и падений состоит рабочий процесс, – что абсолютно нормально. Плохо лишь то, что есть ряд факторов, которые делают этапы фрустрации более затяжными, а мысли об увольнении более частыми.

Cостояние выгорания, апатии может привести к проблемам со здоровьем, не говоря уже о падении эффективности труда. Подробнее о синдроме эмоционального выгорания написано здесь. Одна из задач Solar addVisor — диагностика и предотвращение этого опасного синдрома. В своей статье расскажу о приемах, которые мы используем, и о том, как проверяем, насколько точны наши расчеты. Спойлер: если хочешь узнать, не выгорел ли сотрудник, спроси его об этом! Но не в лоб.

Как найти грань между вовлеченностью и перегрузкой?

Solar addVisor анализирует две группы негативных факторов. Первая — это условия, которые при их длительном влиянии могут привести к выгоранию: переработки, работа в выходные, расходование времени на встречи. Вторая может говорить о нарастающей апатии, равнодушию к работе: сокращение рабочего времени, длительные перерывы в течение рабочего дня, рост непродуктивной активности. На основе значений этих показателей выводится интегральный индекс выгорания, принимающий значение от 0 до 100. Чем он выше, тем больше вероятность, что у человека появились проблемы с work-life-balance. Важно отслеживать и длительность наблюдения высокого индекса. Например, если показатель перегрузок находится на пике продолжительное время, повышается риск переростания вовлеченности в рутинные переработки.

Мы регулярно контролируем эти цифры. Но как на больших массивах данных проверить, насколько верно они отражают реальную картину? В декабре 2023 года в одном крупном подразделении нашей компании был проведен опрос, в котором участвовало 74 человека. Коллеги отвечали на вопросы о том, как они оценивают свои рабочие успехи, уровень взаимодействия с командой, результативность достижения поставленных целей. Для оценки была предложена шкала из нескольких вариантов: от «все плохо» до «все отлично». По итогам опроса мы увидели, с каким настроением коллеги подошли к завершению года.

Такой материал дает достаточно правдоподобный срез, если не считать отдельные аномалии вроде шутников, у которых всегда «все плохо». Мы решили наложить результаты этого опроса на данные по индексу выгорания из addVisor за 2023 год, чтобы проверить, как коррелируют между собой субъективные ощущения работников и суровая математическая модель.

Считаем, сопоставляем, моделируем 

Данные были проанализированы несколькими способами. В первую очередь мы подсчитали коэффициент корреляции:

1. На основе опросника выведен индекс самочувствия для каждого работника. На основе опросника выведено три индекса самочувствия – физического и нравственного здоровья сотрудников: «все отлично», «прокатит», «все плохо».
2. Каждому из этих индексов самочувствия сопоставлен средний показатель индекса выгорания сотрудников, посчитанный на основе динамики индекса выгорания за год:

Таким образом, коэффициент корреляции индексов самочувствия и выгорания составил 0,92, то есть показал устойчивую линейную связь.

Разумеется, возникает закономерный вопрос: а не случайное ли это совпадение? Поэтому вторым этапом было решено смоделировать значения индекса самочувствия исходя из факторов, влияющих на значения индекса выгорания. Это было сделано так:

1. Собран датасет, содержащий данные по признакам выгорания из Solar addVisor и метку индекса самочувствия по выбранным работникам.
2. Данные были поданы на вход модели классификации Catboost в разных вариациях. В результате работы модели было достоверно определено самочувствие 61 работника (83,5%). Основные ошибки были допущены при выборе между классами «Все хорошо» и «Прокатит», что не так критично, как при ошибочном присвоении метки «Все плохо»:

Матрицу ошибок следует читать так: по горизонтальной оси отложены фактические значения классов. По вертикальной — те, что предсказала модель. Если мы хотим узнать, какую долю ответов (из числа всех) «Все плохо» модель спрогнозировала верно, мы смотрим на поле пересечения нижней строки и последнего столбца. Чем больше значение чисел по диагонали слева направо, тем выше точность модели.

В ходе исследования были выявлены важные тенденции: 

1. Критичный уровень индекса выгорания варьирует в зависимости от отдела, в котором работает человек. Например, для отдела разработки он выше, чем для отдела продуктовой аналитики. Приведу пример: средний индекс выгорания наших разработчиков держится на уровне 13,23% при максимальных 48%. У аналитиков средний уровень — 7,63% при максимальных 36%. И это не значит, что у них легче работа — скорее, дело в ее специфике. Хотя абсолютные цифры тоже имеют значение: в 2022 году мы проводили исследование, в котором в том числе обнаружили повышенный риск увольнения именно «технарей» нашей компании.
    
2. Наиболее существенными признаками, по которым модель определяла индекс самочувствия, стали переработки (вес 11,67%) и работа в выходные (вес 8,58%).

Делаем выводы и пушим в прод (но не сразу)

Давайте подытожим основные идеи:

1. Для валидации расчетного индекса выгорания можно использовать комплексную оценку самочувствия самих работников.
    
2. Между личной оценкой состояния и показателями выгорания есть связь.
    
3. Учитывая отдел, в котором работает сотрудник, можно предположить, что расчетные показатели выгорания будут информативны примерно в 80% случаев. Чем больше будет рассматриваемый период, тем, по идее, точнее оценка.
    
4. Комбинация показателей «Оценка самочувствия» и «Индекс выгорания» даст более точную базу при формировании системы сигналов и рекомендаций руководителю. Внедрение в продукт мини-опросников на эту тему — одна из стратегических задач команды addVisor.

Добавим ложку трезвости в бочку позитива. Безусловно, одного исследования на эту тему мало. Мы планируем сделать второй заход в этом году, увеличив охват. Выясним, насколько различаются критичные значения индекса выгорания для разных должностей и отделов, предложим методику определения порогов внимания к этим значениям и вернемся к вам с новостями!