Эффективность от обучения персонала. Оценка эффективности обучения персонала на предприятии

Любой HR понимает, что нет смысла проводить обучение без дальнейшей оценки его эффективности.С точки зрения бизнеса измерение эффективности методов развития придает финансовый смысл данным мероприятиям, позволяет компании измерять рентабельность инвестиций. Но есть и другие причины.

Оценка эффективности обучения укрепляет веру сотрудников в необходимость применения знаний, т.к. дает понимание важности изменений для руководства (сродня эффекту контроля). А с точки зрения менеджера по обучению (развитию) персонала процедура оценки определяет дополнительные потребности в обучении, проверяет методологию обучения и позволяет оценивать прогресс.

Благодаря анализу эффективности развития удается выявить устаревшие методы обучения и искоренить работу по типу «процесс ради процесса».

Способы оценки эффективности методов развития

Персонал оценивают в двух направлениях: количественные и качественные показатели .

Нельзя сказать, что какой-то из показателей менее важен, особенно когда целью развития персонала становится повышение результативности работы, следовательно, и прибыли компании. Если не оценивать оба параметра, как правило, инвестиции на обучение становятся не более чем благотворительностью. Честно говоря, в таком случае более результативно было бы перевести эти деньги, например, в фонд спасения животных, так от них было бы больше толку.

Процесс анализа результата придает смысл процедуре обучения, ведь именно для достижения результатов оно и затевалось.

Методы оценки качественных показателей

Вопросник для оценки после обучения

Это один из самых простых и популярных методов. Обычно он строится на серии вопросов, которые задают учащимся.

Например: что они думают о преподавателе, материале, стиле презентации и о чем-либо еще, связанном с программой обучения. Вопросник легко использовать и он дает немедленные результаты.

Сравнение до и после

Данный метод предполагает оценку знаний сотрудников до применения метода развития, а затем выполнение аналогичного теста после тренировки.

При разработке таких оценочных тестов следует иметь в виду ряд правил:
1. Вопросы должны быть короткими.
2. Тест не должен занимать более 10-20 минут.
3. Вопросы необходимо сосредоточить на основных задачах курса. Это позволит четко увидеть, какая информация была воспринята участниками. Но тут важно быть аккуратным в суждениях, ведь материал может быть не воспринят как по причине сотрудника (например, прослушал), так и по вине тренера (не расставил акценты должным образом).
4. Тест необходимо сформулировать на простом и понятном языке.
5. Продуктивнее смешивать истинные, ложные вопросы и с вариантами выбора.

Текущая оценка

Метод сочетает оценку до и после занятий. Как правило, такую оценку проще проводить тренеру или менеджеру по обучению. По завершению информационного блока участникам задают несколько открытых вопросов.

Например:

Такой опрос позволяет менеджеру по обучению корректировать программу, опираясь на ее воспринимаемость: заменять темы или возвращаться к пройденному материалу. Данный подход позволяет получить максимальную отдачу как менеджеру по обучению (в виде результата), так и обучающимся (в виде знаний и умений). При многодневном обучении оценку поводят в конце дня, чтобы внести необходимые изменения в работу группы на следующий день.

Анализ по модели Киркпатрика

Методика оценки Карпатрика уже давно и успешно используется многими HR-ами для изучения эффективности развития персонала. Модификаций и способов применения методики очень много, но за основу берется последовательное измерение:

1. Реакции на обучение.
Оценивается насколько программа курса устраивает обучающихся, как они реагируют на обучение и как планируют использовать знания в работе.

Практика показывает, чем больше мотивация на обучение, тем сильнее реакция на него и выше его оценка сотрудниками. Максимальной мотивации можно достичь, давая прозрачное разъяснение важности изучаемого блока для реализации основного функционала. Если сотрудник слабо понимает силу влияния того или иного процесса на работу, то положительной реакции ждать не стоит.

2. Усвоения материала.
Этап предполагает изучение мнений о доступности и конкретности пройденного курса обучения.

3. Перемены поведения.
Важно понимать, как меняется деятельность людей после обучения, применяются ли новые методики, правильно ли используются, в нужное ли время.

4. Улучшения результата.
Во время оценки необходимо понять, как обучение улучшило показатели бизнеса: понимают и предпринимают ли сотрудники действия, необходимые для достижения результата, владеют ли они всеми знаниями, умениями и навыками для реализации этих действий и осознают ли важность их применения, хотят ли выполнят данные действия.

Опираясь на теорию Кирпатрика, можно создать матрицу оценки эффективности любого метода развития персонала.

Методы оценки количественных показателей

Обучение – достаточно дорогое удовольствие, оно потребляет ресурсы времени, оборудования и персонала. Именно поэтому оценка окупаемости должна быть неотъемлемой частью любой учебной программы. В этом вопросе также поможет модель Кирпатрика. Ее доработали и добавили еще один этап – окупаемость обучения (ROI).

ROI рассчитывает так: (выгоды – затраты)/затраты * 100%

Пример расчета^
Допустим, для обучения сотрудников был нанят тренер. Стоимость его работы 30000 рублей. Для обучения потребовался инвентарь на 3000 рублей. Аренда аудитории для тренинга обошлась еще в 5000 руб. Итого расход составил 38000 руб. За первый месяц после обучения, специалисты научились продавать дополнительные услуги и вместо привычных 50 000руб. получили оплату счетов на сумму 100 000 руб.Таким образом, прибыль от обучения составила 50 000 руб.

В данном случае коэффициент окупаемости рассчитываете так: (50 000 – 38 000)/38000 = 0,315. Для того чтобы понять процент, умножим на 100. Таким образом, коэффициент окупаемости тренинга, начиная с первого месяца, составил 31%. Получается, если суммы оплат дополнительных услуг клиентами не будут уменьшаться и в последующие месяцы, то тренинг окупится примерно за 3 месяца, а дальше будет приносить прибыль.

Интерпретировать показатели ROI достаточно просто, если результат получился больше 100% , то вложения окупаются.

Каждый руководитель определяет для себя самостоятельно, какую окупаемость и за какой промежуток времени считает приемлемой.Для более точных расчетов в расходы можно добавить стоимость упущенной выгоды за время обучения и оплату труда за этот же период.

Ведь во время обучения сотрудники не приносят прибыль, но получают привычный оклад. Таким образом, можно сравнивать эффективность разных программ обучения и выбирать для себя ту, которая имеет наибольший процент возврата.

Дополнительные критерии оценки эффективности обучения персонала

Количественной оценке может подвергаться не только финансовая составляющая. Оценка эффективностиуместнав различных показателях, рассмотрим некоторые из них.

Анализ процента брака продукции, количества персонала и текучести кадров. В конечном итоге данные показатели ведут к анализу снижения затрат на данные процессы.

Продолжительность применения знаний– немаловажный параметр оценки эффективности развития персонала. Чем дольше коллектив использует новинки в работе, тем дольше держится положительный эффект. Следовательно, после оценки можно сделать выбор в пользу той программы, которая оставляет после себя более длинный хвост.

Изменение скорости выполнения задач или реакции на внеплановые ситуации. Статистика говорит, что многие компании привыкли работать в форс-мажорах, но не все с ними справляются должным образом: кого-то такие ситуации на долго выбивают из колеи. Важно оценить понижение затрат на последствия из-за ошибок.

Если организация в ходе своей деятельности активно использует оборудование, то оно периодически приходит в негодность. Увеличение срока службы оборудования в результате применения эффективных методов развития персонала также подлежит оценке.

Обучение без анализа его результатов также бессмысленно, как оценка окупаемости без дальнейших действий по улучшению. А оценка качественных показателей поможет понять, какие методы необходимо скорректировать, а возможно и полностью заменить.

Путем расчета затрат на обучение и сопоставления их с финансовыми выгодами для компании от работы обученного сотрудника проверка действенности обучения может быть расширена до его оценки. При этом простота и точность оценки сильно варьируются:

• - затраты на обучение с отрывом от основной работы гораздо проще оценить, чем затраты на обучение без отрыва от производства;
• - финансовые выгоды обучения гораздо проще вычислить, если речь идет о физическом, а не об умственном труде;
• - достаточно легко оценить издержки неадекватного обучения, например, стоимость брака, испорченных исходных материалов, жалоб клиентов, сверхурочной работы для исправления ошибок;
• - польза от обучения выходит за пределы простого повышения эффективности работы .

Значительные трудности могут возникнуть при попытке оценить эти выгоды в финансовых показателях.

Оценка эффективности обучения является важным этапом в работе по организации обучения персонала организации. Можно выделить следующие цели определения эффективности:

• - узнать, изменился ли у сотрудников настрой на работу;
• - оценить глубину усвоенных сотрудником знаний;
• - понять, рационально ли вложены деньги в обучение сотрудников;
• - оценить экономический результат, который получила компания, проведя обучение персонала.

Выбор времени оценки может влиять на конечный результат обучения:

• - оценка перед началом программы обучения;
• - оценка в последний день тренинга;
• - оценка через некоторое время после проведения обучения.

В последнее время все чаще затраты на профессиональное обучение рассматриваются как капиталовложения в развитие персонала организации. Эти инвестиции должны принести отдачу в виде повышения результативности труда работников, получения дополнительной прибыли.

Экономическая эффективность обучения работников оценивается на основе анализа общей суммы и структуры затрат и анализа результатов реализации конкретных программ обучения. Эффективность обучения определяется аналитическим или экспертным путем, сопоставлением многих элементов согласно схеме (рисунок 1) .

Оценка эффективности программ обучения является заключительным этапом управления развитием персонала в современной организации. Различают количественные и качественные методы оценки результатов обучения. При количественном методе результаты обучения оцениваются по таким показателям, как:

• - общее число обучающихся;
• - численность обучающихся по категориям;
• - виды форм повышения квалификации;
• - сумма денежных средств, выделенных на развитие.

Количественный учет результатов обучения необходим для подготовки социального баланса предприятия, но он не позволяет оценить эффективность профессиональной подготовки, ее соответствие целям предприятия.

Качественные методы оценки результатов повышения квалификации позволяют определить эффективность обучения и его влияние на параметры производства. Выделяют четыре основных способа качественной оценки результатов профессионального обучения:

• 1. Оценка способностей и знаний в процессе или в конце курса обучения.
• 2. Оценка профессиональных знаний и навыков в условиях производственной ситуации.
• 3. Оценка влияния обучения на параметры производства.
• 4. Экономическая оценка.

С помощью первого способа можно определить степень овладения профессиональными знаниями и навыками. В процедуре оценки участвуют, как правило, только преподаватели и слушатели; здесь может использоваться классическая форма экзамена, «проверочные ситуации» и т.д.

Оценка профессиональных знаний и навыков в условиях производственной ситуации проводится непосредственным руководителем обучавшегося через определенный промежуток времени (полгода, год) после обучения, в течение которого полученные знания интегрируются с уже имеющимися, выявляется их ценность, устраняется эффект «энтузиазма», который может проявиться непосредственно по завершении обучения. С помощью этого способа можно определить степень практического использования полученных знаний .

Определение влияния обучения на параметры производства может рассматриваться как основной оценочный уровень, связывающий результаты обучения с требованиями функционирования и развития производства. Показатели влияния обучения на параметры производства могут быть выражены в физических величинах численности персонала, коэффициентах (отходов, брака, текучести кадров) и т.д. Однако в настоящее время не разработаны комплексные методы анализа, которые позволяют точно определить степень влияния обучения на каждый отдельный фактор.

Экономическая оценка результатов обучения основана на целесообразности осуществления инвестиций в человеческий капитал. В качестве критерия целесообразности осуществления инвестиций в человеческий капитал принимается размер приращения дополнительного чистого дохода после реализации программ обучения. В этом случае :

• - если приращение больше нуля (D
• - если D > C, то инвестиции в данную программу являются нецелесообразными и необходимо искать другие сферы приложения капитала.

Целесообразность программы по обучению персонала прямо пропорциональна сроку возможного использования полученных знаний.

Некоторые программы обучения создаются не для выработки конкретных профессиональных навыков, а для формирования определенного типа мышления и поведения. Эффективность такой программы довольно сложно измерить напрямую, поскольку ее результаты рассчитаны на долговременный период и связаны с поведением и сознанием людей, которые не поддаются точной оценке. В подобных случаях используются косвенные методы:

• - тесты, проводимые до и после обучения и показывающие, насколько увеличились знания обучающихся;
• - наблюдение за поведением прошедших обучение сотрудников на рабочем месте;
• - наблюдение за реакцией обучающихся в ходе программы;
• - оценка эффективности программы самими обучающимися с помощью анкетирования или в ходе открытого обсуждения.

Критерии оценки эффективности обучающих программ должны быть установлены до обучения и доведены до сведения обучающихся, обучающих и управляющих процессом профессионального обучения в организации. После завершения обучения и проведения его оценки результаты сообщаются в службу управления персоналом, руководителям обучавшихся сотрудников и самим сотрудникам, а также используются при дальнейшем планировании профессионального обучения.

С помощью такой информации возможно совершенствовать учебные планы, сделав их более соответствующими поставленным целям, сконцентрировать внимание на дальнейших потребностях в обучении конкретных сотрудников.

Исследователи выделяют два наиболее известных метода оценки эффективности обучения :

• - ROI (Return On Investment, Fillips, 1996);
• - 4-уровневая модель, разработанная Дональдом Кирпатриком.

ROI (от англ. return on investment) - финансовый коэффициент, иллюстрирующий уровень доходности или убыточности бизнеса, учитывая сумму сделанных в этот бизнес инвестиций. ROI обычно выражается в процентах, реже - в виде дроби. Этот показатель может также иметь следующие названия:

• - прибыль на инвестированный капитал,
• - прибыль на инвестиции,
• - возврат,
• - доходность инвестированного капитала,
• - норма доходности.

Показатель ROI является отношением суммы прибыли или убытков к сумме инвестиций. Значением прибыли может быть процентный доход, прибыль / убытки по бухгалтерскому учёту, прибыль / убытки по управленческому учёту или чистая прибыль / убыток. Значением суммы инвестиций могут быть активы, капитал, сумма основного долга бизнеса и другие выраженные в деньгах инвестиции .

Дональд Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:

• - Определение потребностей.
• - Постановка целей.
• - Определение предметного содержания.
• - Выбор участников обучения.
• - Формирование оптимального расписания.
• - Подбор соответствующего помещения.
• - Подбор соответствующих преподавателей.
• - Подготовка аудиовизуальных средств.
• - Координация программы.
• - Оценка программы.

• - Оправдать существование отдела обучения, показав, какой вклад делает этот отдел в достижение целей и задач организации.
• - Принять решение о том, продолжать или прекратить тренинговую программу.
• - Получить информацию о том, как улучшить тренинговую программу в будущем.

Киркпатрик считает, что в большинстве случаев оценка проводится для того, чтобы понять, как повысить эффективность тренинга, какими способами можно его улучшить. В связи с этим предлагается ответить на следующие 8 вопросов:

• - В какой мере содержание тренинга соответствует потребностям участников?
• - Является ли выбор преподавателя оптимальным?
• - Использует ли преподаватель наиболее эффективные методы для поддержания интереса участников, передачи им знаний, формирования у них навыков и установок?
• - Являются ли условия для проведения обучения удовлетворительными?
• - Устраивает ли участников расписание занятий?
• - Способствуют ли аудиовизуальные средства улучшению коммуникации и поддержанию интереса участников?
• - Была ли координация программы удовлетворительной?
• - Что еще может быть сделано для улучшения программы?

Отметим, что все вопросы кроме первого и последнего сформулированы автором как закрытые (предполагающие ответы «да» или «нет»). С точки зрения формулирования вопросов задания для проведения оценки такая форма вопросов хороша далеко не всегда.

Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга - изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты «листами для улыбки» (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности. Более сложная и глубокая оценка не проводится, потому что:

• - ее не считают срочной или важной,
• - никто не знает, как ее провести,
• - руководство не требует этого,
• - люди чувствуют себя в безопасности и не видят нужды «копать» глубже,
• - есть много вещей, которые для них более важны или которыми они предпочитают заниматься .

Четыре уровня, по Киркпатрику, определяют последовательность проведения оценки обучения (тренинга). Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию. Ни один из уровней не может быть пропущен просто потому, чтобы сконцентрировать на том, что тренер считает наиболее важным» (надо заметить, что многие специалисты не согласны с этим утверждением Киркпатрика). Вот знаменитые четыре уровня по версии автора:

• 1. Реакция (Reaction);
• 2. Научение (Learning);
• 3. Поведение (Behavior);
• 4. Результаты (Results).

Реакция. Оценка на этом уровне определяет, как участники программы реагируют на нее. Киркпатрик называет это оценкой удовлетворенности потребителей. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Дело в том, что участие в таких тренингах бывает обязательным. У людей просто нет выбора. Руководство компании определяет необходимость данного тренинга и обязывает сотрудников принимать в нем участие. Казалось бы, в этом случае, нужно говорить о реакции руководства. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.

Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.

Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения .

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

Поведение. На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. Киркпартик рекомендует в этих случаях кроме оценки реакции и научения проверить наличие следующих условий:

• - Желание участников изменить поведение.
• - Наличие у участников знаний о том, что и как делать.
• - Наличие соответствующего социально-психологического климата.
• - Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов «климата»:

• - запрещающий,
• - обескураживающий,
• - нейтральный,
• - поддерживающий,
• - требующий.

Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата - вовлечение руководителей в разработку учебных программ .

Результаты. К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Киркпатрик настаивает на том, что результаты не следует измерять в деньгах.

Он считает, что перечисленные выше изменения могут, в свою очередь, приводить к увеличению прибыли. Киркпатрик пишет: «Меня разбирает смех, когда я слышу, что профессиональные тренеры должны уметь показывать выгоду для клиента в терминах возврата на инвестиции в тренинг. То же самое я думаю о связи между тренинговыми программами и прибылью. Вы только представьте себе все факторы, которые влияют на прибыль! И можете добавить их к списку факторов, влияющих на возврат на инвестиции».

По мнению Киркпатрика, оценка на этом уровне - самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

• - если возможно, использовать контрольную группу (не проходившую обучение),
• - проводить оценку через некоторое время, чтобы результаты стали заметны,
• - проводить оценку до и после программы (если это возможно),
• - провести оценку несколько раз в ходе программы,
• - сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

Чаще всего на практике используется метод, который соединяет в себе элементы этих двух моделей оценки обучения. Смысл данного метода заключается в следующем: последовательно оцениваются эффекты влияния обучающих интервенций на каждом уровне.

Уровни оценки эффективности обучения

Можно сделать вывод, что оценка эффективности обучения персонала является центральным моментом управления профессиональным обучением в современной организации.

Оценка эффективности обучения является важным этапом процесса обучения персонала. Ее смысл состоит в том, чтобы установить, какую пользу от обучения работников получает организация, или выяснить, является ли одна форма обучения более эффективной, чем другая. Оценка эффективности обучения работников предприятия позволяет постоянно работать над повышением качества обучения, избавляясь от таких учебных программ и форм обучения, которые не оправдали возложенных на них надежд. Российские руководители часто не обращают должного внимания на эффективность обучения персонала. Основная причина, по которой предприятие должно оценивать эффективность учебных программ, - это выяснение того, в какой степени в итоге были достигнуты цели обучения. Вторая причина, по которой оцениваются обучающие программы, - это необходимость убедиться в том, что изменения рабочих показателей обучающихся произошли именно в результате обучения. Процедура оценки эффективности обучения обычно состоит из четырех этапов:

• 1. Определение целей обучения. Процесс оценки эффективности обучения начинается уже на этапе планирования обучения, при определении его целей. Цели обучения задают стандарты и критерии оценки эффективности учебных программ.
• 2. Сбор данных до обучения. Эта информация отражает уровень знаний, навыков и особенности рабочих установок, которые работники имели до обучения. Эти показатели могут быть трех типов: показатели, характеризующие профессиональные знания, установки и рабочие навыки работников; количественные показатели работы отдельных работников, подразделений или организации в целом (уровень производительности, финансовые показатели, количество поступивших жалоб или претензий покупателей и т.п.); качественные показатели работы отдельных работников, подразделений или организации в целом (качество товаров и услуг, удовлетворенность потребителей, удовлетворенность работников компании, уровень трудовой морали и т.п.).
• 3. Сбор данных в процессе обучения и после обучения (по тем же показателям и с использованием тех же инструментов, что и до начала обучения).
• 4. Сравнение данных, полученных до, во время и после обучения. К примеру, если основной целью программы обучения было повышение производительности труда, а после завершения обучения производительность труда осталась на том же уровне, который был до обучения, то перед организацией встает необходимость либо внесения значительных изменений в данную программу, либо полного отказа от нее. Если возможно, также сравниваются производственные показатели работников, прошедших обучение, с производственными показателями работников, не проходивших обучение (контрольной группы).

Оценка эффективности учебы требует больших затрат времени и достаточно высокой квалификации специалистов, проводящих эту оценку, поэтому многие организации отказываются от такой оценки и просто полагаются на то, что любое обучение работников приносит организации некоторую пользу и в конечном счете оправдывает себя. Эффективность проведенной учебы не всегда можно оценить достаточной точно. Во-первых, возможен отсроченный эффект, то есть обучение даст результаты не сразу после его завершения, а только по прошествии определенного времени. Возможен также кумулятивный эффект, когда достаточно высоких результатов можно ожидать после серии тренингов. И, кроме того, результаты работы отдельных работников, подразделений или всей компании могут улучшиться по причинам, не имеющим никакого отношения к обучению.

Оценки эффективности профессионального обучения делятся на послетренинговые и долгосрочные. Первые измеряют эффект учебной программы непосредственно после ее завершения, вторые - после истечения определенного промежутка времени - например, на IBM принята практика тестирования работников, прошедших обучение, через 6 и 9 месяцев после его завершения.

Чтобы получить всестороннюю картину эффективности проведенного обучения, целесообразно использовать как послетренинговую, так и долгосрочную ее оценку. Последняя дает возможность оценить долгосрочный эффект учебной программы.

Если обучение направлено на формирование определенного типа мышления и поведения сотрудников, а не на выработку конкретных профессиональных навыков, то оценка его эффективности представляется еще более сложной задачей, поскольку результаты таких программ рассчитаны на долговременный период и связаны с поведением и сознанием людей, которые не поддаются точной оценке. В подобных случаях можно использовать следующие методы:

профессиональные и психологические тесты, проводимые до и после реализации программы обучения и показывающие как изменились знания и образ мыслей обучающихся;

наблюдение за реакцией сотрудников в процессе обучения;

оценка эффективности программы самими обучающимися с помощью анкетирования, опросов, обсуждений, бесед.

Результаты оценки эффективности проведенного обучения должны быть обязательно доведены до сведения как самих обученных, так и их непосредственным руководителям и высшему руководству компании. Оценка эффективности профессионального обучения завершает цикл обучения организации и возвращает ее к исходному этапу.

В идеале оценка должна подтвердить целесообразность проведения профессионального обучения и продемонстрировать, каких результатов для организации оно позволило достичь. Эта информация в дальнейшем должна быть проанализирована и использована при подготовке и проведении аналогичных учебных программ в будущем. Такая практика позволяет постоянно работать над повышением эффективности обучения и устранять причины его неэффективности.

Важнейшим аспектом построения эффективного обучения в организации является построение качественной системы оценки эффективности обучения. Отсутствие такой системы может привести:

к значительному снижению качества обучения;

отсутствию эффективных средств управления обучением;

общему снижению эффективности обучения.

Существующие модели оценки эффективности обучения

Наибольшее распространение при проведении оценки эффективности обучения в организации сегодня получила модель оценки обучения, базирующаяся на работах Киркпатрика и Варра, Берда и Рэкхэма. Данная модель оценки эффективности обучения хорошо зарекомендовала себя на практике.

Модель Киркпатрика

Киркпатрик рассматривает оценку эффективности обучения как важнейший элемент цикла проведения обучения, включающего в себя следующие этапы:

• определение потребностей;

  постановка целей;

  определение предметного содержания;

  выбор участников обучения;

  формирование оптимального расписания;

  подбор соответствующего помещения;

  подбор соответствующих преподавателей;

  подготовка аудиовизуальных средств;

  координация программы;

  оценка программы

Киркпатрик указывает три основные причины проведения оценки:

необходимость оправдания существования отдела обучения, показав, какой вклад делает этот отдел в достижение целей и задач организации;

формирование механизма принятия решения о том, как улучшить программу обучения в будущем;

формирование механизма получения информации о том, как улучшить программу обучения в будущем.

Уровни оценки эффективности обучения

Модель оценки эффективности обучения предполагает четыре уровня оценки эффективности обучения:

уровень 1: реакция слушателей на программу обучения;

уровень 2: оценка знаний и опыта, полученных слушателем по программе обучения;

уровень 3: оценка поведения на рабочем месте;

уровень 4: оценка влияния программы обучения на деятельность организации.

Уровень 1. Реакция слушателей на программу обучения.

Первый уровень модели оценки эффективности обучения определяет, как было воспринято слушателями проводимое обучение. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. Наиболее эффективным средством оценки эффективности обучения на данном уровне является проведение анкетирования.

Используемые анкеты содержат широкий круг вопросов по всем аспектам обучения, в том числе:

насколько важны поставленные цели;

как слушатели оценивают качество проводимого обучения;

насколько эффективны используемые средства обучения;

какие темы дополнительно они бы хотели включить в программу обучения;

насколько комфортно слушателям было работать;

как было организовано питание;

как было организовано проживание;

В результате анкетирования можно оценить:

насколько слушатели удовлетворены качеством обучения и насколько оно соответствует их ожиданиям;

насколько хорошо обучение было организовано ;

какие дополнительные ожидания у них есть.

Получаемые в результате оценки результаты показывают степень удовлетворения обучаемых от проведенного обучения.

Уровень 2. Оценка знаний и опыта, полученных слушателем по программе обучения.

Цель 2-го уровня максимально эффективно оценить, были ли во время обучения достигнуты ее цели. Наиболее распространенным средством, используемым на данном уровне, является тесты по проверке знаний и навыков. Помимо тестов используются более сложные средства проверки, такие, как тренажеры, симуляции, сложные упражнения и т.п.

Тестирование слушателей обучения целесообразно проводить до и после обучения. Проведение двойного тестирования позволит оценить, как изменилась компетенция слушателей в результате обучения. Проведя анализ всех оценок, полученных слушателями, можно оценить насколько эффективно проведенное обучение.

На втором уровне производится оценка, насколько обучение позволило решить поставленные педагогические задачи. Однако, на втором уровне не производится оценка насколько обучение эффективно с точки зрения функционирования организации.

Уровень 3. Оценка поведения на рабочем месте.

Третий уровень модели оценки эффективности Киркпатрика отвечает за сбор информации, позволяющей оценить, как проводимое обучение, влияет на поведение слушателей на рабочих местах. С точки зрения организации это является ключевым в оценке эффективности обучения. Именно на этом уровне производится оценка, какую практическую пользу от обучения получает организация. Смогли ли слушатели на практике применить полученные ими в ходе обучения навыки, знания и умения.

Оценку эффективности обучения на данном уровне целесообразно проводить несколько раз в течение 3 – 6 месяцев после окончания обучения. За это время слушатели смогут продемонстрировать, как они применяют полученные ими во время обучения знания. Часто исследования на данном уровне проводятся с использованием специальных “карт поведения”, которые заполняют все участники обучения, а также специалисты организации, которые могут оценить, как отразилось на эффективности работы проведенное обучение.

Уровень 4. оценка влияния программы обучения на деятельность организации.

Даже если оценка эффективности обучения на третьем уровне показала, что полученные в результате обучения навыки, знания и умения успешно применяются слушателям при выполнении ими их служебных обязанностей, это вовсе не означает, что проведенное обучение принесло реальную пользу организации.

Цель оценки, проводимой на 4-м уровне, ответить на вопрос: насколько обучение, проводимое в организации, полезно?

В первую очередь необходимо ответить, каким образом проводимое обучения оказывает влияние на ключевые показатели деятельности компании.

Оценка эффективности обучения на 4-м уровне производится крайне редко из-за трудности получения показателей эффективности деятельности организации и оценки влияния на нее результатов обучения.

Вот некоторые из возможных показателей эффективности 4-го уровня:

обучение технологиям продаж:

увеличение объема продаж;

увеличение клиентской базы.

обучение техническим навыкам:

уменьшение количества обращений в службу поддержки;

уменьшение времени выполнения работы.

Очень часто оценку, проводимую на 4-м уровне разделяют на два подуровня. В рамках первого подуровня производится оценка, как обучение влияет на производственные показатели компании. На втором подуровне производится оценка экономической эффективности проводимого обучения.

Дистанционное обучение и оценка эффективности обучения

Дистанционное обучение (электронное обучение) является частью общего обучения проводимого в организации. И соответственно оценивается наряду с другими формами обучения, применяемыми в компании, с использованием тех же методов оценки. Однако, необходимо отметить, что применение технических средств, используемых при проведении дистанционного обучения, позволяет значительно упростить сбор информации для проведения оценки, а также ее последующий анализ.

Не останавливаясь на процессе организации и проведения обучения, полностью определяемом обучающей организацией, рассмотрим существующие подходы к оценке результативности проведенного обучения. Существует несколько всемирно признанных моделей [Королёва О.Б. Подготовка персонала. Оценка результативности подготовки персонала // Методы оценки соответствия (РИА Стандарты и качество) №3] - четыре уровня Киркпатрика; возврат на инвестиции Филипса, целевой подход Тайлера, модель Скривенса, нацеленная на результат, модель Стафлебима CIPP, которая расшифровывается следующим образом: контекстное оценивание, оценивание на входе, оценивание процесса и оценивание продукта, а также другие модели.

Модель Киркпатрика.

С 1959 года для оценки результативности обучения широко применяется Модель Киркпатрика, предусматривающая четыре уровня оценки:

Уровень 1. Реакция - понравилось ли обучение участникам и почему (чаще применяется форма анкетирования как участника обучения, так и его руководителя.

Уровень 2. Усвоение (обучение) - что нового и полезного было усвоено в процессе обучения.

Уровень 3. Поведение - что изменилось в поведении обучавшегося (применение полученных знаний и навыков).

Уровень 4. Результат - повлияло ли на эффективность организации (сокращение затрат, уменьшение сроков, улучшение качества продукции (услуг)).

К сожалению, такая модель не позволяет принимать информированное решение о вложении средств до того, как эти средства не будут вложены и не будет виден результат тренинга. Только так можно ответить на вопрос: «Стоил ли того тренинг?». Если ответ «нет», то в любом случае уже слишком поздно и деньги уже потрачены.

Уровень 4 интересен, прежде всего, для акционеров и руководителей, которым важно, чтобы все, что отвлекает сотрудников организации от выполнения основных обязанностей, было оправдано. Поэтому для них оценка эффективности тренинга необходима, чтобы принять решение о целесообразности вложения денежных средств в это мероприятие. Правда полная оценка займет очень много времени и на повседневную работу его не хватит. Поэтому необходимо установить баланс между обычной работой и проведением оценки эффективности тренинга.

Модель Филипса.

Уровень 4 Модели Киркпатрика не дает ответ на вопрос, стоил ли того тренинг. В 1991 году Джек Филипс добавил в эту систему 5-й уровень с названием «Возврат на инвестиции (R01)». Вопрос, который задается на этом уровне: оправдал ли тренинг вложенные в него средства? Формула расчета проста:

R01 = Доходы от обучения работников/Затраты на обучение

Существенным недостатком этой формулы является трудность определения доходов от обучения, так как в явном виде эти доходы не определяются, и, их приходится считать различными косвенными способами. Время расчёта R01 при этом весьма велико.

Модель Тайлера

Тайлер считает, что одной из главных проблем в области образования является неконкретное, расплывчатое определение целей образовательных программ. Под «целями» понимаются задачи обучения. Этот целевой подход лежит в основе процесса оценки Тайлера, который состоит из следующих шагов:

• 1. Постановка четких целей и задач.
• 2. Классификация этих целей и задач.
• 3. Определение целей и задач в терминах поведения.
• 4. Поиск ситуаций, в которых можно проверить, насколько цели достигнуты.
• 5. Определение техники оценивания.
• 6. Сбор данных, касающихся эффективности обучения.
• 7. Сравнение данных об эффективности обучения с данными об эффективности достижения желаемых моделей поведения.

Различия данных должны вести к внесению изменений в программу, после чего цикл оценивания повторяется.

Это очень напоминает уровень 3 Модели Киркпатрика, только гораздо подробнее. Оценивание непосредственно обучения начинается где-то между шагами 3 и 5. Желательно также провести предварительное оценивание по шагам 1-3. На шаге 7 можно сравнить модели поведения после проведения мероприятия с теми, которых планировалось добиться обучением, а не с теми, которые были до обучения.

Тем не менее, поведенческие цели и задачи в рамках этой модели практически не связаны с результатами, влияющими на эффективность обучения по R01 (возврат на инвестиции). О влиянии на модели поведения других факторов, таких как культура, структура, цели и т.д., у Тайлера ничего не сказано.

Модель Скривенса.

Модель Скривенса, нацеленная на результат, требует внешнего оценщика, не осведомленного о поставленных перед обучением целях и задачах. Он должен определить ценность программы по итогам обучения.

С одной стороны это удобно, в частности, когда упор делается на эффективность работы компании - проверить эффективность программы проще, когда перед глазами эффективность отдельного сотрудника или эффективность достижения поставленных целей. Но в этом случае оценка может быть необъективной и не в должной мере подробной. Эта модель по определению не может предсказать результаты обучения или использоваться для расчета коэффициента ROI, поскольку практически не имеет отношения к определению истинных причин низкой эффективности или нежелательных моделей поведения.

Модель Стафлебима.

Модель Стафлебима CIPP известна как системная модель и состоит из четырех основных компонентов:

Контекст - определяется цель, преследуемая аудиторией, и потребности, которые должны быть удовлетворены.

Вход - определяются ресурсы, возможные альтернативные стратегии, а также самый простой способ удовлетворить установленные потребности.

Процесс - оценивается, насколько хорошо выполняется разработанный план.

Продукт - оцениваются полученные результаты (достигнуты ли цели, вносятся поправки в порядок разработки плана).

Эта модель изучает и сам процесс, и его результат. Однако оценивание вероятных результатов непосредственно перед обучением не проводится, следовательно, модель не годится для оценки ROI без дальнейшей доработки.

В отличие от моделей Филипса и Киркпатрика в рамках данной модели требуется взглянуть на эффективность процесса, а это скорее относится к «валидации», чтобы не путать с «оцениванием», то есть акцент делается на результате.

Кроме этих и других моделей для оценки качества обучения можно воспользоваться показателями, опубликованными и добавляемыми в Библиотеке ключевых показателей результативности на сайте www.kpilib.ru. Например: Эффективность затрат на управление персоналом. Данный показатель позволяет сформировать интегральную оценку качества работы службы управления персоналом за отчетный период. Показатель рассчитывается, как отношение относительного изменения индекса качества персонала к относительным изменениям совокупных затрат на управление персоналом.

Другой показатель из этой библиотеке таков: Индекс компетентности персонала. Показатель представляет собой экспертную оценку уровня знаний, умений и навыков персонала предприятия. Данная оценка может формироваться по результатам аттестации или оперативно по любой известной методике руководителями подразделений предприятия. Измеряется раз в год.

Измерение результативности отдельных учебных курсов - только один из возможных подходов к оценке качества обучения в организации. Он наиболее актуален, когда целью учебы является развитие «технических» умений и навыков.

Как правило, при этом сотруднику отводится достаточно пассивная роль в обучающем процессе - определили потребности в обучении, подобрали вариант обучения, посетил обучение, измерили результат.

Существует альтернативный подход к обучению и, соответственно, к измерению его эффективности. Перед человеком очерчивается контур корпоративных стандартов, и оценивается общее соответствие этим стандартам. Такой подход актуален прежде всего в компаниях, где успех зависит от свойств личности в целом, а не от владения узким функционалом. В этом случае вполне адекватным выглядит, например, решение выделить определенный бюджет и передать каждому специалисту полную ответственность за составление и реализацию собственной учебной программы.

Этот подход в различных организациях может реализовываться по разному, однако в любом случае организация, да и не только организация в целом, но и её структурные подразделения, в частности, согласно МС ИСО 9001:2008, должны реально оценивать результаты обучения. Необходимость такой оценки диктуется несколькими причинами, среди которых можно выделить две основных:

• - необходимость убеждения в том, что затраты предприятия на обучение сотрудников не пропали даром;
• - необходимость убеждения в том, что после обучения сотрудник способен выполнять свои новые обязанности по должностной инструкции.

Иными словами, после обучения сотрудников в организации должна быть проведена верификация обучения; руководство организации и её подразделений должно убедиться в том, что установленные требования по обучению выполнены.

Рассмотрим это на примере ООО "ТК "ЛИНКОТ", г. Екатеринбург .

В ООО «ТК “ЛИНКОТ”» обучение разделяется на краткосрочное (от 1 до 5 дней) и долгосрочное (несколько модулей по 3 дня). В зависимости от формы обучения используются различные методики оценки его результативности и эффективности.

Особенности организации процесса обучения.

На начальном этапе исходя из целей предприятия и подразделений определяются задачи обучения. Далее в компании предпринимаются следующие шаги:

• - анализ потребностей в обучении;
• - определение целевых групп;
• - планирование программы обучения;
• - выбор методов обучения;
• - анализ обучающих организаций (тренеров, преподавателей), часто объявляется тендер для корпоративного обучения;
• - обеспечение, организация обучения;
• - оценка обучения.

Заместитель директора по персоналу осуществляет контроль и координацию всех стадий организации процесса.

Оценка результативности обучения.

Методы измерения результативности краткосрочного и долгосрочного обучения различны. В первом случае оценка базируется на информации, касающейся приобретаемых знаний и навыков, практической ценности данного мероприятия, полученной от сотрудника, прошедшего обучение, и непосредственного руководителя. По окончании долгосрочного обучения обязательно оценивается эффективность, результативность деятельности сотрудника, посещавшего семинары, курсы или тренинги.

Критерии результативности краткосрочного обучения.

1. Удовлетворенность сотрудника, прошедшего обучение.

Для оценки сотрудники после обучения заполняют специальные анкеты (анкета оценки обучения) и сдают их в службу управления персоналом, в которой проводится анализ и расчет результативности по данному критерию, выявляются причины неудовлетворенности и делаются выводы.

Анкета оценки обучения (заполняется сотрудником)

Участник обучения (Ф.И.О.)

Подразделение, должность Тема обучения Дата обучения

Место проведения (город, учебное заведение)

Результативность обучения, сотрудника (Р с,%) рассчитывается по формуле

• 2. Ваши предложения по улучшению деятельности (отдела, подразделения) с учетом полученных при обучении знаний:
• 3. Оценка качества преподавания:

4. Ваши пожелания по совершенствованию обучения:

Дата_Подпись_

2. Эффективность внесенных обучившимся предложений по усовершенствованию его профессиональных навыков, повышению эффективности деятельности сотрудника, отдела, подразделения или выполнение данным работником специального задания.

Сотрудник, прошедший обучение, выносит на рассмотрение руководства предложения по улучшению деятельности (отдела, подразделения) с учетом полученных знаний, которое оценивается с точки зрения эффективности. Другой вариант: служба персонала совместно с руководителем разрабатывает специальное задание в соответствии с целями пройденного обучения. Устанавливается срок его выполнения и далее оцениваются результаты.

3. Удовлетворенность руководителя результативностью обучения.

Непосредственный руководитель заполняет анкету результативности обучения, проводит оценку в баллах. Желательно это делать через 2-3 недели или месяц после обучения.

Подведение итогов оценки.

Далее проводится анализ полученных данных (возможно сравнение результатов удовлетворенности обучившегося и руководства) и делаются выводы о качестве обучения. На заключительном этапе происходит анализ всех данных и дается окончательная оценка эффективности проведенного краткосрочного обучения.

Для подведения итогов оценки сотрудника можно использовать следующую последовательность действий:

• - провести оценку работника по каждому критерию;
• - рассчитать результативность по каждому критерию в процентах;
• - установить вес - степень значимости каждого показателя для предприятия;
• - оценить общую результативность, полученную из расчета по всем критериям с учетом значимости;
• - оценить эффективность обучения для данного сотрудника по формуле:

* Затраты на обучение оцениваются исходя из его стоимости, суммы командировочных расходов и т. д.

Степень общей эффективности обучения устанавливается в результате оценки по всем критериям. Пример расчета результативности краткосрочного обучения приведен в таблице. 12.

Таблица 12

Результативность краткосрочного обучения_

Вес критериев определяется для каждой организации индивидуально. Сумма весов не должна превышать 1.

Критерии результативности долгосрочного обучения При долгосрочном обучении, помимо вышеописанных критериев краткосрочного обучения, дополнительно используются следующие.

1. Приобретение обучающимся необходимых знаний, навыков и качеств.

Для оценки приобретенных сотрудниками знаний возможно проведение экзамена. Лучше всего использовать профессиональные тесты (часто в организациях они разрабатываются непосредственными руководителями или ведущими специалистами в данной области деятельности). Оценка навыков и качеств вызывает определенные трудности. Во-первых, она должна проводиться через определенный период времени, например, через 1-2 месяца после обучения (в зависимости от должности и вида обучения). Во-вторых, для этого необходимо планировать финансовые и временные ресурсы (она довольно трудозатратна). Прежде чем оценивать навыки и качества после обучения, необходимо выявить степень их развитости до него и сравнить результаты. Кроме этого, важно определить сроки проведения оценки (через какой период времени после обучения).

В этих целях могут применяться оценка по методу “360 градусов” или обычные методики: кейсы, групповые и индивидуальные упражнения, наконец, ассессмент-центр.

2. Эффективность деятельности сотрудника, прошедшего обучение.

По этому критерию в компании оценивается результативность (эффективность) деятельности сотрудника после обучения, которая выражается:

• - в повышении норм выработки;
• - росте производительности;
• - сокращении времени, затрачиваемого на выполнение работ, проектов;
• - сокращении финансовых затрат (например, при работе над проектом);
• - увеличении объема продаж (для менеджеров, начальника отдела продаж).

Новым для компании стал расчет следующих показателей по оценке эффективности обучения за год:

1. Общая результативность обучения сотрудников предприятия:

где К1 - количество работников, обучение которых оценено как результативное, равное или выше установленного норматива (определяется по вышеперечисленным критериям);

К2 - общее количество работников, прошедших обучение за данный период.

2. Эффективность обучения сотрудников предприятия:

где К1 - количество работников, обучение которых оценено как результативное;

3 - затраты на обучение в год.

Для того чтобы установить норматив эффективности обучения, показатели оценивались в течение нескольких кварталов. Важно анализировать их в динамике. Показатели ниже нормативных свидетельствуют о необходимости анализа и выявления причин такой результативности.

3. Для некоторых групп обучаемых можно посчитать возврат инвестиций в обучение. Для менеджеров по продажам это могут быть показатели роста прибыли, объема реализованной продукции (рассчитываются при отсутствии изменений во внешней среде, например, появления нового конкурента на рынке, резкого изменения спроса на продукцию), отнесенные к затратам на обучение.

Отчет об оценке результатов обучения может включать: список сотрудников с графиком их обучения; критерии оценки;

анализ собранных данных по оценке и интерпретацию результатов;

анализ эффективности обучения с учетом затрат на него; выводы и рекомендации по совершенствованию процесса обучения.

Вопросы для самопроверки

• 1. Опишите понятие «качество производства».
• 2. Опишите понятие «качество трудовой жизни».
• 3. Опишите понятие «качество жизни».
• 4. Покажите взаимосвязь между этими понятиями.
• 5. Дайте определение обратной связи с подчинёнными.
• 6. Охарактеризуйте положительную и отрицательную обратные связи, укажите условия их применения.
• 7. Опишите анкетирование, интервью, - общение "через голову" и ящик для предложений.
• 8. Опишите "горячую линии", "мозговой штурм" и дискуссионное совещание.
• 9. Опишите модели оценки результативности обучения Киркпатрика и Филипса.
• 10. . Опишите модели оценки результативности обучения Скри- венса и Стафлебима.