Bir eğitim programının sonunda katılımcıların memnun kalması önemlidir; ancak memnuniyet, öğrenmenin veya iş sonucunun tek başına göstergesi değildir. Katılımcı iyi bir deneyim yaşamış olabilir fakat öğrendiğini uygulamamış olabilir. Benzer şekilde zorlayıcı bir program daha düşük memnuniyet puanı alırken daha güçlü çalışma çıktıları üretebilir.
Bu nedenle ölçüm sistemi programın amacına uygun birden fazla kanıt türünü birlikte değerlendirmelidir. Her eğitim için kapsamlı bir etki araştırması yapmak gerekmez. Önemli olan, programın ölçeğine uygun seviyeyi seçmek ve ölçümü tasarımın başında planlamaktır.
Ölçümün ilk adımı: başarıyı tanımlamak
“Eğitim başarılı oldu mu?” sorusu tek başına fazla geniştir. Başarıyı üç parçaya ayırın:
- Katılımcı neyi anlamalı?
- Program sırasında neyi üretebilmeli?
- İşe döndüğünde neyi farklı yapmalı?
Örneğin proje geliştirme programında kavramsal başarı, mantıksal çerçevenin bileşenlerini açıklayabilmek olabilir. Uygulama başarısı, amaç–çıktı–faaliyet ilişkisi tutarlı bir proje taslağı üretmektir. Transfer başarısı ise bu taslağı gerçek başvuru sürecinde kullanmak veya geliştirmektir.
Beş seviyeli ölçüm çerçevesi
1. Katılım ve etkileşim
Bu seviye programın temel uygulama disiplinini gösterir:
- Oturumlara devam
- Ön görev ve ara görev tamamlama
- Grup çalışmalarına aktif katkı
- Mentor görüşmelerine hazırlık
- Dijital materyal ve şablonların kullanımı
Katılım tek başına etki değildir; ancak uygulama içeren programlarda önemli bir ön koşuldur.
2. Kavrayış ve öğrenme
Katılımcının temel kavramları ve araçları ne ölçüde anladığını değerlendirir. Kısa testler kullanılabilir; fakat yalnızca doğru–yanlış soruları her konu için yeterli değildir.
Alternatif yöntemler şunlardır:
- Kısa senaryo yorumlama
- Kavramları kendi cümlesiyle açıklama
- Hatalı bir örneği iyileştirme
- Karar seçeneklerini gerekçelendirme
- Ön değerlendirme ile sonuç değerlendirmesini karşılaştırma
Amaç ezberi değil, kavramın karar verirken kullanılıp kullanılamadığını görmektir.
3. Uygulama davranışı
Bu seviyede katılımcının öğrendiği yöntemi gerçek veya gerçeğe yakın bir vaka üzerinde kullanması beklenir. Örneğin:
- Müşteri görüşmesi planı hazırlamak
- Bir süreç için yapay zekâ kullanım senaryosu geliştirmek
- Ekip OKR seti yazmak
- Proje risklerini ve önlemleri yapılandırmak
- Yatırımcı sunumunu yeniden düzenlemek
Uygulama bir kontrol listesi veya değerlendirme rubriğiyle incelenebilir. Rubrik, değerlendirmenin kişisel beğeniye dönüşmesini engeller.
4. Somut çıktı kalitesi
Çıktı odaklı programlarda en güçlü kanıtlardan biri katılımcının ürettiği çalışma ürünüdür. Bu ürün bir iş modeli, proje dosyası, prototip, pitch deck, paydaş haritası veya yol haritası olabilir.
Çıktı değerlendirmesinde şu ölçütler kullanılabilir:
- Problemin ve hedefin açıklığı
- Kullanılan kanıtların yeterliliği
- Bileşenler arasındaki tutarlılık
- Uygulanabilirlik
- Risk ve varsayımların görünürlüğü
- Sonraki adımların netliği
Programdan önce örnek çıktı ve değerlendirme ölçütlerinin paylaşılması, katılımcının neyin beklendiğini anlamasını kolaylaştırır.
5. İş ortamına transfer
Transfer, öğrenilenin program sonrasında iş üzerinde kullanılmasını ifade eder. Her programda uzun dönem takip yapılması mümkün veya gerekli olmayabilir. Ancak kritik gelişim programlarında kısa takip döngüleri değerli bilgi sağlar.
Transfer şu yollarla izlenebilir:
- 30 veya 90 günlük takip görüşmesi
- Yönetici gözlem formu
- Katılımcı uygulama günlüğü
- Gerçek proje kilometre taşı
- Üretilen planın güncellenmiş sürümü
- Ekip check-in toplantısı
Burada dikkat edilmesi gereken nokta, iş sonucunun yalnızca eğitime bağlanmamasıdır. Yönetici desteği, kaynaklar, süreçler ve pazar koşulları da sonucu etkiler.
Program türüne göre uygun ölçüm derinliği
Bir günlük odak atölyesinde katılım, kısa kavrayış kontrolü ve çalışma çıktısı yeterli olabilir. Çok haftalı akademide ön değerlendirme, ara uygulamalar, mentor geri bildirimi, final projesi ve takip oturumu birlikte kullanılabilir.
Ölçüm maliyeti ile karar değeri arasında denge kurulmalıdır. Toplanan verinin hangi kararı destekleyeceği belli değilse ölçüm gereksiz yük oluşturabilir.
Güçlü bir değerlendirme rubriği nasıl hazırlanır?
Rubrik, çıktıyı birkaç açık ölçüte göre değerlendiren ortak çerçevedir. İyi bir rubrik:
- Program hedefiyle doğrudan ilişkilidir.
- Gözlemlenebilir özellikleri değerlendirir.
- “İyi/kötü” yerine kalite seviyelerini açıklar.
- Eğitmen, mentor ve katılımcı için ortak dil oluşturur.
- Geri bildirimin hangi noktaya odaklanacağını gösterir.
Örneğin iş modeli çıktısında “müşteri odağı” ölçütü; müşteri segmentinin belirsiz olması, varsayıma dayalı tanımlanması veya görüşme kanıtlarıyla netleştirilmesi gibi seviyelerle açıklanabilir.
Ölçümde sık yapılan hatalar
- Yalnızca memnuniyet anketine dayanmak
- Başlangıç seviyesini ölçmeden gelişim iddiasında bulunmak
- Program hedefiyle ilgisiz çok sayıda veri toplamak
- Çıktı kalitesini ölçmeden yalnızca katılım belgesi vermek
- Takip sorumluluğunu ve zamanını tanımlamamak
- Sonuçları bağlamdan kopararak yalnızca eğitime atfetmek
Basit bir ölçüm planı
Her program için aşağıdaki beş soruyu yanıtlayın:
- Hangi değişimi görmek istiyoruz?
- Bu değişimin gözlemlenebilir kanıtı nedir?
- Kanıtı ne zaman toplayacağız?
- Kim değerlendirecek?
- Sonuç hangi program kararını etkileyecek?
Ölçümün amacı yalnızca programı kanıtlamak değil, bir sonraki uygulamayı daha iyi tasarlamaktır.