Verilere Güveniyoruz: Ölçüt ve Temel Performans Göstergelerinin (TPG) Tanımı

Uzaya gidiş gibi kritik bir görevde olduğunuzu ve ekibinizin bu görevin tüm yönlerini simüle etmesi gerektiğini düşünün. Bazı konuları önceki girişimlerden biliyor olacaksınız; bazıları ise mevcut görevinizin özelliklerine bağlı olacak. Bu iki bölümlük blog serisinde, Genesys’in “dış mekan” simülasyonundan ve ölçütlerin tanımlamasından öğrenilen derslere bakacağız.

Yolculuk, Hedef Kadar Önemli

Ne kadar klişe gelirse gelsin bu doğru. Botunuz için veri toplama yolculuğuna başlıyorsanız, ölçütler ve bilgiler elde etmek için botların ortaya çıkmasını beklemeniz gerekmez.

Botlarınızı Hazırlamak

Botların oluşturulmasında, belirli durumların amaçlara nasıl dönüştürüleceği, kullanıcıdan varlıklar ve alanlar temelinde hangi bilgilerin alınması gerektiği ve çok çeşitli kullanıcı kişiliğiyle nasıl sohbet edileceği konularında kararların verilmesi gerekir. Önceki dağıtımlarımızda ve mevcut veri toplama çalışmalarında öğrendiklerimiz şunlar:

1. Yazarların önyargısını azaltın: Bireysel tercihler ve önyargılar, her bir kullanıcı tipi için bir deneyim oluşturmayı neredeyse imkansız hale getirir. Bot yanıtlarının oluşturulması için kendi ekiplerinizden çok sayıda geri bildirim alınması önemlidir.
2. Alçakgönüllülük ve empati: Empatik ve alçakgönüllü yanıtlar yazmak, bot oluşturmanın en zor kısmıdır. İnsan müşteri temsilcileri, yıllar boyunca öfkeli, üzgün veya sinirli müşterilere yanıt verirken edinilen becerilere sahiptir. Öte yandan bot yazarlarının, kullanıcının sinirleneceği senaryoları hayal etmesi gerekir. Sonra durumu sakinleştirmek için botların cevaplarını düşünmek zorunda olurlar. Direkt hedefe yönelik cevaplar iyi bir kullanıcı deneyimi için her zaman doğru seçim değildir.
3. Doğrusu neyse açıkça onaylayın: İnsanların bir botla olan etkileşimi iki uç noktada kalabilir: kullanıcılar botun IVR’ın gelişmiş bir versiyonu olduğunu ya da insana yakın bir sistem olabileceğini düşünebilir. İkincisi ile başa çıkmak zordur; güvenin azaldığı her etkileşime onay vermek ters etki yapabilir.
4. Bir “B Planı:” belirleyin. Kullanıcı deneyimi, bot ile etkileşim sırasında niyet ve varlık belirlemenin ötesine geçer. Ayrıca, botunuzun (henüz) ne yapamayacağını ve zararı durdurma stratejisinin ne olması gerektiğini bilmek gerekir. Örneğin, kullanıcı deneyimi kötüleşmeye başladığında bir insan müşteri temsilcisinin mümkün olan en kısa sürede müdahale edip etmemesi veya bir müşteri temsilcisinin araması için bir talep açılmasının gerekip gerekmediği belirlenmelidir.

Ölçütleri Tanımlama

Şirketler tamamen veri ve bilgi ile ilgilidir. Ancak verilerden bilgi elde etmek işin sadece yarısıdır. İhtiyaç duyulan verileri ve bu verilerin analiz için nasıl yapılandırılacağını tanımlamak için öncelikle şirketiniz açısından önemli olan ölçütleri tanımlayın. İşte yaygın olarak izlenen bazı ölçütler:

Niyet ve varlık tanıma oranları – Müşterinin niyetini tanıyan, veri toplayan ve bunları bir müşteri temsilcisine ileten bir bankacılık botu söz konusu olduğunda, niyet tanıma ve varlık tanıma oranları botun başarısını belirler. Bunlar, bota sunulan toplam niyet ve varlık tanıma fırsatlarının sayısı karşısında botun belirlediği niyet ve varlıkların yüzdesi ile ölçülür. Veri toplama çalışmamızda, niyet ve varlık tanıma oranları, performansı tespiti için kullanılan birincil ölçütlerdi.

Görev tamamlama oranı – Bir bankacılık botunun amacı müşterinin isteğini yerine getirmekse, görev tamamlama oranları en önemli ölçüttür. Bu, botun ele aldığı ve başarıyla yerine getirdiği toplam konuşmaların yüzdesi olarak tanımlanır.

Döngüler – Bir döngü, müşteri ile temsilci arasındaki tek bir etkileşimdir. Bir müşteri ile bir aracı arasındaki tüm konuşmanın tamamlanması birkaç döngü gerektirebilir. Döngüler, botun kullanıcının amacını çok fazla netleştirmeden anlayıp anlamadığını ve varlıkların ilk konuştuklarında anlaşılıp anlaşılmadıklarını belirtir. Daha az sayıda döngü daha iyi bir kullanıcı deneyimi anlamına gelir. Biz, niyet tanıma oranları ile birlikte ortalama döngüleri kullandık. Bu, niyetin daha az belirli olduğu durumlarda botların niyeti netleştirilmesine yönelik sorular sorarak niyeti belirleyip belirlemediğini anlamamıza yardımcı oldu.

Sınırlama – Sınırlama ölçütleri, botun tüm sohbet içerisinde kaç tane otomasyon fırsatı yakaladığını gösterir. Bu, işletmelerin yatırım geri dönüşü ölçütlerini anlamalarına ve bot dağıtımları için hedefler koymalarına yardımcı olur.

Geribildirim puanları – Bot otomasyonu operasyonel verimliliği arttırır ve operasyonel maliyetleri düşürür. Ancak bunun sonucunda kullanıcı deneyimi zarar görmemelidir. Kullanıcı deneyiminin olumlu, olumsuz veya nötr olup olmadığını öğrenin. Bu, bot otomasyonundan elde edilen tasarrufun müşterinin kaybedilmesine yol açmamasını sağlar. Çalışmamızda, kullanıcıların bot etkileşimi ile ilgili memnuniyet seviyelerini göstermeleri için simgeler ekledik.

Veri Yakalama Çalışmasını Yapılandırma

Yukarıdaki ölçütleri hesaplamak için, etkileşimle ilgili mümkün olduğunca fazla bağlam girin.

Asıl gerçeği yakalama – Gerçek dünyadaki bir senaryoda, temel gerçeği yakalamak zor olabilir. Ancak kontrollü bir deneysel ortamda bu kolayca yapılabilir. Bot dağıtımı deneylerini izleyen iş analistleri ve danışmanları beklenen kullanım durumunu (niyet ve varlıklar açısından asıl gerçeği) yakalamalıdır. Bu, bot tarafından tanımlanan niyetlerin ve varlıkların yapılandırılmış bir yöntemle yakalanmasını sağlar. Bizim veri toplama çalışmamızda, bilgileri, kullanıcıya sunulan senaryo ile ilişkili beklenti içerisine yerleştirdik. Bu, zaman alıcı ve pahalı olabilen ek açıklama ihtiyacını önledi.

Bir döngü ve bir görüşmenin belirlenmesi – Bir döngüyü bir diğerinden ayırmak ve bir görüşmedeki döngü sayısını belirlemek için yeterli sayıda tanımlayıcıya ihtiyacınız olacaktır. Ayrıca bir sohbet içindeki döngü ile yeni bir sohbete ait bir döngü arasında ayrım yapmak da önemlidir.

Kullanıcı oturumu – Kullanıcının, oturumu amacına ulaşmasının ardından  veya bir sorun yaşamış olmasından sonra kapatıp kapatmadığını anlayın. Kullanıcı başka bir girişimde bulundu ve başarılı oldu mu? Bunu belirlemek amacıyla her kullanıcı ve oturumu için benzersiz bir kimlik oluşturun.

Bir karmaşa matrisi ile kaosun kodunu çözmek – Karmaşa matrisi, niyet performansı ve kafa karıştırıcı niyetler hakkında fikir edinmeye yardımcı olur. Ayrıca, bottaki değişikliklerin hassasiyet, hatırlama ve f1 puanlarını nasıl etkilediğinin bir görüntüsünü sunar. Bu serideki bir sonraki blog yazısında bunu detaylı olarak inceliyoruz.

Serinin ikinci blog yazısında, tekrar eden senaryolarda kullanıcı davranışını anlamak için aynı müşteriye bazı senaryoları tekrar sunmanın önemini ele aldık. Ana gerçeğin ve kullanıcı oturumu tanımlayıcısının yanı sıra, kullanıcıya bilerek tekrarlanan senaryoları işaretledik.

Ölçütlerin Otomasyonu

Bilgileri otomatikleştirmek için kullanılacak iki adım, ölçütleri tanımlamak ve onu yakalamak için gerekli verileri yapılandırmaktır. Veriler doğru yapılandırılmışsa, varsayımları ve formülleri kullanarak ölçütleri hesaplayabilirsiniz. Ancak, tüm ölçütler doğruluktan ödün vermeden otomatikleştirilemez.

Hata toleransı, otomasyon kullanarak bir ölçütün yakalanıp yakalanmayacağını belirlemede önemli bir parametredir. Manuel açıklama, ölçüt otomasyonu için pahalı ve zaman alan bir alternatiftir. Bu nedenle, veri ölçütlerinin ne kadar hassas olacağı ve bunun için insanlar tarafından yazılacak açıklamaları da gerektiren ve son derece hassas doğruluk seviyesine ulaşılması için zaman ve emek harcanmasını zorunlu kılacak bir dengenin oluşturulması bir işletme kararı olacaktır.

Bu yazı dizisindeki bir sonraki blog, bankacılık alanıyla ilgili olarak spesifik veri toplama çalışmamızda edinilen ölçütleri ve bilgileri ele alıyor.