Kodėl apklausa ar patiko neparodo AI mokymų naudos?

Nes žmonėms mokymai gali patikti, bet darbe niekas nepasikeisti; teigiamas įspūdis neparodo, ar įgūdžiai buvo pritaikyti.

Kokius rodiklius verta sekti po AI mokymų?

Ar sutartos užduotys atliekamos greičiau, ar darbuotojai naudoja įrankius savarankiškai kasdien ir ar sumažėjo laiko pasikartojantiems darbams.

Kada geriausia matuoti mokymų rezultatą?

Dviem etapais: po kelių savaičių tikrinama, ar formuojasi įpročiai, o po mėnesio ar dviejų, ar pokytis tapo pastovus.

Kaip apskaičiuoti AI mokymų atsipirkimą pinigais?

Išrinkite kelias pasikartojančias užduotis ir užfiksuokite, kiek valandų per savaitę jos užima visai komandai prieš mokymus. Po kelių savaičių pamatuokite tas pačias užduotis dar kartą, skirtumą padauginkite iš darbo valandos kainos ir gausite mėnesio sutaupymą. Palyginkite jį su mokymų kaina: jei atsipirkimas telpa į kelis mėnesius, investicija pasiteisino.

Ką daryti, jei po mokymų rodikliai nepagerėjo?

Pirmiausia patikrinkite, ar matavote tas užduotis, kurias komanda realiai pradėjo daryti kitaip, nes pokytis dažnai įvyksta kitoje vietoje nei planuota. Tada patikrinkite prieigą prie įrankių ir paklauskite komandos, kas trukdo. Dažniausia priežastis yra ne trūkstami įgūdžiai, o laiko išbandyti naują būdą nebuvimas.

Kaip pamatuoti AI mokymų naudą įmonėje: rodikliai ir planas

Kaip pamatuoti AI mokymų naudą įmonėje yra klausimas, kurį verta apgalvoti dar prieš perkant, o ne po jų. Jei rezultatą matuosite tik klausimu „ar patiko", tikrosios naudos nepamatysite. Šiame straipsnyje aptarsiu, kokius rodiklius sekti, kad matytumėte realų pokytį.

Kodėl apklausa „ar patiko" nieko nepasako

Po mokymų dažnai išdalinama apklausa apie tai, ar dalyviai liko patenkinti. Tai naudinga vertinant atmosferą, bet ne rezultatą.

Valstybės duomenų agentūros duomenimis, dirbtinį intelektą naudoja 21,3 proc. Lietuvos įmonių. Skirtumą tarp įmonės, kuri įrankį turi, ir komandos, kuri juo dirba, padaro būtent mokymai.

Problema paprasta:

žmonėms gali patikti mokymai, bet darbe niekas nepasikeisti;
teigiamas įspūdis neparodo, ar įgūdžiai buvo pritaikyti;
pasitenkinimas dažnai išblėsta kartu su naujais įpročiais.

Todėl vietoje klausimo apie įspūdį verta matuoti realų elgesio pokytį.

Kokius rodiklius sekti

Naudą geriausiai parodo konkretūs, matomi pokyčiai kasdieniame darbe. Juos verta susitarti dar prieš mokymus, geriausiai tuo metu, kai vertinate siūlomas mokymų programas.

Verta stebėti:

ar sutartos užduotys atliekamos greičiau nei anksčiau;
ar darbuotojai savarankiškai naudoja įrankius kasdien;
ar sumažėjo laiko, skiriamo pasikartojantiems darbams;
ar atsiranda žmonių, kurie patys siūlo naujus panaudojimo būdus.

Kuo konkretesnės užduotys, kurias matuojate, tuo aiškiau matysite, ar mokymai davė rezultatą.

Kada matuoti rezultatą

Iškart po mokymų viskas atrodo šviežia, bet tai dar ne rezultatas. Tikrasis pokytis matomas kiek vėliau.

Naudinga įsivertinti dviem etapais:

po kelių savaičių pažiūrėti, ar įpročiai pradėjo formuotis;
po mėnesio ar dviejų įvertinti, ar pokytis tapo pastovus.

Būtent antrasis matavimas parodo, ar mokymai virto tvariu darbo būdu, ar liko trumpu entuziazmo pliūpsniu.

Kaip užsitikrinti, kad bus ką matuoti

Kad rezultatas atsirastų, jį reikia paruošti iš anksto. Vien tikėtis pokyčio neužtenka.

Verta prieš mokymus susitarti, kurias konkrečias užduotis komanda po jų atliks su AI, ir paskirti žmogų, kuris stebi progresą. Naudinga suplanuoti laiko naujiems įpročiams įtvirtinti, kitaip komanda greitai grįžta prie senos rutinos.

Paprastas būdas pradėti matuoti

Matavimas nebūtinai reiškia sudėtingas lenteles ar įrankius. Dažnai užtenka kelių paprastų žingsnių, kuriuos gali padaryti bet kuri komanda.

Naudinga pradėti nuo tokio kelio:

prieš mokymus išsirinkite dvi ar tris konkrečias užduotis, kurias norite pagreitinti;
užsirašykite, kiek laiko jos užima dabar;
po mokymų po kelių savaičių pamatuokite tą patį dar kartą;
palyginkite skirtumą ir aptarkite jį su komanda.

Toks paprastas palyginimas parodo realų pokytį daug geriau nei bendra apklausa. Jis taip pat padeda komandai pamatyti savo pačios progresą, o tai stiprina motyvaciją toliau naudoti įrankius kasdien.

Svarbiausia yra matuoti tas pačias užduotis prieš ir po, kad skaičiai būtų palyginami ir rodytų būtent mokymų poveikį.

Naudinga rezultatus aptarti su visa komanda, o ne laikyti juos tik vadovo lentelėje. Kai darbuotojai patys mato, kiek laiko sutaupė, jie labiau linkę toliau naudoti įrankius. Taip matavimas tampa ne kontrole, o įrankiu, kuris padeda įtvirtinti naujus darbo įpročius.

Skaičiavimas, kuris telpa į vieną lentelę

Kai reikia parodyti naudą vadovybei, geriausiai veikia paprasta aritmetika, kurią galima patikrinti. Pavyzdys.

Aštuonių žmonių komanda mokymuose. Prieš mokymus išrinktos trys užduotys: pasiūlymų juodraščiai, klientų laiškų atsakymai ir savaitės ataskaita. Užfiksuota, kad kartu jos vienam žmogui užima maždaug šešias valandas per savaitę. Aštuoniems žmonėms tai 48 valandos per savaitę.

Po šešių savaičių tos pačios užduotys pamatuojamos dar kartą. Tarkime, jos užima keturias su puse valandos vienam žmogui. Skirtumas yra pusantros valandos per savaitę vienam žmogui, arba 12 valandų komandai. Per mėnesį tai apie 52 valandas. Jei viena darbo valanda įmonei kainuoja 20 eurų, sutaupoma maždaug 1040 eurų per mėnesį.

Toliau lyginama su kaina. Jei mokymai kainavo 2000 eurų, jie atsiperka maždaug per du mėnesius. Jei kaina buvo 6000 eurų, atsipirkimas nusitęsia iki pusmečio, ir tada verta klausti, ar programa buvo per plati. Kiek laiko tai užtrunka praktikoje, aptariame straipsnyje kada atsiperka AI mokymai, o platesnę skaičiavimo metodiką: automatizavimo ROI skaičiavimas.

Atsakymas nuobodus, bet teisingas: skaičius, kurio neužfiksavote prieš mokymus, vėliau neatkuriamas. Jokia analitika jo neatstos.

Matavimo planas žingsnis po žingsnio

Likus dviem savaitėms iki mokymų išrinkite tris užduotis. Jos turi kartotis bent kartą per savaitę ir turėti aiškų rezultatą, kurį galima parodyti. Neaiškūs dalykai, tokie kaip „geriau bendraujame", netinka.
Užfiksuokite pradinį laiką. Užtenka, kad komanda savaitę pasižymėtų, kiek minučių užima kiekviena užduotis. Tikslumas iki penkių minučių visiškai pakanka.
Susitarkite dėl priimtino kokybės lygio. Greitesnis pasiūlymas, kurį reikia perrašyti, nėra sutaupytas laikas. Nusprendžiama iš anksto, kas tikrina rezultatą.
Po mokymų duokite dvi savaites įpročiams. Pirma savaitė visada iškraipyta entuziazmo, todėl anksti matuoti neverta.
Antrą matavimą darykite šeštą savaitę. Tos pačios užduotys, tie patys žmonės, toks pat būdas skaičiuoti.
Trečią matavimą darykite po trijų mėnesių. Jis parodo, ar pokytis liko. Dažniausiai būtent čia paaiškėja, kad be priežiūros po diegimo dalis įpročių išnyko.

Dažniausios klaidos matuojant

Matuojama tai, ką lengva suskaičiuoti. Prisijungimų prie įrankio skaičius atrodo gražiai ataskaitoje, bet nieko nesako apie darbą. Matuokite užduotį, ne įrankį.
Keičiamos užduotys tarp matavimų. Jei prieš mokymus fiksavote pasiūlymų rengimą, o po jų matuojate laiškų rašymą, palyginimo nėra.
Ignoruojama kokybė. Jei po mokymų klientų laiškai rašomi dvigubai greičiau, bet atsakymų mažiau, tai nuostolis, o ne nauda.
Nėra atsakingo žmogaus. Matavimas be savininko nutrūksta trečią savaitę. Kas turėtų juo rūpintis, aptariame straipsnyje kas įmonėje atsakingas už AI.
Rezultatas naudojamas kaip vertinimas. Jei komanda supranta, kad skaičiai lems premiją, skaičiai pagerės, o darbas: ne.

Prieštaravimai, kuriuos girdime dažniausiai

„Mūsų darbas per įvairus, kad jį matuotum." Įvairus darbas irgi turi kelias pasikartojančias dalis. Užtenka rasti tris. Matuojama ne visa diena, o siauras jos gabalas.

„Laiko matavimas atrodo kaip nepasitikėjimas." Todėl matuoja pati komanda ir rezultatą mato pirmoji. Kai žmonės patys pamato, kad savaitėje atsirado laisva valanda, pasipriešinimas dingsta. Platesnį požiūrį aprašome straipsnyje apie pokyčių valdymą diegiant AI.

„Nauda atsiras tik po metų." Jei per tris mėnesius nesimato nieko, dažniausiai problema ne laike, o tame, kad mokymai buvo teoriniai. Skirtumą aprašome straipsnyje praktiniai ar teoriniai AI mokymai.

Maža ir didesnė komanda

Iki penkių žmonių pakanka pokalbio ir vienos lentelės. Kartą per savaitę penkios minutės aptarimo, ir visi mato tą patį vaizdą.

Nuo dešimties žmonių atsiranda kita problema: rezultatai skiriasi priklausomai nuo to, kas atlieka užduotį. Vienas darbuotojas sutaupo valandą, kitas: nieko, nes naudoja įrankį kitaip. Sprendimas yra bendri, patikrinti užklausų šablonai, kuriuos visi naudoja tuos pačius. Kaip juos sudėlioti, aprašome straipsnyje apie prompt biblioteką komandai.

Ką daryti, jei skaičiai nieko nerodo

Toks rezultatas pasitaiko ir jis naudingas, jei į jį pažiūrima ramiai. Pirmiausia patikrinkite, ar matuojamos užduotys tikrai buvo tos, kurias komanda po mokymų naudoja. Dažnai pokytis įvyko kitur: laiškų rašyme, o ne ataskaitose.

Antra, pažiūrėkite, ar žmonės turi prieigą. Jei po mokymų liko nemokamos paskyros arba įrankis blokuojamas įmonės tinkle, įpročio nebus, kad ir kokie geri buvo mokymai.

Trečia, paklauskite, kas trukdo. Dažniausias atsakymas praktikoje yra ne „nemoku", o „neturiu kada išbandyti". Tada sprendimas paprastas: skirkite komandai vieną valandą per savaitę, kurioje leidžiama dirbti lėčiau ir bandyti naują būdą.

Norite mokymų su aiškiu rezultatu?

Vedu praktinius mokymus, kuriuose iš anksto susitariame, kaip matuosime naudą, todėl rezultatą matote, o ne spėjate. Daugiau apie programą vadovams rasite AI mokymų vadovams puslapyje, o jei norite aptarti matavimo būdus, susisiekite su manimi.