Standish CHAOS hisobotlari: nima aytadi va qanday tanqid qilinadi

1994 yilda The Standish Group hisobot chiqardi. Unga koʻra, AQShdagi axborot texnologiyalari loyihalarining atigi 16,2 foizi vaqtida va byudjet doirasida tugaydi. Yana 52,7 foizi «muammoli» boʻlib chiqadi, 31,1 foizi esa tugamay bekor qilinadi. Bu uch raqam 30 yildan beri darslik, taqdimot va maqolalarda takrorlanadi. Savol oddiy: ularga qanchalik ishonish mumkin?

1994 yilgi hisobotda nima yozilgan

Hisobotning asl matni tadqiqotchilar uchun akademik maqsadda qayta chop etilgan va ochiq mavjud. Unga koʻra, soʻrovda 365 respondent qatnashgan va ular 8380 ilovani ifodalagan. Respondentlar axborot texnologiyalari rahbarlari, kompaniyalar esa katta, oʻrta va kichik boʻlib, bank, ishlab chiqarish, savdo, sogʻliqni saqlash va davlat tashkilotlarini qamragan. Soʻrovga qoʻshimcha ravishda toʻrtta fokus guruh oʻtkazilgan, ularda 41 rahbar ishtirok etgan.

Loyihalar natijasiga qarab uch turga boʻlingan:

• Muvaffaqiyatli: vaqtida, byudjet doirasida va dastlab belgilangan barcha imkoniyatlar bilan tugagan.
• Muammoli: tugagan va ishlaydi, lekin byudjetdan va muddatdan oshgan, rejadagidan kam imkoniyat beradi.
• Bekor qilingan: ish jarayonida toʻxtatilgan.

Umumiy natija 16,2, 52,7 va 31,1 foiz edi. Kompaniya hajmiga qarab manzara oʻzgargan: katta kompaniyalarda muvaffaqiyat atigi 9 foiz, kichiklarda 28 foiz. Muammoli va bekor qilingan loyihalarda xarajat oʻrtacha dastlabki baholashning 189 foiziga, muddat 222 foiziga yetgan, tugagan muammoli loyihalar esa rejalashtirilgan imkoniyatlarning oʻrtacha 61 foizini bergan. Hisobotda yana bir qiziq raqam bor: har 100 ta boshlangan loyihaga 94 ta qayta boshlash toʻgʻri kelgan.

Muvaffaqiyat omillari haqida hisobot respondentlarning fikrini beradi, isbotlangan sabab emas. Eng koʻp tilga olingan uchtasi: foydalanuvchilarning ishtiroki (15,9 foiz), yuqori rahbariyat qoʻllab-quvvatlashi (13,9 foiz) va talablarning aniq bayoni (13,0 foiz). Bu fikrlar oʻrinli eshitiladi, ammo ular soʻrovdagi odamlarning qarashi ekanini unutmaslik kerak.

Keyingi yillar: raqamlar qanday oʻzgardi

Standish hisobotni vaqti-vaqti bilan yangilab turdi. Eveleens va Verhoef maqolasida 1994 dan 2009 gacha boʻlgan natijalar jadvali keltirilgan.

Jadvaldagi sakrashlar savol tugʻdiradi. Muvaffaqiyat 1994 va 1996 yillar orasida 16 dan 27 foizga chiqdi, bekor qilingan loyihalar esa 31 dan 40 foizga oshdi. Xarajat oshishi boʻyicha tebranish yanada keskin. Jørgensen va Moløkken-Østvold Standish hisobotlaridagi oʻrtacha oshishni 1994 yil uchun 189, 1996 uchun 142, 1998 uchun 69, 2000 uchun 45 va 2002 uchun 43 foiz deb keltiradi. Ular shunday deydi: ikki yilda 142 dan 69 foizga tushishiga ishonish qiyin, bu uslubning oʻziga shubha uygʻotadi.

Birinchi tanqid: 189 foiz nimani anglatadi

Jørgensen va Moløkken-Østvold 2006 yilda 1994 yilgi hisobotni qayta tahlil qildi. Ular 189 foizning aniq taʼrifini qidirdi va topa olmadi. Hisobotning asl matnida bu raqam «dastlabki baholashning 189 foizi» deb yozilgan. Bu 89 foizlik oshish demak. Ammo CHAOS materiallarining boshqa joylarida uch xil tavsif uchraydi: 52,7 foiz loyiha baholashni 189 foizga oshiradi, muammoli va bekor qilingan loyihalarda oʻrtacha oshish 189 foiz, 52,7 foiz loyiha baholashning 189 foiziga tushadi. Mualliflar hisobotdagi taqsimotdan qayta hisoblaganda ham 89 foiz atrofidagi natijaga keldi.

Mualliflar oddiy tekshiruv oʻtkazdi. Internetdan tasodifiy 50 ta hujjatni tanlab, ularda bu raqam qanday yozilganini koʻrdi. Yarmi «189 foiz oshish», 40 foizi «dastlabki baholashning 189 foizi», 10 foizi «89 foiz oshish» deb yozgan edi. Yaʼni bir raqam ikki xil tushunilgan.

Muammoli loyiha taʼrifida ham kamchilik bor. Hisobotda u byudjetdan, muddatdan oshgan va kam imkoniyat bergan loyiha deb yozilgan, yaʼni bogʻlovchi «va», «yoki» emas. Vaqtida va byudjet doirasida, lekin imkoniyati kam tugagan loyiha qaysi guruhga kiradi? Mualliflar uni muammolilarga qoʻshishni taxmin qiladi, ammo bu yozilgan taʼrifga mos kelmaydi.

Tashqi taqqoslash ham beriladi. 1984–1992 yillarda AQSh va Kanadada oʻtkazilgan uchta tekshirilgan tadqiqot xarajat oshishini taxminan 33–34 foiz deb topgan: 23 tashkilot, 191 loyiha va 89 loyiha asosida. Bu raqamlar toʻgʻridan-toʻgʻri taqqoslanmaydi, chunki ularga muvaffaqiyatli loyihalar ham kiritilgan. Ammo Standishda ular atigi 16 foiz edi va bu katta farqni tushuntirmaydi.

Sabab nimada? Mualliflar Standishdan loyihalar qanday tanlangani va xarajat oshishi qanday taʼriflangani haqida soʻragan. Standish bu maʼlumotni berish «biznesni bepul berib yuborish» boʻlishini aytgan, ikkinchi savol esa javobsiz qolgan. Mualliflar hisobotning 3.0 nashridagi tavsifni ham keltiradi: Standish yuqori darajadagi IT rahbarlarining tasodifiy tanlamasiga maxfiy soʻrovnomalar yuborib, ulardan «muvaffaqiyatsizlik hikoyalari»ni soʻragan. Bunday tanlama muvaffaqiyatsiz loyihalar ulushini oshirgan boʻlishi mumkin. Keyingi hisobotlarda oshish kamayishi esa tanlama tobora vakillik boʻlib borganini koʻrsatishi mumkin. Mualliflar 189 foiz notoʻgʻri ekanini isbotlay olmasligini halol yozgan, lekin uni ishonchli deb hisoblashga asos yoʻqligini aytgan.

Ikkinchi tanqid: taʼrifning oʻzi taxmin aniqligini oʻlchaydi

Eveleens va Verhoef boshqa yoʻldan bordi. Standish maʼlumoti yopiq boʻlgani uchun ular taʼriflarni oʻz maʼlumotlariga qoʻlladi: 1211 loyihaning 5457 ta prognozi, umumiy qiymati yuz millionlab yevro. Ularning xulosasi: Standish taʼriflari muvaffaqiyatni emas, faqat dastlabki taxminga qanchalik yaqin kelishni oʻlchaydi, nomi esa ancha koʻproq narsani eslatadi. Mualliflar toʻrtta muammoni sanaydi: taʼriflar chalgʻitadi, bir tomonlama, taxmin amaliyotini buzadi va natijada olingan raqamlar maʼnosiz.

Taxmin sifatini ular ikki usulda baholadi. Boehmning noaniqlik konusi loyiha oldinga siljigan sari taxmin haqiqatga yaqinlashishini koʻrsatadi. DeMarconing taxmin sifati koeffitsienti esa taxminning umumiy aniqligini bitta raqamda beradi. Koeffitsient 5 boʻlsa, vaqt boʻyicha oʻrtalashtirilgan taxmin haqiqatdan oʻrtacha beshdan biriga, yaʼni 20 foizga chetlanadi. Raqam qancha katta boʻlsa, taxmin shuncha aniq.

Bir tomonlamalik shundan iboratki, Standish taʼrifiga koʻra loyiha muvaffaqiyatli boʻlishi uchun haqiqiy xarajat va muddat rejadan oshmasligi, hajm esa rejadan kam boʻlmasligi kerak. Rejadan kam xarajat qilgan loyiha ham, rejadan koʻp hajm bergan loyiha ham eʼtiborga olinmaydi, yaʼni xarajatni kam yoki hajmni koʻp baholash jazolanmaydi. Gipotetik misol: byudjet 100 birlik edi. Loyiha 70 birlikka tugasa, Standish uni muvaffaqiyatli deydi, garchi taxmin 30 foizga xato chiqqan boʻlsa ham. Loyiha 110 birlikka tugasa, u «muammoli» boʻladi, holbuki taxmin atigi 10 foizga adashgan.

Jadval ajablantiradi. Y tashkiloti adabiyotdagi natijalar bilan solishtirganda eng yaxshi sinfga kiradi, uning 140 loyihasidagi 667 ta xarajat prognozini mustaqil guruh tekshirgan. Shunga qaramay, Standish taʼrifi uni faqat 35 foiz muvaffaqiyatga ega deb hisoblaydi. X tashkiloti esa Standish koʻrsatkichlariga qarab ish yuritdi, loyiha rahbarlari byudjetni qasddan oshirib soʻradi va qariyb 70 foiz «muvaffaqiyat» oldi, ammo taxminlari sifatsiz edi. Landmark Graphics minimal muddatni taxmin qilishga odatlangan, shuning uchun muvaffaqiyati atigi 6 foiz chiqdi.

Bundan oddiy xulosa chiqadi: bu koʻrsatkichga qarab boshqargan tashkilot boshqalarga qaraganda «muvaffaqiyatliroq» koʻrinadi, aslida esa yomonroq taxmin qiladi. Eveleens va Verhoef buni taxmin amaliyotining buzilishi deb ataydi.

Standish taʼrifni oʻzgartirdi

2015 yilgi hisobotida Standish yangi «zamonaviy» taʼrif kiritdi: vaqtida, byudjet doirasida va qoniqarli natija bilan. Eski taʼrif loyiha boshqaruvi institutining uch cheklovi, yaʼni vaqt, byudjet va hajmga tayangan edi. Standish vakili Jennifer Lynch InfoQ ga intervyuda yangi taʼrif kerak boʻlganini tushuntirdi: loyiha uch cheklovga javob berishi mumkin, lekin kam qiymat berishi mumkin. Intervyuga koʻra, 2015 yilgi tahlil taxminan 50 000 loyihani qamragan.

Bu oʻzgarish tanqidning bir qismini tan olish kabi eshitiladi. Biroq 1994 yilgi 16 foiz bilan 2015 yilgi raqamlarni toʻgʻridan-toʻgʻri solishtirib boʻlmaydi, chunki taʼrif va tanlama boshqa. Bundan keyingi nashrlar, xususan 2020 yilgilar, ochiq birlamchi manbada topilmadi, shuning uchun ularning raqamlari bu yerda keltirilmaydi.

Robert Glass 2006 yilda Communications of the ACM jurnalida bu hisobotning dolzarbligini qayta koʻrib chiqdi. Bertrand Meyer esa 2013 yilgi blogida CHAOS natijalari 2006 yildan beri puxta rad etilgani, boshqa tadqiqotlar ularni takrorlamagani va maʼlumot ommaga yopiqligini yozgan, shunga qaramay hisobotlar hamon keltirilishini aytgan. Bu blog muallifining fikri, shuning uchun manba kuchsiz hisoblanadi.

Bundan nima kelib chiqadi

Quyidagilar manbalardan chiqarilgan tahririyat fikri, tayyor retsept emas.

1. «IT loyihalarining 70 foizi muvaffaqiyatsiz» kabi sarlavhalarni taʼrifni tekshirmay takrorlamang. Avval «muvaffaqiyat» nima ekanini soʻrang.
2. Oʻz loyihangiz uchun muvaffaqiyat taʼrifini oldindan yozing: byudjet va muddatdan tashqari foyda va foydalanuvchi qoniqishini ham kiriting.
3. Taxmin aniqligini kuzating. Prognozni faktga boʻlib, tarixiy farqni yozib borsangiz, keyingi taxmin yaxshilanadi.
4. Faqat byudjetga rioya qilish bilan mukofotlamang, aks holda byudjet qasddan oshirib soʻraladi.
5. CHAOS raqamlarini oʻz loyihangiz uchun benchmark qilib olmang, chunki ularning taʼrifi va tanlamasi tekshirilgan emas.

Standish hisobotlari asosiy savolni toʻgʻri qoʻydi: loyihalar nega rejadan chiqib ketadi. Ularning raqamlari esa bu savolga aniq javob emas.