Jak estymować projekty AI? Czyli legendarny "AI osobomiesiąc"...

W ostatnim czasie pracowałem intensywnie nad estymację projektu pod ogromną platformę AI. Projekt ten (w dużym skrócie) polega na wdrożeniu platformy do zarządzania cyklem życia agentów AI – od ich narodzin, poprzez ewolucją, aż po kwestie governancu oraz bezpieczeństwa tegoż rozwiązania. System ten ma być wstrzyknięty w bardzo złożony ekosystem klienta, a później rolloutowany na wiele różnych business unitów na całym świecie - co dodatkowo komplikuje złożoność estymacji takiego rozwiązania. Nie mówiąc już o wszystkich architektonicznych wyzwaniach oraz trade-offach. I w tym poście chciałbym się podzielić z Wami kilkoma przemyśleniami.

Ludzie nie potrafią estymować projektów! Od branży budowalnej (np. słynne opery w Sydney (+1400% kosztów) i Hamburgu (+1000% kosztów)), poprzez branże lotniczą (np. program myśliwców F-35, albo lotnisko w Berlinie), aż po naszą branże IT ("n" przykładów). I o tym wątku pisał prawie 50 lat temu p. Brooks w mojej ulubionej książce (o której już kilka razy wspominałem 😉, a która nadal jest aktualna!) - "Legendarny Osobomiesiąc". Dlaczego nie potrafimy estymować? To zostało wyjaśnione przez speców od psychologii poznawczej i neurobiologii, ale w dużym skrócie - nasze mózgi po prostu nie są ewolucyjnie przystosowane do planowania złożonych i abstrakcyjnych zadań. I tak dalej jest – mimo, że mamy do dyspozycji coraz to lepsze wspomagacze AI. Na końcu to ludzie muszą potwierdzić estymę - i tutaj mamy do czynienia ze standardowymi problemami - np. lęk i niepewność, presja społeczna, prawo Parkinsona, ignorancja itd. itp. To wszystko nie ułatwia pracy, a klient czeka na wycenę...

No to jak estymować duże projekty AI skoro te obszary mają jeszcze w sobie potężny pierwiastek badawczo rozwojowy (R&D)? Estymując tego typu rozwiązania wchodzimy na bardzo cienki lód... i niestety klienci którzy oczekują estymacji całego wdrożenia mogą otrzymać bardzo rozległe wartości i swoje "opery w Sydney". Dlatego:

1. W projektach AI nie powinno się estymować całości od razu! Uważam, że jest to błąd i niebawem usłyszymy o pierwszych "wtopach" wdrożeń tego typu systemów. Powinno się podchodzić do projektu etapowo, gdzie każda faza "odkrywa kolejne karty" i pozwala wyestymować kolejny etap. Przynajmniej teraz – gdzie jesteśmy jeszcze na etapie R&D w AI. 

2. Powinno się stawiać na podejście PoC first – budowanie działających prototypów i walidacja hipotez biznesowych. Proponujcie fazy discovery, które pomogą Wam zrozumieć oczekiwania oraz złożoności danego ekosystemu klienta. 

3. Należy pamiętać o infrastrukturze, która może kosztować krocie (zarówno CAPEX, jak i OPEX). 

4. Dodatkowo należy pamiętać o tym, że w tradycyjnym IT estymujesz czas i funkcje. W AI estymujesz czas, funkcje oraz dokładność (dokładność/jakość modelu). Jeśli biznes oczekuje 100% dokładności to (aktualnie) macie problem. Pamiętajcie też, że jakość odpowiedzi agentów zależy od jakości danych klienta,  a audyt danych to często pierwsza rzecz, która rozsadza ramy czasowe projektu. 

5. Z uwagi na ogromną niepewność należy używać sprawdzonych modeli. Ja od lat stosuję metodę PERT, gdzie bierzesz pod uwagę różne scenariusze: optymistyczny, pesymistyczny oraz najbardziej prawdopodobny.  

6. Dobrym sposobem jest też wyznaczenie kilku zespołów, które na końcu dostarczą kilka różnych estymacji – na bazie tego będziecie mieli lepsze czucie waszych "wróżb".

7. ... oraz wiele wiele innych elementów... 😉

   
   

Estymacje projektów pozostaną w IT na zawsze (?), bo biznes zawsze będzie pytał - "how much"? Dlatego należy mieć toolbox różnych sposobów estymacji projektów. W dobie początków AI – wzrasta niestety ryzyko błędów - mimo, że możesz zapytać LLMa ile to będzie kosztować. Ja bym jednak nie ryzykował 😉 Jakie macie inne sposoby estymacji wdrażania/ budowy systemów AI?