Awaria Workday zaczęła się od testu kopii zapasowej, pracownicy stracili dostęp do płac

Workday, z którego wielu dużych pracodawców korzysta do obsługi płac, rejestracji czasu pracy i urlopów, przestał działać u klientów po nieudanym teście własnego systemu awaryjnego. Podczas sprawdzania systemów odzyskiwania danych po awarii firma odkryła, że usługi zapasowe nieoczekiwanie połączyły się z działającymi bazami danych, z których korzystają klienci, przez co zapisane w nich dane stały się niespójne. Workday wyłączył dotknięte problemem systemy, aby je naprawić.

Dla pracowników awaria oznaczała ekran logowania z komunikatem „Workday jest obecnie niedostępny”. Osoby zatrudnione w firmach, których dotknął problem, nie mogły rozpocząć ani zakończyć zmiany, sprawdzić informacji o wynagrodzeniu, złożyć wniosku urlopowego ani dokończyć zapisów do programów świadczeń. Zawodzić mogły też zaplanowane zadania przekazujące dane do innych systemów firmowych. Zabezpieczenie, które miało utrzymać usługę podczas awarii, samo doprowadziło do jej przerwania.

Skala działania Workday sprawia, że problem wykracza poza działy kadr. Firma podaje, że z jej oprogramowania korzysta ponad 11 500 organizacji, a na publicznej liście klientów są między innymi Walmart, Target, Netflix, Chipotle, Southwest Airlines, US Department of Energy oraz Jet Propulsion Laboratory należące do NASA. Workday nie poinformował, ilu klientów odczuło skutki awarii, określając jej zasięg jedynie jako „część naszych klientów”. Wiralowe wpisy, według których wszyscy wymienieni pracodawcy mieli problemy, wykraczają więc poza to, co wiadomo. Jak podaje UC Today, serwisy monitorujące awarie odnotowały zgłoszenia ze Stanów Zjednoczonych i Indii.

Wyjaśnienie Workday, opublikowane na stronie ze statusem usług dla klientów i przytoczone przez zespół IT Washington University, jest wyjątkowo bezpośrednie. „Podczas sprawdzania cotygodniowego okna serwisowego dla środowisk odzyskiwania po awarii wykryliśmy, że usługi działające w ośrodku odzyskiwania po awarii nieoczekiwanie połączyły się z produkcyjnymi bazami danych” — głosił komunikat. Firma dodała, że dane znalazły się „w niespójnym stanie”, co mogło powodować błędy przy otwieraniu kont lub uniemożliwiać wykonywanie zadań. Następnie Workday objął konserwacją wszystkie środowiska produkcyjne w grupie klientów oznaczonej jako WD1 i obiecał publikować aktualizacje co 30 minut.

To wyjaśnienie nie odpowiada na najważniejsze pytanie. Kopia zapasowa na wypadek awarii ma sprawić, by problem w jednym miejscu nie przeniósł się do drugiego, tymczasem w tym przypadku test dotarł do właściwego systemu. Workday nie wyjaśnił, jak doszło do takiego połączenia ani czy jakiekolwiek rekordy zostały utracone, a nie tylko pomieszane. Krytykowano również sposób przekazywania informacji. Administratorzy na forach Reddita poświęconych sysadmin i Workday pisali, że problem zaczął się kilka godzin przed pierwszym komunikatem dla klientów — Workday nie potwierdził tej chronologii. W jednym z udostępnionych tam e-maili do klientów firma przyznała, że nie potrafi oszacować czasu przywrócenia usługi, i zaleciła przedsiębiorstwom stojącym przed krytycznymi terminami skorzystanie z planów ciągłości działania.

Dla pracowników praktyczne skutki awarii zależą od tego, kiedy do niej doszło. Godziny osób rozliczanych za czas pracy, które nie mogły zarejestrować rozpoczęcia zmiany, trzeba będzie skorygować ręcznie, a osoby próbujące zdążyć przed końcem terminu zapisów do świadczeń zastały zamknięte drzwi. Niektórzy pracodawcy przesunęli terminy: Emerson College poinformował, że z powodu awarii wydłużył okres otwartych zapisów. Do zdarzenia doszło również pod koniec trudnego tygodnia dla oprogramowania wykorzystywanego w miejscu pracy — wcześniej awaria Microsoft 365 sprawiła, że Outlook i poczta Exchange działały niestabilnie przez drugi dzień.

Dotychczasowy przebieg zdarzeń: Emerson College podał, że Workday wyłączył system około 17:15 czasu wschodniego w piątek, 13 listopada, a LiveNOW from FOX poinformował, że krótko po 17:00 serwis Downdetector odnotował blisko 3000 zgłoszeń problemów. Rzecznik Workday przekazał, że firma „pilnie pracuje nad zbadaniem i rozwiązaniem problemu”, i przeprosił klientów, których dotknęła awaria. W sobotni poranek Workday poinformował klientów, że ponowne indeksowanie i przywracanie ich środowisk powinno zakończyć się w przypadku większości z nich do 11:00 czasu wschodniego w sobotę, 14 listopada; w części przypadków potrwa to dłużej, a klienci otrzymają wiadomość w ramach zgłoszenia do pomocy technicznej. Przedłużony okres zapisów w Emerson College potrwa teraz do południa czasu wschodniego w poniedziałek, 16 listopada.

Przywrócenie działania usługi nie rozstrzygnie trudniejszej kwestii, o którą pracodawcy pytają teraz swojego dostawcę. Będą chcieli wiedzieć, dlaczego test mający potwierdzić, że Workday przetrwa awarię, umożliwił dostęp do danych, które miał chronić.

Tagi: awarie IT, odtwarzanie po awarii, oprogramowanie kadrowe, płace, usługi chmurowe, Workday