В «ПриватБанке» рассказали, почему в прошлую пятницу произошел масштабный сбой процессинга и как его восстанавливали

В прошлую пятницу, 13 сентября 2019 года, в «ПриватБанке» произошёл масштабный сбой, в результате которого перестал работать процессинг платежей, терминалы и мобильное приложение Приват24. Клиенты банка не могли расплачиваться в магазинах и торговых сетях с использованием POS-терминалов банка, а также не могли осуществлять денежные переводы в онлайне. Сегодня руководитель ecommerce-проектов «ПриватБанка» Кристина Кармазина опубликовала в Facebook развернутое описание событий того дня.

Сбои в работе ПриватБанка наблюдались до конца пятницы, 13 сентября, а их отголоски — и на выходных. С понедельника процессинг работал стабильно для клиентов банка, но работы по его восстановлению велись до конца дня вторника, 17 сентября. В разгар коллапса платежей в банке сообщили, что сбой случился из-за аварии, но потом уточнили, что основной виной проблем стал “затор из транзакций”, так как многим клиентам в этот день зачислили пенсии, зарплаты и другие выплаты.

“Пятница – это пиковый день для транзакционной нагрузки. Идут зачисления на карту, много трат в пос-терминалах на земле и в интернете. Процессинг нагружен по полной. Мы оптимизируем запросы постоянно. Представьте, что процессинг – это труба, по которой проходят транзакции с карт Банка и с торговых точек по чужим картам, это многосторонний поток.

В пиковые моменты любое “спотыкание” или образование минимального “затора” приводит к реверсам (возвратам транзакций) в системе. Реверсы – это сущность, которая влияет на производительность, т.к. реверсы в системе имеют приоритет. И это похоже на снежный ком. Представьте: идет многосторонний поток, образовалась небольшое накопление транзакций, пошел возврат потоков, реверсы проходят, но не проходят новые транзакции в потоке и становятся в очередь на реверс.

Для процессинга много тыс. транзакций в минуту – это норма. Если в какую-то минуту поток увеличивается – начинаются реверсы. В нагруженный день в онлайне отработать “затор” и все накопленные реверсы нереально. Представили этот ужас? И вот в пятницу 13-го зашли целевые пополнения, пенсия и выплаты, очень много зашло в самый час пик. И количество транзакций превысило норму в пиковую нагрузки.”

Хронология событий выглядит следующим образом:

• 17:32 – начался “затор”, до 19:23 все работало с переменным успехом, реверсы накапливаются, поток транзакций не проходит;
• 19:23 – в банке приняли решение выключить всё: движения по картам, POS-ы, банкоматы, интернет-эквайринг с целью минимизировать поток, провести целевые зачисления, “вырулить” реверсы;
• 21:00 – включили банкоматы;
• 21:08 – включили карты ПриватБанка в банкоматах и POS других банков;
• 22:48 – закончили проведение целевых платежей;
• 23:00 – восстановили полноценную работу eCommerce;
• 23:11 – восстановили полную работоспособность всех комплексов ПриватБанка.

Напомним, что за день до проблем, 12 сентября банк представил обновленное приложение «Приват24», которое получило обновлённый дизайн и новые функции. Тогда же анонсировали запуск технологии, которая позволит осуществлять оплату в розничных сетях с помощью технологии распознавания лица пользователя.

Источник: AIN.UA, ПриватБанк