Сегодня разбирал кейс клиента, который решил перенести несколько петабайт данных из одного AWS-аккаунта в другой. Казалось бы — S3, кроссакаунтовые копии, что может пойти не так? Оказалось, всё.
Где подвох?
Основные грабли:
- IAM-политики на бакете-источнике не копируются
- Object Lock — отдельная история с танцами с бубном
- Transfer Acceleration резко увеличивает счёт, если не контролировать лимиты
- Сначала снеapshot через Storage Gateway
- Потом докачка изменений через S3 Batch Operations
- Финал — валидация через Athena с проверкой контрольных сумм
Интересно, кто-то сталкивался с подобным? Как вы решали проблемы миграции больших объёмов между аккаунтами?
Что спасло ситуацию
Выручил гибридный подход: