aws/s3

August 21, 2021

背景

特定の画像ファイルをs3のバケット間でコピーしたい。下記のような画像ファイルのリストは得られているものとする。

20190224015128auhP0mxtSX.png
20190224190754KuNToorMQc.png
20190224190809ryOuqd6bTC.png
20190226065547aZVU6WQLQw.png
20190226065559jnla1SwUik.png

この際、 GNU parallel と aws-cli を使って手軽にコピーした。

sudo yum -y install parallel

cat 画像ファイル名 | parallel -a - --jobs 60 aws s3 cp s3://test-bucket/chat/image/{} s3://test-depot/chat/ $(date +%Y%m%d%H%M).log 2>&1