вторник, 24 мая 2011 г.

s3cmd

Офсайт
http://s3tools.org/s3cmd

Описание s3cmd sync
http://s3tools.org/s3cmd-sync
в том числе —-exclude / —-include и их варианты с регулярками и файлами.

Также интересен
S3fuse

Filesystem driver for Linux FUSE (Filesystem in USErspace). It will allow for mounting the S3 storage as a fully fledged filesystem to your Linux box.

Есть особенность в том, что есть bucket, но нет команды создания там каталогов... Но это особо и не нужно: s3cmd sync . s3://ourbucket/my/new/path (my/new/path не существует пока) отработает нормально и все пути создаст. Хотя в самом скрипте и есть закомментированный блок:
#{"cmd":"mkdir", "label":"Make a virtual S3 directory", "param":"s3://BUCKET/path/to/dir", "func":cmd_mkdir, "argc":1},
Так что может в дальнейшем и будет такая команда.

Дока с примерами:
http://www.tech6i.com/how-to-use-s3cmd-sync-to-syncrsync-your-data-with-your-s3-bucket/

Many of you have asked whether s3cmd supports Reduced Redundancy Storage recently introduced by Amazon. Yes it does!
RRS is supported in s3cmd 1.0.0-rc1 and newer

Oh, by the way, the magic switch is --reduced-redundancy or --rr for put, sync, cp and mv commands.
http://s3tools.org/reduced-redundancy-storage
You don’t need the development version for this; at least on 0.9.9.91 (recent Ubuntu distro), just add the header as documented by Amazon:

—add-header=x-amz-storage-class:REDUCED_REDUNDANCY

Конвертация non-rr to rr
http://www.bryceboe.com/2010/07/02/amazon-s3-convert-objects-to-reduced-redundancy-storage/

Впрочем, есть проблемы. В частности, копирование 80к картинок +чуть-чуть flv видео занимает много часов, хотя общий объем там относительно небольшой, около гига, канал 10мбит.
С синхронизацией тоже не всё хорошо - грузит проц, проблемы с симлинками итд. Надо читать комменты по ссылкам выше.

Комментариев нет:

Отправить комментарий