Rsync: мощная утилита для быстрого, гибкого удаленного и локального копирования файлов

• Чулан *

Rsync разработан для замены rcp – древней программы для удаленного копирования под Unix. Благодаря широким возможностям синхронизации и передачи файлов, rsync часто применяется для создания зеркал.
Использование хитроумного алгоритма, позволяет rsync передавать только изменения в файлах, причем для выявления изменений ему не надо сравнивать два файла. Кроме того, rsync производит сжатие на лету, позволяя тем самым передавать файлы с максимальной эффективностью.
Кроме вышеописанных вкусностей, rsync обладает также и несколькими полезными возможностями обеспечения безопасности. Он поддерживает ssh – рекомендованный протокол для безопасной передачи данных; перед обработкой информации производит ее запись во временный файл, чтобы ничего не случилось с оригиналом, наконец, он поддерживает специальный режим безопасной отладки команд.
Rsync прост в использовании, но не является программой «click-and-play». Это -мощный инструмент, который может быть очень полезным, но не стоит забывать об осторожности, так как его с помощью легко что-нибудь испортить.

Синтаксис утилиты
Синтаксис утилиты простой и довольно обыденный.
rsync [опции] источник [приемник]
Указав только источник, мы увидим список файлов без операции копирования.

Опции и примеры
Для простоты понимания, операции синхронизации привожу сперва локально.
Быстрый способ синхронизировать два каталога, это использовать опцию -a :
rsync -a foobar_src/ foobar_dst/
В данном случае файлы и директории из источника скопируются в приемник, при этом, если там были файлы, то совпавшие по имени будут перезаписаны, а остальные не тронуты.

Опция -a задает архивный режим работы утилиты, и является эквивалентом набора опций:
-r, --recursive - рекурсивный режим;
-l, --links - пересоздание symlinks , это значит, что символические ссылки будут так же переноситься;
-p, --perms - перенос прав;
-t, --times - передача времени модификации и его обновление на удаленной системе. Этот ключ должен быть установлен для точной синхронизации;
-g, --group - установить группу конечного файла таким же, как и у исходного;
-o, --owner - установить владельца конечного файла таким же, как и у исходного;
-D, - same as --devices --specials - установить тип файла устройства и файла специального типа таким же, как у исходного.
В итоге получаем копию директории источника. Кстати, это можно использовать при переносе ОС на другой винчестер, подправив /etc/fstab, установив/переустановив grub на новом винте - получаем рабочую систему, но это уже другая тема.

Для вывода информации о работе утилиты, существует опция -v, --verbose . Чем больше опций -v , тем боле информативным будет вывод утилиты. Максимальная информативность достигается при четырех опциях -v, --verbose .

Если у нас содержится в директории источника актуальная информация, то чтобы не засорять приемник информацией, которая в процессе работы была удалена или перемещена в источнике, нужно старые файлы и директории удалить. Для этого есть несколько опций удаления, каждая из которых предоставляет свой алгоритм удаления. Их аж шесть!
--del - сокращенная форма --delete-during ;
--delete - просто удалить посторонние файлы из приемника;
--delete-before - приемник удаляет перед передачей;
--delete-during - приемник удаляет в процессе передачи, но не перед;
--delete-delay - отложенное удаление/найти файлы для удаления в процессе передачи, но удалить после передачи;
--delete-after - приемник удаляет после передачи, но не перед ней;
--delete-excluded - так же удалить исключенные файлы в приемнике, для этого задается шаблон (--exclude=PATTERN).

Допустим у нас на приемнике есть более свежие файлы, и мы не хотим что бы они были перезаписаны старыми из источника, то для этого применяется ключ -u, --update .
-u, --update - пропустить файлы, если на приемнике файл новее.
Не стоит пугаться если изменились даты директорий, т.к. сами файлы небыли перезаписаны.

Порой файлы могут повредится или быть модифицырованы, но совпадать и датой и размером. То можно использовать проверку контрольной суммы, опция -c, --checksum .

Моей задачей было разобраться, как сделать резервную копию коллекций фотографий, музыки, наработок по университету и работе. При этом в источнике информация всегда актуальная, а то что удалено - мусор. Пример для решения моей задачи:
rsync -auvv --delete-during foobar_src/ foobar_dst/
Это обновит мой приемник, если он был уже чем то заполнен - вычистит то, чего нет в источнике, но не затронет файлы которые поновее, выведет статистику и состояние по каждому файлу.

Удаленная работа
Кроме того, очень полезным будет его способность работать через ssh. Что обеспечивает шифрование канала, что очень важно, если вы синхронизируете два сервера в сети интернет. Для уменьшение трафика, rsync так-же умеет сжимать данные, при передаче по сети.
Необходимы следующие опции:
-e - задать удаленный шелл для использования;
-z - сжимать передаваемые данные, либо задать:
-compress-level=9 - сжатие с установкой уровня компрессии.

Пример копирования с удаленного хоста по протоколу ssh:
rsync -avv --delete-during -compress-level=9 -e "ssh -p remote_ssh_port" user@host:/dir/to/foobar_src foobar_dst/
При этом, на стороне источника нужно иметь установленную утилиту rsync.

Надеюсь эта информация будет полезна многим. Больше информации про утилиту rsync вы сможете найти в ее же документации, благо она хорошо описана.
Там же вы можете найти информацию о том, как поднять дэмон rSync для непосредственного подключения без использования удаленного ssh шелла, а так же описание множества других опций на любой вкус и цвет.

Теги: rsync, копирование, резервирование файлов, синхронизация файлов

rsync в основном предназначен для удаленной синхронизации.
rsync используется для выполнения операций резервного копирования в UNIX / Linux.
rsync — это утилита, которая используется для синхронизации файлов и директорий двух различных локаций. Считается как одна из самых эффективных. Резервные копии можно создавать как на локальном сервере так и на удаленном.

Некоторые важные возможности rsync

Скорость : В первый раз, rsync реплицирует полностью весь контент между источниками и каталогами назначения. В дальнейшем, rsync перемещает только измененные блоки или байты в назначенную локацию, причем делает это действительно быстро. Также имеется возможность ограничить скорость синхронизации.
Безопасность : rsync позволяет шифровать информацию, используя ssh протокол в процессе перемещения данных.
Меньшая пропускная способность : rsync использует блочное сжатие и распаковку данных на приемной и отправляющей стороне в указанном порядке, возможность «докачки» файлов. Таким образом пропускная способность будет использоваться rsync-ом всегда гораздо меньше по сравнению с остальными протоколами передачи данных.

Если имеется доступ по ssh к серверу, это наиболее простой способ для осуществления синхронизации.

Rsync по ssh — это частный случай использования, общий вид команды выглядит так:

Rsync [ОПЦИИ] [ПОЛЬЗОВАТЕЛЬ@]СЕРВЕР:ИСТОЧНИК... [ПОЛУЧАТЕЛЬ] Pull (копирование файлов с удаленной системы на локальную) rsync [ОПЦИИ] ИСТОЧНИК 1 [ИСТОЧНИК N] [ПОЛЬЗОВАТЕЛЬ@]СЕРВЕР:ПОЛУЧАТЕЛЬ

Push (копирование файлов с локальной машины на удаленную)
Обязательным параметром является «ИСТОЧНИК», их может быть несколько.

Рассмотрим несколько примеров:

Примеры:

Скопируется на сервер 192.168.1.1 содержимое папок /backup/file1/ /backup/file2/ в папку backup

В этом примере уже скопируются сами папки

# rsync -zavP /backup/file1/ /backup/file2/ [email protected]:/backup

Как ограничить скорость передачи файлов? Нужно поставить опцию --bwlimit:

# rsync -zavP --bwlimit=100 /backup/file1/ [email protected]:/backup

Как синхронизировать файлы с проверкой по контрольной сумме?

# rsync -сzavP /backup/file1/ [email protected]:/backup

Как скопировать файлы с удаленной машины на локальную?

# rsync -zavP [email protected]:/backup /backup/file1/

Как исключить файл или директорию при копировании?
Исключаем директорию temp файл test.txt и все файлы с расширением tgz расположенные в /home/data

# rsync -azVP --exclude temp/ --exclude test.txt --exclude *.tgz /home/data/ [email protected]:/backup

Как удалить файлы на приемнике, если их не существует на источнике?

# rsync -azVP --exclude /temp/ --exclude test.txt --exclude *.tgz --force --delete /home/data/ [email protected]:/backup

Исключаем директорию /temp файл test.txt и все файлы с расширением tgz расположенные в /home/data

Как использовать нестандартный порт ssh при копировании rsync?

# rsync -zavP "-e ssh -p 12345" /var/lib/ [email protected]:/backup # rsync --progress -avz -e ssh /home/ root@сайт:/home/

Копирует с локального хоста содержимое папки home, на хост сайт в папку home. Для аутентификации используется учетная запись root. В случае обрыва соединения во время копирования, достаточно просто повторить команду и копирование начнется с того места, когда произошел обрыв соединения.

Rsync --progress --bwlimit=10 -avz -e ssh /home root@сайт:/home/

Небольшое изменение. Удаляем «/» после папки home и у нас уже копируется сама папка вместе со всем содержимым. Так же ограничиваем скорость копирования до 10кБ/с, что бы не забивать интернет канал.

Опции:
-a, --archive режим архива, при использовании заменяет несколько ключей (-rlptgoD)

— n отладочный режим
-t , --times – обновлять время модификации файла на приёмной стороне. При отсутствии этой опции или -a становиться неэффективной оптимизация передачи по времени изменения файлов
-r рекурсивно. (Копирует все файлы, включая вложенные каталоги)
-l при копировании сохраняет символические ссылки
-p сохраняет права на файлы
— t сохраняет время изменения файлов
— g сохраняет группу файлов
— o сохраняет владельца файлов (работает только из под root)
— D сохраняет файлы устройств и специальны файлы
— P, отображение прогресса при копировании;
— q, не выводит сообщения об ошибках;
— с, --checksum проверка файлов по контрольной сумме, а по размеру и дате модификации. Дополнительная нагрузка на процессор, сильно увеличивает время синхронизации;
— size-only – использование для сверки только размер файлов
— ignore-errors, продолжение копирования и удаления даже после появления ошибок;
— max-delete, максимальное число удаляемых за один раз файлов и каталогов;
— files-from=FILE, задается список файлов и директорий для копирования в файле;
— numeric-ids – не транслировать имена владельца и группы в цифровые UID и GID, оставить на удалённой стороне номера как есть
— R – использовать относительные пути при создании символических ссылок
— A, --acls – сохранение списков ACL
— H, --hard-links – сохранение жестких ссылок
— S, --sparse – оптимизировать разреженные файлы
— x, --one-file-system – не выходить за пределы текущей точки монтирования
— u, update пропускать обновление файлов, которые новее исходных
— h, human-readable вывод цифр в читаемом виде (Кб, Мб, Гб)
-v verbose подробные вывод операций (отладочной информации)
-z сжатие файлов при копировании
— compress-level - уровень сжатия
— e ssh использовать при копировании ssh

Progress показывает прогресс выполнения копирования
--bwlimit =KBPS ограничивает скорость передачи файлов (Kbit/s)
--del – удалить файлы в папке назначения которых нет в источнике (точная копия)
– –delete-after удалить после. Если в основном месте был удален какой-то файл, или каталог,
то после синхронизации в backup сервере, в каталоге он тоже будет удален
- - password-file Путь, где находится файл с паролем.

Перед тем как запустить скрипт на рабочей машине, опробуйте всё в отладочном режиме, для этого используется ключ -n . В этом случае, rsync не будет менять или удалять файлы, но покажет, весь ход работы.

Rsync -a --progress /home/ /mnt/export/

Копирует внутри одного компьютера содержимое папки home, в папку /mnt/export/. Подобное копирование применяется когда необходимо сохранить все права на перемещаемые файлы.

Описание

rsync - программа, похожая на rcp, но более гибкая и использует протокол remote-update значительно увеличивающий скорость передачи файлов. Данный протокол позволяет передавать по сети только различия между двумя наборами файлов, используя при этом алгоритм проверки контрольных сумм.

Возможности программы:

• поддержка копирования ссылок, устройств, владельцев, групп и прав доступа к файлам;
• использовать функции, аналогичные tar в графической оболочке;
• режим, игнорирующий CVS файлы;
• возможность использования удаленных консольных соединений ssh и rsh;
• не требует привилегий суперпользователя (root);
• конвейерная передача данных, уменьшающая время синхронизации
• поддержка анонимного копирования с помощью демонов, что позволяет создавать автоматические "зеркала" данных.

Rsync позволяет сделать синхронизации с локального компьютера на удаленный и наоборот, но не поддерживает синхронизации между двумя удаленными компьютерами.

Существует два варианта связи с удаленным компьютером, это использование rcync-демона а в этом случае связь идет напрямую, через протокол TCP и соединение с помощью дистанционного терминального соединения, такого как ssh.

Для указания типа соединения с узлом используется символ двоеточия ":", если оно использовано один раз перед именем узла, то это будет соединение через ssh. При использовании демона, двоеточие указывается дважды или адрес узла задается в виде rsync://имяузла.

Если не указать компьютер источник или получатель тогда, вместо пропущенного, будет использован локальный компьютер.

Необходимо помнить, что rsync должен быть установлен и на компьютере получателе и отправителе.

Возможно использование rsync и в случае, когда источник и получатель находятся на одном компьютере. В этом случае утилита работает как улучшенная команда копирования.

Примеры:

Перенести все файлы, совпадающие с шаблоном *.c из текущей папки на компьютер foo в папку scr. При этом если на удаленном компьютере существуют файлы с такими именами, то будут передаваться только изменения, а не файлы целиком.

Rsync -t *.c foo:src/

Перенести все файлы из папки src/bar, включая подпапки и их содержимое с компьютера foo в папку /data/tmp/bar на локальном компьютере. При этом при переносе будет использован режим сжатия данных и "архивный" режим, позволяющий сохранить символьные ссылки, права, атрибуты, владельцев.

Rsync -avz foo:src/bar /data/tmp

Слэш в конце указания пути источника данных позволяет изменить поведение команды и не создавать новую подпапку на компьютере получателе, например две следующие команды выполняют одинаковое действие:

Rsync -av /src/foo /dest rsync -av /src/foo/ /dest/foo

Скопировать файлы file1 и file2 с помощью демона на локальный компьютер в папку /dest. Каждый добавленный файл или папка источник должен содержать /modname/ и перед ним должен быть пробел. Все остальные пробелы считаются частью имени файла.

Rsync host::"modname/dir1/file1 modname/dir2/file2" /dest

Скопировать файлы file1 и file2 на локальный компьютер в папку /dest с помощью дистанционного подключения к оболочке bash. Обработка имен файлов происходит на удаленном компьютере и возможна ситуация, когда удаленный компьютер неправильно обработает пробелы (очень редко).

Rsync -av host:"dir1/file1 dir2/file2" /dest

В случае если имя файла содержит пробелы можно использовать обратный слэш для их указания или маску или шаблон для пробелов, например:

Rsync -av host:"file\ name\ with\ spaces" /dest rsync -av host:file?name?with?spaces /dest

Работа через демона

Прямое подключение к rsync демону обычно происходит через 873 TCP порт и необходимо, чтобы он был запущен для приема на удаленном компьютере. Работа через демона аналогична работе через оболочку bash за исключением:

• Необходимо использование двух символов "::" для разделения имени компьютера (хоста) и пути или указание в виде rsync://имяузла.
• первое слово в "пути" это имя модуля.
• удаленный демон может вывести сообщение о моменте подключения
• если не указать путь на удаленном компьютере, то будет показан список доступных путей
• нельзя использовать параметры, предназначенные для режима --rsh

Например, копировать все файлы, доступные удаленному модулю с именем src.

Rsync -av host::src /dest

Некоторые модули могут потребовать авторизации, в этом случае будет запрошен пароль. При написании скрипта процедуру авторизации можно выполнить автоматически, задав значение пароля в глобальной переменной RSYNC_PASSWORD или в параметре --password-file. Но при этом нужно помнить, что в некоторых версиях операционных систем, значения глобальных переменных видны всем пользователям и в этих системах правильнее будет использование параметра --password-file.

Возможно подключение через прокси сервер с помощью установки значения переменной в оболочке bash RSYNC_PROXY. При этом необходимо проверить, что конфигурация web proxy поддерживает соединения через порт 873.

Иногда полезно использовать возможности демона при соединении по ssh. Такой режим полезен, например, для шифровки передачи данных. С точки зрения пользователя синтаксис команды передачи данных с помощью демона через удаленное sh соединение практически не отличается от обычного соединения с помощью демона. За исключением необходимости явного указания соединения через rsh в командной строке с помощью параметра --rsh=КОМАНДА . (Переменная bash RSYNC_RSH в данном случае не может быть применена). Например:

Rsync -av --rsh=ssh host::module /dest

В случае если необходимо использование другого пользователя удаленного компьютера, то нужно учитывать, что Пользователь, указанный перед символом @ указывает на имя пользователя модуля rsync, а не компьютера. А пользователь ssh указывается с помощью параметра -l например:

Rsync -av -e "ssh -l ssh-user1" rsync-user2@host::module /dest

Где user1 - это пользователь ssh, а user2 пользователь для доступа к модулю, если это требуется.

Запуск rsync-демона для приема соединений.

Для того чтобы было возможно соединение с помощью демона, он должен быть запущен на удаленном компьютере. Процедура запуска и настройки демона описана в описании rsyncd.conf (5) . При использовании --rsh ручной запуск не требуется.

Параметры rsync

Многие параметры команды имеют длинное и короткое написание, некоторые имеют только "длинный" вариант. Для установки значения после параметра необходимо использовать конструкцию "=Значение".

Параметры, используемые при запуске демона rsync

Правила фильтрации

Позволяют настраивать какие файлы должны быть включены в копирование (include), а какие исключены. Шаблоны включения/исключения могут быть указаны непосредственно в командной строке, а могут быль прочитаны из фала или канала ввода.

Когда будет построено дерево каталогов для копирования, rsync будет проверять каждое встреченное имя файла на соответствие шаблонам. Сначала проверяется на соответствие шаблона исключения, потом включения.

Шаблоны правил имеют следующий синтаксис:

RULE

RULE,MODIFIERS

Возможно использование коротких или длинных имен правил, которые описаны ниже. Если Вы используете имена, то необходимо использовать запятую для разделения правил (RULE) и модификаторов (MODIFIERS). Шаблон должны следовать после одиночного пробела или символа подчеркивания. Допустимо использование следующих приставок для описания правил:

Exclude, - определяет шаблон исключений.

Include, + определяет шаблон включений.

Merge, . указывает на файл, в котором описаны дополнительные правила.

Dir-merge, : указывает на каталог слияния.

Hide, H определяет шаблон для передачи скрытых файлов.

Show, S файлы, которые не совпадают с шаблоном и не скрытые.

Protect, P задает шаблон для файлов, которые нельзя удалять.

Risk, R файл совпадающие с шаблоном и незащищенные.

Clear, ! очищает текущие значения включений/исключений. Не требует параметров.

Если правила считываются из файла, то строки начинающиеся с символа # и пустые строки игнорируются.

Параметры --include/--exclude не дают тех возможностей для фильтрации файлов как описано выше. Данные параметры, как и --filter могут принимать только одно правило (шаблон для каждого). Для полного использования всех возможностей используйте импорт правил из файла с параметрами --filter (синтаксис для файла) или --include-from/--exclude-from.

Правила шаблонов для включения/исключения файлов.

INCLUDE/EXCLUDE PATTERN RULES

При определении файлов, которые подлежат копированию возможно использование шаблонов, которые задаются в структурах, начинающихся с символов "+" и "-". Данные шаблоны сравниваются с именами файлов выборке.

Если шаблон начинается с символа "/", то это означает привязку файла к конкретному месту в иерархии файлов, в противном случае сравнение происходит с конца пути. Это действие похоже на начальный символ "^" в регулярных выражениях. Таким образом "/foo" будет соответствовать корневой папке передачи или в файле слияния (merge-file).

Обычное указание "foo" будет соответствовать файлу с таким именем, встреченным в любом месте выборки. Подробнее о применении "/" в начале шаблона в разделе ANCHORING INCLUDE/EXCLUDE PATTERNS.

• Если шаблон заканчивается на слэш "/", это указывает, что он применяется для каталогов, а не для файлов, ссылок и устройств.
• В шаблоне можно использовать три подстановочных символа: "*", "?" и "[".
  • "*" указывает на любые символы компонента пути и его действие ограничивается символами "/".
  • "**" все символы, включая "/"
  • "?" один любой символ, за исключением "/"
  • "[" вводит класс символов таких как или [[:alpha:]].
• обратный слэш "\" используется для защиты от подстановочных символов, то есть "\?" будет использовано как символ, а не подстановочный знак.
• Если шаблон содержит "/" (не считая завершающий) или "**", то они сравниваются с полным путем, включая каталоги, идущие в начале. Если шаблон не содержит указанные символы, то сравнение идет только по последнему компоненту полного имени файла.

Последовательность символов "dir_name/***" будет совпадать и с каталогом (если было бы указано "dir_name/") и с файлами в данной папке, как если было указано "dir_name/**" (начиная с версии 2.6.7)

Однако когда вы используете параметр --recursive (-r) (он встроен в -a), то каждый подкаталог посещается сверху вниз, то шаблоны include/exclude для файлов и каталогов применяются с рекурсивно. Например, include "/foo/bar/baz" не должны исключать содержимое "/foo" и "/foo/bar"). Если вы исключите отдельный каталог, то rsync может исключить из обхода его подкаталоги, поэтому важно правильно использовать "*"

Следующая группа шаблонов неправильная:

+ /some/path/this-file-will-not-be-found

+ /file-is-included

Это ошибка, так как родительский каталог "same" исключен из выборки и rsync никогда не найдет файлы, находящиеся в папках "some" или "some/path". Одним из решений проблемы будет прямое указание включения всех каталогов в иерархии, как это сделано в следующем примере:

+ /some/path/this-file-is-found

+ /file-also-included

Вот некоторые примеры фильтров включения/исключения:

• "- *.o" будут исключены все файлы, совпадающие с *.o
• "- /foo" исключить копирования файлы или папки с именем foo в корневой папке копирования
• "- foo/" исключить из копирования каталог foo, встреченный в любом месте дерева
• "- /foo/*/bar" будут исключены файлы bar из копирования, встреченные в каталогах на два уровня ниже начального.
• "+ */", "+ *.c", and "- *" - данное сочетание позволит скопировать дерево каталогов и все файлы расширением.c. Больше ничего скопировано не будет.
• Комбинация "+ foo/", "+ foo/bar.c", and "- *" скопирует только сами каталоги foo и файлы foo/bar.c.

Правила фильтров для MERGE-FILE

Существует возможность объединения файлов с фильтрами в условиях правил фильтрации, указав объединение (.) или объединение каталогов (:)

Существует два типа объединения файлов - одиночный (.) или на каталог (:). В случае одиночного типа файл считывается один раз, и эти правила включаются в список фильтров. В режиме (:) rsync сканирует все каталоги и отслеживает merge файлы. И если такой файл существует, то включает их содержимое в список унаследованных правил. Эти правила должны быть созданы на отправляющей стороне, потому что именно она сканирует каталоги для выявления файлов предназначенных для копирования. Эти файлы в случае необходимости могут быть переданы принимающей стороне^ если вы хотите, чтобы файлы не удалялись. (смотреть раздел PER-DIRECTORY RULES AND DELETE).

Некоторые примеры:

Следующие модификаторы могут быть применены:

• - файл с фильтрами состоит исключительно из шаблонов исключения (возможно использование комментариев)
• + Файл состоит только из шаблонов включения и комментариев.
• C файл должен быть прочитан CVS совместимым способом. Если имя не указано, то предполагается ".cvsignore".
• e исключить имя merge-файла из передачи. Например "dir-merge,e .rules" аналогично "dir-merge .rules" и "- .rules".
• n указывает, что правила не распространяются на подкаталоги.
• w предполагает разделение слов с помощью пробелов (whitespace) вместо нормального построчного считывания. В этом случае строка "- foo + bar" будет считаться двумя шаблонами.

После "+" и "-" могут быть использованы следующие модификаторы:

• "/" шаблон должен сравниваться с абсолютным путем к объекту. Например, "-/ /etc/passwd" исключить передаче файла passwd из каталога "/etc", а "-/ subdir/foo" должна исключать "foo" в том случае если она находится в любом каталоге с именем "subdir" даже если "foo" находится в начальном каталоге, предназначенном для копирования.
• "!" Логическое "нет". Например, последовательность "-! */" должна исключать из копирования все, что не является каталогом.
• C указывает, что все глобальные правила CVS-исключений должны быть вставлены в месте "-C".
• s - правило используется отправляющей стороной. По умолчанию считается, что шаблон влияет на обе стороны в копировании, если не указано --delete-excluded.
• r - указывает, что данные правила должны быть использованы на отправляющей стороне.

В режиме объединения каталогов (:) правила фильтрации файла действуют и для всех подкаталогов относительно каталога, где он был найден, если только не был указан модификатор "n". В случаях если в подкаталогах, на которые были унаследованы правила тоже есть merge-files, то правила из новых файлов будут иметь более высокий приоритет. Чтобы предотвратить действие одного конкретного правила можно использовать указание абсолютного пути с лидирующим "/".

Вот пример фильтра, который должен быть указан с помощью параметра --filter: --filter=". file"

Merge /home/user/.global-filter - *.gz dir-merge .rules + *. - *.o

Это позволит объединить содержимое файла.global-filter в начале списка и также включает содержимое файлов.rules в фильтры.

Если в режиме по каталогам в merge-file указан вместе с путем начала дерева копирования, rsync будет сканировать все родительские папки начиная с начального каталога копирования.

Filter=": /.rsync-filter"

Данное правило заставляет программу отсканировать все каталоги, начиная со стартового на наличие файлов.rsync-filter.

Некоторые примеры команд предварительного сканирования для merge-files:

Rsync -avF /src/path/ /dest/dir rsync -av --filter=": ../../.rsync-filter" /src/path/ /dest/dir rsync -av --filter=": .rsync-filter" /src/path/ /dest/dir

Первые две команды будут искать файлы с правилами ".rsync-filter" в "/" и "/src" до того как будет начато нормальное сканирование в каталоге "/src/path" и его подкаталогах. Третья команда избегает поиска файла с правилами фильтрации в родительском каталоге и ищет его во всех каталогах, которые передаются.

Если вы хотите включить содержимое ".cvsignore" в ваш шаблон, вы должны использовать модификатор ":C", который включит в шаблоны (:), но будет разбирать его по CVS-совместимым правилам.

Правила очистки списка фильтров.

LIST-CLEARING FILTER RULE

Действующий список фильтров можно очищать, используя правило "!". С помощью него возможна очистка как глобальных (изначальных) фильтров, так и унаследованных.

Закрепленные INCLUDE/EXCLUDE шаблоны

Как уже говорилось раньше глобальные шаблоны, возможно закреплять на начальный каталог (они называются закрепленными "ANCHORING"). Эти правила касаются шаблонов, начинающихся с "/".

Предположим, что мы хотим сравнить два исходных файла, один как абсолютный путь "/home/me/foo/bar", а второй просто с путем "/home/you/bar/baz". Ниже как различные команды сравнивают файлы для передачи

Пример команды: rsync -a /home/me /home/you /dest +/- pattern: /me/foo/bar +/- pattern: /you/bar/baz Файл назначения: /dest/me/foo/bar Файл назначения: /dest/you/bar/baz Пример команды: rsync -a /home/me/ /home/you/ /dest +/- pattern: /foo/bar (note missing "me") +/- pattern: /bar/baz (note missing "you") Файл назначения: /dest/foo/bar Файл назначения: /dest/bar/baz Пример команды: rsync -a --relative /home/me/ /home/you /dest +/- pattern: /home/me/foo/bar (note full path) +/- pattern: /home/you/bar/baz (ditto) Файл назначения: /dest/home/me/foo/bar Файл назначения: /dest/home/you/bar/baz

Пример команды:

Cd /home; rsync -a --relative me/foo you/ /dest +/- pattern: /me/foo/bar (начать с указанного пути) +/- pattern: /you/bar/baz (ditto) Файл назначения: /dest/me/foo/bar Файл назначения: /dest/you/bar/baz

Самый простой способ узнать, что будет скопировано, это использовать параметр --dry-run --verbose и задать / в начале имени.

Режимы фильтрации по каталогам и удаления файлов.

PER-DIRECTORY RULES AND DELETE

Без параметра delete правила (:) действуют только на отправляющей стороне, так что можно спокойно исключить передачу файлов с правилами. Следующие две команды эквивалентны:

Rsync -av --filter=": .excl" --exclude=.excl host:src/dir /dest rsync -av --filter=":e .excl" host:src/dir /dest

Если вы хотите удалять на принимающей стороне и хотите исключить некоторые файлы из удаления, необходимо удостовериться, что принимающая сторона знает об этих исключениях. Самый простой способ использовать режим (:) и параметр --delete-after, это гарантирует, что принимающая сторона сначала получит все правила исключений и только потом попытается удалить что-либо.

Rsync -avF --delete-after host:src/dir /dest

Однако если файлы с шаблонами (merge-files) сами не передаются, то необходимо указать глобальные правила исключения, указав их в командной строке или поддерживать свои файлы фильтрации на принимающем компьютере. Пример:

Rsync -av --filter=": .rules" --filter=". /my/extra.rules" --delete host:src/dir /dest

В данном примере extra.rules может влиять на обе стороны, но на отправляющей стороне правила подчиняются содержимому файлов.rules так как они описаны после ":".

Пакетный режим

Пакетный режим может быть использован для выполнения одних и тех же обновлений для большого количества однотипных систем. Предположим, что имеется дерево документов, которое было реплицировано на некоторое количество компьютеров. Теперь предположим, что в некоторые документы были внесены изменения и эти изменения необходимо перенести на все компьютеры. Для этого rsync запускается с параметром записи пакетного режима на один из существующих узлов. Записанный таким образом список действий можно использовать для переноса файлов на все остальные узлы.

Чтобы применить записанные действия для остальных компьютеров необходимо запустить программу в пакетном режиме указав конечное дерево и имя пакетного файла для чтения.

Для удобства во время записи дополнительно создается скрипт с расширением ".sh" и заданным именем. Данный файл содержит команду, подходящую для обновления дерева файлов на удаленном компьютере. Он может, выполнен в bash с параметром, указывающим на каталог компьютера назначения.

Примеры:

$ rsync --write-batch=foo -a host:/source/dir/ /adest/dir/ $ scp foo* remote: $ ssh remote ./foo.sh /bdest/dir/ $ rsync --write-batch=foo -a /source/dir/ /adest/dir/ $ ssh remote rsync --read-batch=- -a /bdest/dir/

В данных примерах программа используется для обновления /adest/dir/ из /source/dir/ и информация для повторения будет записана в файлах "foo" и "foo.sh". Различия между двумя примерами показывают возможную гибкость применения.

Первый пример показывает, что первоначальная копия не должна быть локальной. Вы можете брать или класть данные на удаленный компьютер с помощью удаленного доступа или rsync-демона. И потом он использует созданный файл foo.sh на удаленном компьютере.

Второй пример считывает пакетные данные из стандартного ввода, так как пакетный файл не нуждается в предварительном копировании на удаленный компьютер. Этот пример позволяет избежать использования скрипта foo.sh.

Предостережения:

При использовании пакетного режима (чтение) ожидается, что каталог назначения будет полностью идентичен дереву, с которого делался пакетный файл. В случае обнаружения расхождений обновление может быть прервано с сообщением об ошибке или с предупреждением. Если вы хотите, чтобы обновление было выполнено независимо от расхождения размера файлов и их дат, то обновление необходимо выполнять с параметром -l (при чтении пакетного файла). В случае возникновения ошибки существует возможность, что дерево будет обновлено лишь частично. В этих случаях уместно использование rsync в обычном (не пакетном) режиме, чтобы восстановить дерево файлов.

Версия rsync, используемая для обновления должна быть той же версии (или свежее), чем использованная при создании пакетного файла. (Серьезные изменения пакетных файлов были произведены в в версии 2.6.3)

При чтении пакетного файла будут принудительно установлены некоторые параметры для сравнения данных. Другие параметры могут быть изменены. Например --write-batch изменяется на --read-batch, --files-from отбрасывается. --filter/--include/--exclude не требуются, кроме использования --delete.

Символические ссылки.

Существует три варианта поведения программы, когда она встречает символическую ссылку в каталоге.

Если использован --copy-links, то будет скопирован файл, на который указывает ссылка, а не сама ссылка.

Ssh remotehost /bin/true > out.dat

И последующее изучение файла out.dat. Если все работает нормально, то размер этого файла, должен быть равен 0. Если же вы имеете описанную ошибку от rsync, то вероятно обнаружите в этом файле текст или данные. Их необходимо изучить и разобраться в чем проблема. Очень частой ошибкой является неправильно сконфигурированный скрипт запуска (такие файлы как.cshrc или.profile) в которых есть команды для неинтерактивного входа.

Если у вас возникают проблемы с настройкой шаблонов фильтрации, следует указать параметр -vv. На этом уровне отчетности программа покажет, почему был включен или исключен конкретный файл.

Статусы завершения Rsync.

0 Успешное завершение (Success)

1 Синтаксическая ошибка или ошибка выполнения (Syntax or usage error)

2 Несовместимые протоколы (Protocol incompatibility)

Используемые файлы /etc/rsyncd.conf или rsyncd.conf

Есть несколько идентичных серверов (4 ноды) на Amazon EC2 с Ubuntu. Каждый генерирует и хранит у себя на диске кэш, который хотелось бы синхронизировать. Но простой rsync тут не подойдет - файлов несколько миллиардов, nfs - слишком медлителен, и т. д. Полный список рассмотренных вариантов с пояснениями ниже.

К тому же, время от времени нужно удалять устаревшие файлы сразу на всех серверах, что пока делается вручную и занимает несколько суток. Вопрос наиболее быстрой для такого Use Case файловой системы планирую описать позже. Оговорюсь только, что по нескольким причинам была выбрана XFS.

После теста нескольких кластерных технологий и файловых систем, по совету старшего товарища, решили использовать тот же rsync, но в связке с inotify. Немного поискав в интернете готовое такое решение, дабы не изобретать велосипед, наткнулся на csyncd, inosync и lsyncd. На хабре уже была , но он тут не подходит, т.к. хранит список файлов в базе SQLite, которая вряд-ли сможет сносно работать даже с миллионом записей. Да и лишнее звено при таких объемах ни к чему. А вот lsyncd оказался именно тем, что нам и было нужно.

4. Стартуем демон на всех нодах:

/etc/init.d/lsyncd start

Если Вы оставили «nodaemon = true» в конфиге, то сможете видеть что происходит.

Скорость передачи данных достигает 300 Мбит/с и на загрузку сервера это мало влияет (по сравнению с тем же GlusterFS, например), да и задержка в данном случае сглаживает пики. Многое еще зависит от используемой ФС. Тут тоже пришлось провести маленькое исследование, с цифрами и графиками, так как ситуация довольно специфическая и результаты существующих опубликованных тестов не отражают того, что требуется в задаче.

Что еще было рассмотрено и почему не подходит в данном случае

• DRBD – репликация идет на блочном уровне. В случае деградации одного носителя убиваются оба. Ограничение в 2 ноды. (Больше можно, но 3 и 4-й можно подключить только как слейвы.)
• Ocfs2 – используется либо поверх DRBD (о чем есть хорошая на хабре), либо нужно иметь возможность монтировать один раздел с нескольких нод. Невозможно на ec2.
• Gfs2 – аналог ocfs2. Не пробовал, т. к. согласно тестам эта ФС медленней ocfs2, в остальном - ее аналог.
• GlusterFS – вот тут все заработало практически сразу и как надо! Проста и логична в администрировании. Можно сделать кластер до 255 нод с произвольным значением реплик. Создал кластерный раздел из пары серверов и примонтировал его на них же но в другую директорию (то есть сервера были одновременно и клиентами). К сожалению на клиенте этот кластер монтируется через FUSE, и скорость записи оказалась ниже 3 МБ/сек. А так, впечатления от использования очень хорошие.
• Lustre - чтобы запустить сие дело в krenel mode нужно патчить ядро. Как ни странно, в репозитории Ubuntu есть пакет с этими патчами, но вот самих патчей под нее или хотя-бы под Debian я не нашел. И судя по отзывам, понял, что завести это в deb-системе - шаманство.
• Hadoop w/ HDFS, Cloudera - не пробовал, поскольку было найдено другое решение (см. ниже). Но первое что бросается в глаза - написано на Java, следовательно ресурсов кушать будет много, да и масштабы не как у Фесбука или Яху, всего 4 ноды пока.

UPD: Данное решение отлично себя показало на тестах (после чего и была написана статья), но в боевых условиях все оказалось совсем по другому. Минимальная продакшн-конфигурация - 584 тысячи вложенных директорий. А lsyncd навешивает inotify"и на каждую директорию. Сделать это сразу для всего дерева невозможно. Памяти, 584 тысячи нотифаев, съедают относительно немного, около 200 Мб (из 16 ГБ имеющихся), но вот процесс этот занимает 22 минуты. В принципе, не страшно: раз запустил и забыл. Но после этого, при стандартной конфигурации, lsyncd запускает синхронизацию всех файлов, которая в наших условиях либо глючила, либо занимала дни. В общем - не вариант. 100%-ная консистентность не требуется и без начальной синхронизации можно обойтись. Оставалось ее «выключить». Благо, демон написан так, что можно изменить практически все его функции прямо из конфига. Также, для увеличения производительности default.rsync был заменен на default.rsyncssh, а ядро натюнино на предмет лимитов inotify"а. То есть, для большинства задач подойдет конфиг выше, но в нашей конкретной ситуации работает следующее:

Settings = { logfile = "/var/log/lsyncd/lsyncd.log", statusFile = "/var/log/lsyncd/lsyncd.status", statusInterval = 5, --<== чтобы видеть что происходит без включения подробного лога } sync { default.rsyncssh, source = "/raid", host = "node02", targetdir = "/raid", rsyncOps = {"-ausS", "--temp-dir=/tmp"}, --<== описано выше delay = 3, --<== ставим по-меньше, чтобы очередь не забивать init = function(event) --<== перезагрузка функции инициализации. как она выглядела в оригинале можно посмотреть в документации или в исходниках log("Normal","Skipping startup synchronization...") --<== чтобы знать, что мы этот код вообще запускали и когда end } sync { default.rsyncssh, source = "/raid", host = "node03", targetdir = "/raid", rsyncOps = {"-ausS", "--temp-dir=/tmp"}, delay = 3, init = function(event) log("Normal","Skipping startup synchronization...") end }

Настройки ядра

У inotify есть три параметра (см. ls /proc/sys/fs/inotify/):
max_queued_events - максимальное число событий в очереди; default = 16384;
max_user_instances - сколько инстансов inotify может запустить один пользоваетль; default = 128;
max_user_watches - сколько файлов может отслеживать один пользоваль; default = 8192.

Рабочие значения:
echo " fs.inotify.max_user_watches = 16777216 # fs.inotify.max_queued_events = 65536 " >> /etc/sysctl.conf echo 16777216 > /proc/sys/fs/inotify/max_user_watches echo 65536 > /proc/sys/fs/inotify/max_queued_events

Так все заработало уже в продакшине.

Спасибо за внимание!

Программа Rsync (во FreeBSD есть в портах), используется для удаленного копирования () или синхронизации файлов и каталогов, с минимальными затратами трафика. Может практически целиком заменить cp и scp , умеет кодировать данные, поддерживает сжатие и рекурсию, кроме того, прерванные передачи можно с легкостью перезапустить. На страницах руководства, все описано довольно подробно.

Вот несколько примеров: Копировать директорию с контентом: # rsync -a /home/colin/ /backup/colin/ # rsync -a /var/ /var_bak/ # rsync -aR --delete-during /home/user/ /backup/ # Используется относительный путь (см. ниже) То-же что и выше, только по сети и с компрессией. По-умолчанию, Rsync использует для передачи протокол SSH в том числе и с ключами, если таковые имеются. Символ ": " используется как в SCP . Типичный пример удаленного копирования: # rsync -axSRzv /home/user/ user@server:/backup/user/ Исключить из процесса удаленного копирования, директорию tmp в /home/user/ и сохранить иерархию, удаленная директория будет иметь структуру /backup/home/user/ . Данный пример типичен для резервного копирования: # rsync -azR --exclude /tmp/ /home/user/ user@server:/backup/ Использовать 20022 порт для SSH : # rsync -az -e "ssh -p 20022" /home/colin/ user@server:/backup/colin/ Можно использовать демон rsync (с ":: "), это гораздо быстрее, но трафик не шифруется. Местонахождение папки папки для резервного копирования (например /backup ) можно настроить в файле /etc/rsyncd.conf . Переменная RSYNC_PASSWORD служит для того, что-бы избежать необходимости ввода пароля вручную. # rsync -axSRz /home/ ruser@hostname::rmodule/backup/ # rsync -axSRz ruser@hostname::rmodule/backup/ /home/ # Копировать обратно Некоторые важные опции:

• -a, --archive режим архива; то-же что и -rlptgoD (без -H )
• -r, --recursive обходить директории (рекурсия)
• -R, --relative относительные пути
• -H, --hard-links сохранять жесткие ссылки (hardlink )
• -S, --sparse handle sparse files efficiently
• -x, --one-file-system не пересекать границы файловой системы
• --exclude=PATTERN исключить файлы заданного образца
• --delete-during приемник удаляется ПРИ ПЕРЕДАЧЕ
• --delete-after приемник удаляется ПОСЛЕ ПЕРЕДАЧИ

winrsync

Авторизация по ключу

Автоматизация резервного копирования

@ECHO OFF REM rsync the directory My Documents SETLOCAL SET CWRSYNCHOME=C:\PROGRAM FILES\CWRSYNC SET CYGWIN=nontsec SET CWOLDPATH=%PATH% REM uncomment the next line when using cygwin SET PATH=%CWRSYNCHOME%\BIN;%PATH% echo Press Control-C to abort rsync -av "/cygdrive/c/Documents and Settings/%USERNAME%/My Documents/" \ "user@server:My\ Documents/" pause