Просто о git

Постараюсь как можно проще описать работу с системой управления версиями – Git.
Для начала хотелось бы сказать о плюсах – распределённые системы управления версиями позволяют работать не имея никакого сервера с хранилищем репозитория, это означает, что можно использовать git просто для отслеживания изменений в одном единственном файле, чтобы была возможность откатить изменения, при этом не плодить кучу копий, в которых легко запутаться.
Здесь я хочу описать git лишь с точки зрения отслеживания версий локальных файлов, без использования репозиториев на общем сервере и совместной работы с ним несколькими пользователями.

Установка

 Для установки пользователям линукс достаточно в консоли ввести команду для установки git, например, для Debian это:
# apt-get install git
Также можно установить удобные графические утилиты: git-gui, git-gtk, gitg и т.д. Gitg, например, позволяет вообще не вникать в суть команд, если не требуется каких-то более сложных действий, чем создание коммитов и переход между ветками.
Для пользователей Windows можно скачать git с сайте git-scm.com, однако, при добавлении в репозиторий файлов с русскими названиями, может возникнуть проблема, в этом случае лучше установить cygwin и при установке выбрать один из пакетов – git (он во вкладке devel, если я не ошибаюсь).

Создание репозитория

Для создания репозитория есть два пути: создать новый или клонировать существующий. Для создания репозитория вводим в папке с файлами, версии которых нужно отслеживать:

$ git init

Очень просто. Чтобы клонировать существующий репозиторий нужно ввести:

$ git clone protocol://url

где protocol – протокол, по которому будет производиться передача данных. Git умеет работать с множеством протоколов: http, https, ftp, ssh, git (собственный протокол), file (если репозиторий хранится локально). url – это адрес, который вы должны знать, раз собрались клонировать чей-то репозиторий.

Добавление данных и их фиксация

Для добавления данных в репозиторий служит две команды: add и commit. Первая добавляет файлы в "кэш" репозитория, вторая фиксирует данные.

$ git add <список файлов или .>

$ git commit

Если ввести commit с индексом -a, то автоматически будут добавлены файлы, которые изменились и ранее были добавлены в репозиторий. С ключём '-m <сообщение>' можно добавить сообщение, которое будет показываться при просмотре истории. Если ключ -m не указан, то будет открыт текстовый редактор, в котором это сообщение можно будет ввести, т.е. сообщение – обязательно.

Собственно, фиксация – это и есть "версия" или "коммит", т.е. если файлы будут регулярно изменяться, а мы будет эти изменения фиксировать, то в дальнейшем можно перемещаться от версии к версии, при этом все файлы, ранее добавленные, будут в том состоянии, в котором они были на момент фиксации.

Переход к определённой версии

Допустим, мы сделали какие-то изменения в каталоге, зафиксировали, и хотим вернуться к какой-то более старой версии. Для этого существует команда checkout:

$ git checkout <версия>

Версия указывается либо в виде тега (об этом ниже) или названия ветви (тоже ниже), либо в виде идентификатора коммита, который можно посмотреть, введя

$ git log

Эта команда выведет список всех версий, в начале описания каждой версии будет идти тот самый идентификатор, далее описание и т.д.

Чтобы вернуться к последней версии, нужно ввести:

$ git checkout HEAD

Если захотелось совсем отбросить последние версии, например, из-за большого количества ошибок, то нужно ввести:

$ git reset --hard <версия>

Здесь параметр --hard удалит напрочь все изменения после версии <версия>, поэтому нужно быть внимательным, вводя эту команду. Без этого параметра версии будут удалены, но все файлы в папке останутся в том состоянии, в котором они были до ввода команды, в отличие от команды checkout.

Теги

Также можно помечать определённые версии тегами, для этого существует команда tag:

$ git tag <название>

Название не должно содержать пробелов, однако можно ввести подробное описание также используя ключ -m. Посмотреть список тегов:
$ git tag
Посмотреть список тегов с описанием:
$ git tag -n
(после -n может идти число - количество строк).

Ветки

Ветки – это "ветвления" в истории версий, т.е. после определённой версии изменения могут идти по двум путям, например, один – основной, в котором предполагаются стабильные версии без критических ошибок, второй – экспериментальный, в который можно вносить любые изменения и не бояться потерять данные из первого пути.
Допустим, файлы находятся в каком-то состоянии, и мы хотим, чтобы от этого состояния можно было производить изменения по двум путям. Для этого нужно создать ветку:
$ git branch <название>
Название ветки не должно содержать пробелов. Теперь можно переключиться на эту ветку с помощью команды checkout.
Если нужно создать ветку не от текущего состояния, то используем
$ git branch <название> <версия>
Если нужно создать ветку и сразу же на неё переключиться, то:
$ git checkout -b <название> <версия>
Если не вводить версию, то ветка будет создана от текущего состояния.
При создании репозитория по умолчанию создаётся одна ветка – master.

Удаление ненужных версий

Редко, но требуется привести репозиторий в порядок и удалить из него лишние версии, например, чтобы уменьшить место, занимаемое репозиторием. (если ваш репозиторий используется несколькими людьми, то лучше так не делать, либо это должно быть оговорено с остальными пользователями, т.к. при этом действии всем придётся скачивать все версии после удалённой)
Для этого (и для многого другого) используется команда rebase, самое её простое применение:
$ rebase -i <версия>
где версия – это та версия, следом за которой будут производиться изменения в истории версий. То есть изменения можно производить в версиях, позже, чем введённая.
После ввода команды откроется текстовый редактор, в котором будет достаточно пояснений, чтобы понять, что делать. Нужно слева от версий установить определённые флаги, например, чтобы удалить версию, нужно ввести squash (все изменения просто объединятся с той версией, что выше по списку, т.е. удалится не та версия, рядом с которой ввели слово, а та, что выше), после сохранения документа будет произведено изменение истории, при этом с каждым удалённым коммитом будет предложено ввести новое описание для того коммита, с которым он был объединён. Этого можно избежать, если вместо squash ввести fixup. Кстати, можно не полностью вводить слова, а только первые буквы. Если ввести edit, то после сохранения будет запущен текстовый редактор, в котором можно изменить описание версии.

Считаю достаточным такое описание, если что вспомню, добавлю сюда. Если будет время, то опишу более подробнее, но в другом сообщении.

Захват и обработка видео из консоли

Для обработки видео существует такая утилита, как ffmpeg, которая поддерживает огромное количество кодеков и форматов аудио и видео.

Захват видео с экрана

$ ffmpeg -y -f x11grab -threads 0 -r 10 -s 1920x1080 \
-i :0.0 -preset slower -tune stillimage -an file.mkv

Описание:

• -y – перезаписывать существующие файлы;
• -f x11grab – запись с экрана;
• -threads 0 – автоматически задавать максимальное количество потоков, если указать, число, то можно задать максимальное количество потоков;
• -r 10 – кадров в секунду;
• -s 1920x1080 – размер изображения;
• -i :0.0 – экран для захвата (можно и удалённо), если указать :0.0+10,20 , то запись будет идти с соответствующим смещением на экране;
• -preset slower — предустановка режима записи, существует множество (от ultrafast – самый быстрый режим с большим битрейтом, до placebo – очень медленный режим с минимальным битрейтом), лучше смотреть man x264 и подобрать настройку под производительность системы и выбранную частоту кадров;
• -tune stillimage – предустановка для типа изображения, в данном случае - статическое изображение, т.е. запись с экрана обычных действий (игры записать не получится, для этого нужно указать film или вообще не указывать ничего);
• -an – записывать без звука.

Кодек для записи видео можно указать явно через -vcodec …, по умолчанию для mkv используется libx264.
Для записи звука нужно указать -f oss -i /dev/dsp -acodec libfaac -ab 192k для oss (для ALSA не знаю…).

• -f oss – запись через oss;
• -i /dev/dsp – устройство записи (если несколько звуковых карт, указать своё);
• -acodec libfaac – кодек записи, этот более-менее оптимальный, хотя faac гораздо хуже оригинального от nero;
• -ab 192k — битрейт аудио.

Разрезать видео

ffmpeg -i video.mkv -ss 10:20 -t 15:00 -vcodec copy -acodec copy video2.mkv
Здесь следует сказать только о двух параметрах:

• -ss – смещение относительно начала файла мин:сек;
• -t – длина видео. 

Время может быть указано в формате  hh:mm:ss[.xxx] вплоть до миллисекунд.

Склеить несколько видео

Судя по всему, можно склеивать только видео формата ts и mpg. Для склеивания видео в формате mkv или mp4 с кодеком h264 видимо можно только перекодировав.
ffmpeg -i concat:"video1.mpg|video2.mpg" -vcodec copy -acodec copy video_out.mpg
Три варианта использования с перекодированием:

• Первый вариант с последовательным перекодированием каждого видео:

  ffmpeg -i input1.avi -qscale:v 1 intermediate1.mpg
  ffmpeg -i input2.avi -qscale:v 1 intermediate2.mpg
  cat intermediate1.mpg intermediate2.mpg > intermediate_all.mpg
  ffmpeg -i intermediate_all.mpg -qscale:v 2 output.avi
  

• Вариант с отдельным перекодированием и одновременной склейкой и обратным перекодированием средствами ffmpeg:

  ffmpeg -i input1.avi -qscale:v 1 intermediate1.mpg
  ffmpeg -i input2.avi -qscale:v 1 intermediate2.mpg
  ffmpeg -i concat:"intermediate1.mpg|intermediate2.mpg" -c copy intermediate_all.mpg
  ffmpeg -i intermediate_all.mpg -qscale:v 2 output.avi
  

• Вариант, позволяющий делать всё параллельно (идеально подходит для многоядерных процессоров):

  mkfifo intermediate1.mpg
  mkfifo intermediate2.mpg
  ffmpeg -i input1.avi -qscale:v 1 -y intermediate1.mpg < /dev/null &
  ffmpeg -i input2.avi -qscale:v 1 -y intermediate2.mpg < /dev/null &
  cat intermediate1.mpg intermediate2.mpg |\
  ffmpeg -f mpeg -i - -c:v mpeg4 -acodec libmp3lame output.avi
  

Как перенаправить все запросы в Apache2 одному скрипту

В web-программировании существует проблема, что при запросе разных страниц (речь идёт о php) вызываются разные скрипты, то есть программа на php имеет множество точек входа, что не есть правильно, т.к. в рамках одного приложения должны производиться какие-то одинаковые действия при запуске и остановке (открытие файлов, инициализация объектов, подключение к базе данных и т.д.), поэтому в каждом файле необходимо включать единый скрипт инициализации, что не совсем удобно.
При другом подходе, когда существует один скрипт, но запрос страниц происходит через get-параметры, требуется чётко следить за путями к содержанию страниц, т.е. если мы хотим включить в страницу некоторый файл html, который расположен не в корневом каталоге, и который имеет картинки и другой контент, то нужно позаботится о том, чтобы ссылки на странице были относительно файла скрипта корректными. Такой подход также используется в сайтах, написанных, например, на Perl или Python.
Чтобы избежать такой ситуации, но так, чтобы пользователь видел адрес запрашиваемой страницы в нормальном виде, можно включить обработчик, то есть при запросе страницы будет передано управление одному скрипту, который получит в параметрах адрес запрашиваемой страницы. Таким образом, например, можно написать контент для сайта в виде простых html-файлов, а оформление страницы будет задаваться единым шаблоном с помощью одного скрипта.
Существует по крайней мере 2 способа передачи управления одному скрипту. Заранее скажу, что после включения/выключения модов следует перезапускать Apache.

Мод Actions

Для того, чтобы задействовать эту возможность, нужно включить мод:
# a2enmod actions
Далее в настройках виртуального хоста или в файле .htaccess в корневой папке сайта нужно добавить следующее:

# Документы этого типа мы желаем "пропускать" через обработчик
AddHandler handler .html .htm .php
# Замкнем имя обработчика на конкретный файл
Action handler /index.php?

Здесь handler – просто удобное название обработчика.
/index.php? указывает на то, что всё будет перенаправлено скрипту /index.php через GET-параметры. Если не указать знак вопроса, то параметры будут переданы через POST.
Скрипту будет передан один параметр – строка запроса, т.е., например, если мы введём http://example.com/somedir/file.html?action=foo, то скрипт получит параметр /somedir/file.html?action=foo.
Здесь есть минус – параметры, переданные пользователем, нужно обрабатывать самостоятельно, то есть в php они будут недоступны в массиве $_GET. Кроме того, файлы .php почему-то не хотят перенаправляться, хотя им можно дать расширение html, и тогда пользователю будет казаться, что сайт – статический.

Мод Rewrite

Можно активизировать мод rewrite, который просто подменяет введённый адрес на заданный. Для включения мода нужно ввести:
# a2enmod rewrite
После чего в .htaccess или в конфиг сайта добавить:

#Включить подмену адреса
RewriteEngine on
#Подменять, только, если это не index.php
RewriteCond %{REQUEST_URI}  '!=/index.php'
#Поменять все php, html и htm страницы
RewriteRule ^.*\.(php|html|htm)\??.*$ /index.php

• RewriteEngine on – обязательно вводится, чтобы подмена работала.
• RewriteCond – необязательный параметр, используется условие подмены, в данном

случае проверяется, чтобы сам скрипт не был перенаправлен сам себе (хотя может ничего страшного и не будет, я не пробовал отключать).

• RewriteRule – самый главный параметр, указывает, как подменять запрос, здесь

используются регулярные выражения, первое – что подменять, второе – чем.
По сравнению с обработчиком, параметры GET передаются в php в массив $_GET, в Perl доступны через модуль CGI и т.д. Строка запроса доступна через $SERVER["REQUEST_URI"], из которой можно вытянуть запрашиваемый файл и обработать его должным образом.
Лично я пользуюсь именно таким способом.

Настройка виртуальных хостов в Apache2 (в linux)

Основные настройки сервера можно найти в /etc/apache2 (debian):

• apache2.conf – общие настройки, их можно и не трогать;
• sites-available/*.conf – доступные настройки для сайтов;
• sites-enabled/*.conf – настройки активных сайтов;

Виртуальные хосты

Чтобы добавить сайт, нужно настроить виртуальный хост для него (нужен домен). То есть по запросу сайта по адресу example.com будут задействованы одни настройки, а если на этом же сервере, но запрос сайта будет по адресу test.com, то будут задействованы другие настройки. Таким образом, разегистрировав несколько доменов или используя несколько поддоменов, можно разместить на одном сервере несколько сайтов, независимых друг от друга.
Для включения нужно создать файл в sites-available/ с расширением (обязательно) .conf, можно скопировать файл по умолчанию, находящийся в той же папке, чтобы не писать с нуля.
Примерное содержание файла:

<VirtualHost *:80>
 ServerName example.ru
 ServerAlias www.example.ru

 ServerAdmin admin@example.ru
 DocumentRoot /var/www/example.ru/
 
 <Directory /var/www/example.ru>
  AllowOverride All
  Order allow,deny
  allow from all
 </Directory>

 ErrorLog ${APACHE_LOG_DIR}/error.log
 CustomLog ${APACHE_LOG_DIR}/access.log combined

</VirtualHost>

• *:80 указывает, что с любых адресов будут обрабатываться запросы на порт 80.
• ServerName – адрес виртуального хоста, т.е. все запросы на сервер по доменному  имени example.ru будут обрабатываться именно с этими настройками.
• ServerAlias – просто дополнительное имя.
• ServerAdmin – почта администратора сервера (не знаю зачем, и как действует).
• DocumentRoot – расположение данных сайта.
• Directory… – настройки каталога, каталог может быть любым, в том числе и вложенным в основной, и даже корень /.
• AllowOverride All – позволить перезаписывать настройки для каталога из файлов .htaccess. Остальные настройки не знаю, оставил, как было по умолчанию.
• ErrorLog и CustomLog – логи сервера, также есть настройки для уровня ведения логов.

Включение виртуального хоста

Чтобы включить хост, нужно запустить команду a2ensite <фал настроек (без пути)> от суперпользователя, apache сделает необходимые действия и сайт будет доступен.
Теперьм можно наполнять папку /var/www/example.ru/
После изменения конфигов нужно запускать # service apache2 reload, а после включения/выключения сайтов # service apache2 restart.

Проблема запуска Minecraft на Linux с установленным OSS

После обновления Minecraft до версии 1.6 появилась проблема при запуске игры с установленным OSS по умолчанию. Как выяснилось, проблема была в библиотеке OpenAL, которая поставлялась вместе с этой версией игры. Простая замена ни к чему не привела, т.к. при запуске лаунчера все файлы игры распаковывались откуда-то из архива и заменялись. Поэтому я написал свой скрипт для запуска, который вы можете посмотреть здесь. Для этого скрипта следует создать директорию, в которой будут рабочие библиотеки (libopenal.so или libopenal64.so) можно взять в системной директории вашего дистрибутива или создать символические ссылки к ним.
Данный подход имеет один большой минус -- подобный запуск не позволяет играть на серверах с проверкой лицензии. Собственно, этот способ запуска является "пиратским". Поэтому пришла в голову идея заменять файлы библиотек прямо во время запуска, но после того, как они созданы лаунчером. Подобная идея описывается здесь, но я поступил гораздо проще, я взял из указанного скрипта лишь одну строчку и получил следующий скрипт:

#/bin/bash
MC_BASE_PATH=~/.minecraft
OPENAL=/usr/lib/i386-linux-gnu/libopenal.so.1
OPENAL64=/usr/lib/x86_64-linux-gnu/libopenal.so
CURRENT=$(inotifywait -q -r -e CREATE $MC_BASE_PATH/versions/)
DIR=$(echo $CURRENT | cut -d ' ' -f 3)
DIR=$(echo $CURRENT | cut -d ' ' -f 1)$DIR
echo "Created dir: $DIR"
if [ -e "$DIR/libopenal64.so" ]
then
    ln -sf $OPENAL64 "$DIR/libopenal64.so"
    echo "OpenAL was replaced"
    exit
fi
echo "OpenAL not foud"

Суть в том, что лаунчер при запуске создаёт временную папку в versions с нативными библиотеками, а при завершении работы игры удаляет её. Сразу же после создания папки скрипт заменяет в ней файлы на символические ссылки на системные библиотеки. Я оставил только замену 64-битной версии библиотеки, если система 32-битная, то следует заменять libopenal.so. Также я указал прямой путь к системным библиотекам -- переменные OPENAL и OPENAL64, для других дистрибутивов пути могут быть другие.
Я убрал проверку создания файлов, т.к. у меня команда inotifywait срабатывала только при создании папки, это работает на Debian wheezy, на остальных системах возможно она будет срабатывать и при создании файлов, поэтому я сделал проверку на наличие файла. То, что выводит команда inotifywait можно посмотреть, введя следующую команду, находясь в папке ~/.minecraft:

while true; do inotifywait -r -q -e create versions; done

После чего запускаем лаунчер, запускаем игру и выходим из неё. Затем останавливаем этот бесконечный скрипт, нажав Ctrl-C.

Пакетная запись на dvd/cd-rw в linux

Существует два способа дозаписи на dvd-r и cd-r - это мультисессия и пакетная
запись. В первом случае можно использовать утилиту growisofs:

$growisofs -Z /dev/dvd -JRV "Диск 1" file1 file2 ...

здесь -J - использовать расширение jolie для отображение юникода и длинных имён
файлов, -R - RockRidge для сохранения атрибутов posix, -V - метка тома,
последние параметры - список файлов и папок.

Диск запишется, в дальнейшем для дозаписи нужно следующее:

$growisofs -M /dev/dvd -JRV "Диск 1" file3 "file 4" ...

т.е. меняется один параметр - -Z на -M, в первом случае диск инициализируется и
записывается первая сессия, во втором - записываются последующие сессии.
Подробнее можно узнать в man growisofs.

Данная утилита может иметь другие названия в разных дистрибутивах, в Debian -
growisofs.

Перейдём ко второму случаю, он заключается в том, чтобы отформатировать диск в
файловую систему udf, а потом использовать его как флешку, т.е. записывать файлы
сразу напрямую по отдельности, также можно удалять файлы. Для этого подходит
любая болванка, даже не перезаписываемая, типа dvd-r, но в этом случае при
удалении файлов место на диске освобождаться не будет. Для работы требуется
пакет udftools, который есть в репозитории Debian, он достаточно популярен,
поэтому должен быть и в других дистрибутивов. И так, необходимы следующие
действия:

1. Подготавливаем диск.

Для dvd-rw и bd-re:

$dvd+rw-format -force /dev/dvd

Для cd-rw:

$cdrwtools -q -d /dev/cdrw

Для dvd-r и cd-r пропускаем этот шаг.

2. Форматируем в файловую систему udf

$mkudffs -r 0x0150 --media-type=dvdrw /dev/dvd

Для cd-rw media-type будет cdrw, для dvd-r - dvd и т.д.

-r означает версию udf, если не требуется ничего особого, то лучше поставить
версию поменьше (1.5 хватит для любых целей) для гарантии, что диск будет
читаться на всех ОС. Можно без этой опции, тогда версия будет 2.01.

В файле README из документации пакета udftool написано, что нужно использовать
утилиту pktsetup и использовать вместо /dev/dvd (или /dev/sr0) что-то вроде
/dev/pktcdvd/0, но у меня из-за этого были жуткие тормоза, диск записывался
полностью аж за 10 часов. Этот способ можно использовать, если не получилось
напрямую через /dev/dvd:

$pktsetup 0 /dev/dvd
$mkudffs /dev/pktcdvd/0

В дальнейшем работаем уже с этим устройством.

3. Монтируем файловую систему и работем с ней

$mount -t udf -o rw,noatime /dev/dvd /media/dvd0

noatime нужно, чтобы при чтении не обновлялось время доступа к файлам. Это
сохранит ресурс rw диска и ускорит работу за счёт уменьшения количества
операций.

4. Завершаем работу

После завершения работы сбрасываем кэш файловой системы, отмонтируем её и
вытаскиваем диск:

$sync
$umount /media/dvd0
$eject

Хотя всё выполнится автоматически, если нажать кнопку на dvd-приводе, правда
придётся подождать, т.к. операции могут занять достаточно длительное время.

Дополнительно

Если в вашей системе не разрешены вышеприведённые команды на выполнение
обычному пользователю, то следует их запускать от имени суперпользователя (кроме
команды sync).

Данный способ записи плохо подходит, если требуется забить диск до отказа
мелкими файлами, т.е. производительность очень сильно страдает от этого, и
вместо 15 минут записи образа на dvd-rw, операция может занять несколько часов.
Даже при записи одного большого файла скорость записи dvd-rw 4x снижается до 3x.
Поэтому данный способ подходит, когда требуется регулярно дописывать на диск
небольшой объём данных, например при инкрементальном резервном копировании.

А вообще, если не требуется, чтобы диск читался на windows и других системах,
можно использовать любой тип файловой системы, например ext2 (желательно, чтоб
ФС не была журналируемой). Разумеется, в этом случае подойдёт только
перезаписываемый диск. Просто вместо mkudffs используем

$mkfs.ext2 /dev/dvd

Правда ждать придётся ооочень долго… Поэтому лучше сделать так:

Создаём образ (я обычно использую разряжённый файл):

$dd if=/dev/null bs=4700MB seek=1 of=dvd.img

Форматируем его:

$mkfs.ext2 dvd.img

Записываем:

$growisofs -Z /dev/dvd=dvd.img

Монтируем диск:

$mount /dev/dvd /media/dvd0

Ну и работаем, по производительности ничего не могу сказать, т.к. делал это
только в качестве эксперимента.

Также у меня не было возможности проверить работу на dvd-ram и bluray, но
отличия, скорее всего в способе очистки и опции media-type при форматировании.

​

Инкрементальный бэкап в линукс

Зачастую требуется резервное копирование большого количество данных, в которых

изменяется лишь незначительная их доля. Для этой цели подходит инкрементальный
бэкап, т.е. делается один полный бэкап, а потом записываются лишь изменения в
резервируемых данных.

Я не буду здесь рассматривать все существующие способы инкрементального
резервного копирования, приведу лишь 3, которыми я пользовался.

rdiff-backup

Самое просто решение, просто указываем две папки - откуда копировать и куда
копировать. Данная утилита определяет изменения в файловой системе и записывает
лишь их. В дальнейшем можно восстановить не только последнюю копию, но и все
копии, которые были сделаны до этого. Также при помощи rdiff-backup-fs можно
смонтировать каталог с резервной копией через fuse и получить виртаульную
файловую систему с папками, соответствующими времени копирования, в которых
будут находится файлы, скопированные в это время.

На данный момент утилита имеется в репозиториях большинства популярных
дистрибутивов, поэтому установка не должна составить трудности.

Примеры

Простое резервное копирование папки /home:

$ rdiff-backup /home/ /backup/

Резервное копирование определённых папок:

$ rdiff-backup --globbing-file-list lits.txt /home/user/ /backup/

Пример содержания файла list.txt:

+ /home/user/.asoundrc
+ /home/user/.bashrc
- /home/user/bin/netbeans-7.3.1
- /home/user/bin/eclipse
- /home/user/bin/eclipse-cpp
+ /home/user/bin
+ /home/user/Books
+ /home/user/.config
+ /home/user/databases
+ /home/user/.gconf
+ /home/user/.gconfd
+ /home/user/.local/share/gtg
+ /home/user/.local/share/gnote
+ /home/user/.local/share/Psi+
+ /home/user/.profile
+ /home/user/Projects
+ /home/user/.psi
+ /home/user/.purple
+ /home/user/list.txt
+ /home/user/scripts
+ /home/user/.Skype
+ /home/user/.ssh
+ /home/user/.vim
+ /home/user/.vimrc
+ /home/user/vimwiki
+ /home/user/Документы
+ /home/user/Рабочий стол
- **

+ означает добавить файл или директорию, - - убрать из списка резервного
копирования. В данном примере добавляем определённые каталоги, при этом из папки
bin исключаем некоторые папки, которые резервировать не нужно.

Вместо файла со списком можно использовать ключи --include, --include-regexp
и прочие, подробнее в man rdiff-backup.

Особенности

Можно выделить плюсы и минусы данного метода.

Плюсы:

• можно получить доступ к любой версии резервируемых файлов;
• можно удалять старые бэкапы.

Минусы:

• резервная копия хранится в виде множества файлов, которые с каждым бэкапом
  обновляются до текущего состояния (из-за этого нет возможности дописывать
  бэкап на dvd-r, например).

Incremental tar

Архиватор tar, который содержится в любом дистрибутиве, умеет делать
инкрементальные архивы, если указать опцию -g с указанием файла снапшота.

Примеры использования

Создаём полный бэкап домашней папки:

$tar -cvjf /backup/home.tar.bz2 -g /backup/home.snapshot -C /home/user/ .

Делаем следующий бэкап (например, через неделю):

$tar -cvjf /backup/home.1.tar.bz2 -g /backup/home.snapshot -C /home/user/ .

Первая команда создаёт стандартный архив tar и снапшот состояния файловой
системы на момент бэкапа. Вторая команда читает этот снапшот и архивирует только
изменённые файлы.

Желательно, создавать свой файл снапшота для каждого архива, т.к. он каждый раз
обновляется. Это позволит делать инкрементальный бэкап не только от предыдущего,
но и от первого архива, т.е. создать дифференциальный бэкап.

Недостатки

Существует один недостаток - это то, как tar определяет, какие файлы изменились.
Он проверяет файлы по inode, сверяет атрибуты файла, если они изменились, то
добавляет файл в архив. Вроде бы всё хорошо, но некоторые файловые системы имеют
свойство менять inode файлов для оптимизации или просто не имеют таковых, а ядро
при монтировании назначает каждый раз произвольные значения. Таким образом, при
изменении inode всех файлов, получается полный бэкап. Я с этим столкнулся на
файловой системе btrfs. Также вообще не получится сделать подобное на fat.

Tar + rdiff

Это такой гибридный способ на основе предыдущих, я стал его использовать в
последнее время. Принцип состоит в следующем:

Создание первого бэкапа:

1. Создаём полный архив tar без сжатия:
   $tar -cvf backup.tar /home
2. Создаём файл signature с помощью rdiff:
   $rdiff signature backup.tar backup.signature
3. Архив можно сжать для экономии места.

Создание следующих бэкапов:

1. Создаём полный архив tar без сжатия.
2. Создаём файл signature с помощью rdiff для этого архива, например:
   $rdiff signature backup1.tar backup1.signature
3. Создаём файл rdiff - разницу между предыдущим и текущим архивами:
   $rdiff delta backup.signature backup1.tar backup1.rdiff
4. Можно удалить backup1.tar

Как видно, для создания инкрементального архива не требуется наличие первой
полной копии. Как восстановить последний архив:

$rdiff patch backup.tar bakup1.rdiff backup1.tar

Если бэкапов несколько, то восстановление осуществляется по цепочке.

Сжатие архива и создание сигнатуры для первого архива, а также создание разницы
и сигнатуры для последующих архивов можно выполнить за один шаг, не создавая
несжатые файлы с полным архивом, для этого можно использовать именованные
каналы. Привожу пример скрипта для архивации (для понятности добавил
комментарии):

#!/bin/bash
prefix=all
dt=`date +%Y-%m-%d`
srcsignature="$1"
#Проверка вида бэкапа
if [ -e "$srcsignature" -a -n "$srcsignature"]
then
    ext="rdiff.xz"
else
    ext="tar.xz"
fi
sourcefile=$prefix.$ext
endfile=$prefix.$dt.$ext
sourcesignature=$prefix.signature
endsignature=$prefix.$dt.signature

#Создаём именованные каналы
mkfifo for_signature for_delta

#Создание сигнатуры
rdiff signature for_signature $sourcesignature &
if [ -e "$srcsignature" -a -n "$srcsignature"]
then
    #Создание дельты
    rdiff delta $srcsignature for_delta | xz -zc > $sourcefile &
else
    #Сжатие полного архива
    xz -zc for_delta > $sourcefile &
fi

#Архивация (исправить для использования)
tar -cvf - -C ~/ \
scripts/ \
Документы/ \
Projects/ \
vimwiki/ \
.local/share/gnote/ |\
tee for_signature for_delta > /dev/null

#На всякий случай ждём окончания действий
sleep 10
sync
#Переименовываем файлы
mv $sourcefile $endfile
mv $sourcesignature $endsignature

#Удаляем каналы
rm for_signature for_delta

В качестве единственного параметра этого скрипта выступает файл сигнатуры
предыдущего бэкапа. Если файл не существует, или запуск производился без
параметров, делается полный бэкап. Сам список задаётся в команде tar, там же
можно указать опции архивации.

Есть один недостаток - архивирование выполняется долго, т.к. по сути создаётся
полный архив, но оно того стоит, т.к. в этом случае, в отличие от
инкрементального копирования средствами tar, получаются файлы меньшего размера.
Дело в том, что rdiff находит разницу между бинарными файлами, а в случае с
архивами - между содержанием архивов. Т.е. если изменится незначительно большой
файл, то при помощи rdiff будут записаны только изменения этого файла, а при
помощи tar будет перезаписан весь файл полностью.

Итог

Всё зависит от способа хранения резервных копий, если записывать инкрементальные
архивы на dvd-r, то подойдут 2 и 3 способы, а первый подойдёт только в случае
копирования на внешний винчестер или на другой компьютер по сети.

P.S.:
Кстати, rdiff-backup, использует rdiff для хранения изменений в файлах, хотя об
этом можно догадаться и из названия.

P.P.S.:
Библиотека rdiff также используется в rsync.

​