Partycjonować, czy nie partycjonować? Oto jest pytanie.

[sobrus]

@pali
Podam prosty przykład. Mamy SSD, na nim root i home na jednej partycji, updatujemy nasze powiedzmy Ubuntu z 11.04 na 12.10.

Niestety podczas update elektrownia wyłacza prąd, system operacyjny zostaje upierdzielony i mało tego - ponieważ w cache dysku było kilkaset MB niezapisanych danych (pomijając już nawet cache systemu) to system plików wygląda jak Hiroszima w pod koniec wojny.

A gdzieś tam wśród 400tys plików systemowych jest nasza praca magisterska , ale system się nie bootuje, nie można nawet zrobić fsck bez udzielenia miliona odpowiedzi co zrobić z jakimiś inode i czy nie zduplikować danych na bloku numer 325151515.

Nie wiadomo czy wszystko da się naprawić, czy jakieś pliki nie pójdą do lost+found albo po prostu powiedzą papa.
Gdybyśmy mieli osobne home nie byłoby żadnego problemu, bo roota można zaorać, a podczas update nie było zapisu to /home i partycja najprawdopodobniej żyje.

Oczywiście obecne systemy plików są dość odporne, a sam linuks zabezpiecza przed taką utratą danych w cache przez tzw "write barriers" (które jednak można na szczęście wyłaczyć, bo strasznie przymulają - ale nie polecam tego robić ani na root ani na home). Ale i tak lepiej dmuchać na zimne, rożne systemy plików mają różną odporność na takie przypadki.

W przypadku andy'ego to nie ma sensu, bo root i boot to w zasadzie to samo (system). Wydzielenie boota nic nie da. Backupować i przywracać prawie zawsze trzeba oba, bo nie można mieć powiedzmy kernela 3.5 z zainstalowanymi na root źródłami do 3.2. Równie dobrze można wydzielić /usr, /bin i /etc, ale po co? System to całość, warto rozdzielać tylko to co logicznie jest czymś osobnym.

[pali]

To co piszesz jest w pełni zrozumiałe, zgadzam się. W istocie mówisz to samo co ja: musi być jakaś strategia podnoszenia systemu czy odtwarzania z backupu, a w tym przypadku /home jest elementem tej strategii. Jeśli to ważny system produkcyjny warto przećwiczyć strategię - naczelna zasada backupu

No dobrze, a mamy taką sytuację.
Dane wyłącznie prywatne, bez danych OS. Wszystkie równie ważne.
Rozdzielamy je na dwie identyczne partycje na jednym dysku:
../sasha-movies/ na jednej,
../belladonna-movies/ na drugiej partycji.

Jest jakaś różnica w bezpieczeństwie danych?

[sobrus]

W takim wypadku nie ma żadnej.
Chyba że zduplikujesz dane i obie panie będą na obu partycjach.

Ale akurat w tym wypadku lepiej by było postarać się o osobne urządzenie, bo duplikowanie danych na jednym dysku wiele nie pomaga.

[pali]

Moim zdaniem też nie ma żadnej różnicy*.
Stąd twierdzenie andiego o zaletach "separacji" jest nieuzasadnione. Po prostu andy nie przećwiczył strategii - bardzo częsty błąd.

*Coś mi świta, że końcowe obszary klasycznego dysku twardego mają większe P awarii. Ale nie wiem jakie to P i czy w ogóle to prawda.

[sobrus]

Ja dopiero niedawno zacząłem "ćwiczyć strategię" (jeżeli dobrze rozumiem to pojęcie).

Pare razy niestety straciłem dane (za każdym razem na szczęście coraz mniej i coraz mniej cennych).

Na moim komputerze napisałem teraz skrypty snapshotujące automatycznie w tle różne rzeczy po różnych partycjach i dyskach, z możliwością także ręcznego robienia/przywracania bardzo szybkich (rzędu sekund) kopii zarówno całego roota jak i home.

Kopia automatyczna jest trzymana maksymalnie trzy miesiące (uznałem że starczy), co w rezultacie daje mi coś a'la time machine.

A ćwiczenie strategii jest w moim przypadku bardzo proste:
Ile stracę po padnięciu dowolnej partycji, albo dowolnego z dysków lub płyty BD.

Obecnie w zasadzie nic, ale wciąż jakoś nie jestem zadowolony w 100%. Bo nawet utraty kopii szkoda

Co do tego P nie słyszałem o tym, na pewno pierwsze 20-30% dysku jest zdecydowanie szybsze niż reszta, co widać doskonale na dowolnym wykresie z HDTune. Już samo to jest dobrym powodem by go podzielić.

[Yossi]

Tak się zastanawiam.. co powiecie na Uranium Backup? http://www.uraniumbackup.com/index-en.aspx

Wersja Uranium Backup 8 Freeware jest po polsku - jeśli to komuś robi różnicę.

[pali]

Napisany przez sobrus

Ja dopiero niedawno zacząłem "ćwiczyć strategię" (jeżeli dobrze rozumiem to pojęcie).

Po prostu zrobić testowe odtworzenie z backupu.

Przy "statycznych" danych prywatnych jak jakieś filmy, muzyka itp można ten test zrobić myślowo, no ale działające systemy produkcyjne - to już mogą wyjść różne kwiatki.

Równie ważne jest zapisanie procedury odtwarzania, krok po kroku i jej przetestowanie wedle tej dokumentacji. Awaria może być w środku nocy, po pijaku i będziemy zdenerwowani

Napisany przez sobrus

(...) na pewno pierwsze 20-30% dysku jest zdecydowanie szybsze niż reszta, co widać doskonale na dowolnym wykresie z HDTune. Już samo to jest dobrym powodem by go podzielić.

A jak to jest z Windows 7?

Przy Windows 95 dawałem osobną partycję na "plik wymiany", tak jak linuksowy /swap, ofkors na początku obszaru (jeśli dobrze pamiętam, trzeba było użyć linuksowego fdiska).

Da radę tak zrobić dla Win7?

[pali]

Napisany przez Yossi

Tak się zastanawiam.. co powiecie na Uranium Backup? http://www.uraniumbackup.com/index-en.aspx

Wersja Uranium Backup 8 Freeware jest po polsku - jeśli to komuś robi różnicę.

Program wygląda na zaawansowany.
Interfejs fajoski, spis możliwości imponujący - a czy nie ma on gdzieś podstawowych błędów logicznych - cholera wie.

Przejrzalem Tutorials. Wyrywkowe. Mam nadzieję, że w programie zaszyto porządną dokumentację.

[Yossi]

Napisany przez pali

Program wygląda na zaawansowany.
Interfejs fajoski, spis możliwości imponujący - a czy nie ma on gdzieś podstawowych błędów logicznych - cholera wie.

Przejrzalem Tutorials. Wyrywkowe. Mam nadzieję, że w programie zaszyto porządną dokumentację.

Sorry - z Tobą nie chcę nie tylko dyskutować, ale nawet rozmawiać. Z mojej strony EOT.

[sobrus]

Napisany przez pali

Po prostu zrobić testowe odtworzenie z backupu.
(..)
A jak to jest z Windows 7?

Przy Windows 95 dawałem osobną partycję na "plik wymiany", tak jak linuksowy /swap, ofkors na początku obszaru (jeśli dobrze pamiętam, trzeba było użyć linuksowego fdiska).

Da radę tak zrobić dla Win7?

Moje backupy mniej więcej sprawdzałem.

Pod Win7 oczywiście się da zrobić osobną partycję na swap, tak samo jak na kazdym innym.

@Yossi
Ale Pali ma absolutną rację, wiele zaawansowanych programów do backupu, przynajmniej darmowych i okrojonych, zawodzi w najmniej oczekiwanym momencie.

Np. windowsowy Easeus ToDo Backup jest super, pierze i gotuje, ale w wersji free producent nie daje boot cd. W razie awarii windowsa jesteśmy w d***e, choć faktycznie mamy wszystkie potrzebne dane.

Inny przykład : linuksowy BackInTime jest świetnym klonem TimeMachine. Działającym w oparciu o crona.
Jest tylko jeden zonk - jakoś zapomnieli że cron jest przystosowany raczej do serwerów działających 24/7 - a ja nie mam zamiaru włączać komputera o 1 w nocy tylko po to żeby się backup dzienny wykonał . Wszystko ustawione, użytkownik szczęśliwy, ale jest błąd logiczny i backupu nie ma (można zrobić backup co godzinę a nie co dzień ale po co ?).

Jeszcze inny bład logiczny : pojedynczy (bez historii) backup przyrostowy wykonuje się automatycznie po starcie systemu. Przywracamy obraz starego systemu/partycji, uruchamiamy komputer i nasz backup zostanie nadpisany starymi plikami z obrazu - zanim zdążymy go przywrócić.

Takich błędów można popełnić bardzo dużo i nagle okazuje się że jesteśmy bez kopii.

Dlatego wole mieć swoje skrypty i proste programy które robią to samo, ale wiem jak działają i wiem że nie zawiodą (no..jeżeli jednak zawiodą to je poprawie na następny raz...)

Program który wskazałeś może jest dobry - nie wiem - nie używam go.
Trzebaby go dobrze przetestować, żeby wyrobić sobie opinię.

[pali]

Napisany przez sobrus

Dlatego wole mieć swoje skrypty i proste programy (...)

Tutaj należy zrobić pauzę i wyjaśnić windowsiarzom, że owe skrypty sobrusa to nie są setki megabajtów i setki okienek, a zwyczajne pliki tekstowe w liczbie 1-3 zawierające łącznie od 4 do 50 linijek zwykłego tekstu - zależy od stylu zapisu i przyzwyczajeń.

Backup full + incremental + differential można zrobić w 4 linijkach (a nawet w 1 ofkors ale to jest obfuskacja). Ew. reszta linijek to wyjątki, dodatkowe bajery.

Skoro już tyle gadamy o tych backupach, to też należy powiedzieć, że jeśli chodzi o zawartość zwyczajnego komputera domowego, w szczególności takiego z Windowsem nie należy szukać programu do backupu, a programu do archiwizacji danych. Te dwa pojęcia są bardzo bliskie, ale jednak znaczą co innego. Backup stosuje się do zabezpieczenia działającego systemu produkcyjnego i jego roboczych, zmieniających się danych - zawsze występuje tzw. horyzont czyli maks. czas z którego utracimy dane - i godzimy się na to. Nie da rady backupować co do ostatniej sekundy (taki backup byłby albo kosmicznie kosztowny albo replikowałby błędy produkcji). Natomiast dane "prywatne", jak np. filmy na naszym dysku czy dokumenty nie zmieniają się co chwila i zazwyczaj chcemy je zabiezpieczyć w 100% - mieć ograniczoną gwarancję, że nie utracimy ani bajta. Te filmy należy archiwizować i służą do tego zupełnie inne strategie. Program do backupu może zaszkodzić

[sobrus]

Hehe no dokładnie, moje mają raczej pod 50 linijek, bo raz że backupują dwa komputery miedzy sobą to jeszcze

a) trzymają automatyczne kopie z 3 ostatnich dni, tygodni, miesięcy (kopie te nie zajmują miejsca - twarde dowiązania plików).
b) sprawdzają żeby kopia była tworzona tylko raz na dzień/tydzien/miesiąc niezależnie od tego ile razy dziennie wykona się skrypt (zabezpieczenie przez błędem logicznym o którym pisałem wcześniej)
c) są łatwe w użyciu (więc więcej kodu).
d) robią w tle cotygodniowy obraz roota w tar.gz wysyłany na dysk sieciowy (i trzymany tam 3 miesiące zgodnie z punktem a)

Jak chce przykładowo zapamietać stan mojego systemu to piszę
"_temp root"
jak już skończe grzebać i uznam że stary kernel był fajniejszy i wole jednak firefoxa zamiast opery, a sterowniki się nie zainstalowały i x się nie bootuje to:
"_untemp root" (bez sensu ale łatwo wpada do głowy)
czekam te kilkanaście sekund, włączając trimowanie dysku i update gruba i restartuje. tyle. Wszystko mam po staremu z dokładnością do bajta.

podobnie
"_snap root" tworzy nowy katalog z aktualną godziną i datą w nazwie oraz aktualnym snapshotem systemu (co trwa 10 sekund i nie zajmuje miejsca na hdd).

oprócz roota działa to też na home i paru innych katalogach

i takie tam różne jednopoleceniowe skrypty przywracające itd dla leniwych, bo ja jestem leniwy (do tego stopnia że nie chciałoby mi się tego ustawiać przez GUI)

Moje skrypty są rozwinieciem idei którą znalazłem na tej stronie (rozdział 3 i 4 - Pali się pewnie zanudzi, ale polecam)
http://www.mikerubel.org/computers/rsync_snapshots/

[pali]

Wrzucaj wsio, ja jestem noga z backupu, a dla większości to i tak nowość.

***10003; Staruszka rsync znam, ale nie używam. Bez powodu

Robię z użyciem:
różne pakery + tarball + mało znane scp (secure copy) z pakietu ssh (wygenerowane klucze public i private na maszynach).

Obecnie wszystko mam u jednego hostera, w jednej serwerowni - więc czasy transmisji dobre. Ofkors backup u tego samego hostera co produkcja, sam w sobie jest minusem - wiem. Poinformowałem tylko admina, który serwer do czego służy, są na innych maszynach i możliwie odseparowane, także poprzez inne panele klienta, przypisane maile itd itp

***10003; shfs (moduł kernela) + ssh - nie używałem, ale może Ci się spodoba

***10003; Gdybyś miał jakieś materiały do robienia backupu SQL (konkretnie mySQL używam) - poproszę.
Używam mysqldump i czasem zwykłego kopiowania SELECT-INSERT, ale mam wrażenie, że moja wiedza jest zbyt skromna.

***10003; Dzisiejszą noc spędziłem na poznaniu platformy Zope. Chciałem od dawna, ale sprzętu nie miałem - instalacja Plone na wstępie zżera 100 MB RAM bez ruchu i RAM cache Niemniej jest to genialne i wykosztuję się na ten RAM, trudno.
A zainspirowany niniejszym tematem zacząłem od backupu ZODP (baza danych) jest plikiem Data.fs i przy wyłączonym systemie można tak backupować, a działającą bazę backupujemy skryptem repozo.py, który jest w pakiecie.
http://wiki.zope.org/ZODB/FileStorageBackup

[sobrus]

To jest główny skrypt do backupów rsyncem.

Wystarczy go uruchamiać cyklicznie co jeden dzień i sam zatroszczy się o backup i trzymanie kopii przez 3 miesiące.

Użycie jest proste:

_backup katalog_źródłowy katalog_docelowy [FSL]

Trzeci parametr FSL (follow symbolic links) - powoduje że kopiowane są docelowe obiekty dowiązań symbolicznych, czasem się może przydać

W katalogu docelowym tworzone są katalogi na kopie oraz trzy pliki "timestampy" które zawierają informację kiedy był ostatni backup.
Skrypt sam "postarza" kopie i usuwa najstarszą.

W sekcjach exclude dla rsynca trzeba wypisać katalogi których nie chcemy backupować (u mnie np. /a, /nas itp).

Kod jest może nieoptymalny i brzydki ale przecież nigdy nie miał być prezentowany

#!/bin/bash
DIR="$2";

#parametry
if [ -z "$1" ];
then
  echo "Brak katalogu źródłowego";
  exit;
fi;

if [ -z "$2" ];
then
  echo "Brak katalogu docelowego";
  exit;
fi;

if [ "$3" == "FSL" ];
then
  PAR="--copy-dirlinks";
fi;

#utwórz katalogi
if [ ! -d $DIR/D3 ];
then
  mkdir $DIR/D0;
  mkdir $DIR/D1;
  mkdir $DIR/D2;
  mkdir $DIR/D3;
  mkdir $DIR/T0;
  mkdir $DIR/T1;
  mkdir $DIR/T2;
  mkdir $DIR/T3;
  mkdir $DIR/M0;
  mkdir $DIR/M1;
  mkdir $DIR/M2;
  mkdir $DIR/M3;
fi;

#dzienny
CD=$(date +%y%m%d);
GO='NIE';

if [ ! -e $DIR/daystamp ];
then
  GO='TAK';
else
  LD=$(cat $DIR/daystamp | head -1);
  if [ "$CD" \> "$LD" ];
    then GO='TAK'
  fi;
fi;

if [ "$GO" == "TAK" ];
then
  mv $DIR/D3 $DIR/DX
  mv $DIR/D2 $DIR/D3
  mv $DIR/D1 $DIR/D2
  mv $DIR/D0 $DIR/D1
  mv $DIR/DX $DIR/D0
  cp -al $DIR/D1/. $DIR/D0
  rsync -aAX --delete --exclude={/dev,/proc,/sys,/tmp,/run,/var/run,/mnt,/media,/lost+found,/home,/a,/b,/c,/d,/e,/f,/nas,/siec,.gvfs} $PAR $1 $DIR/D0
  echo $CD > $DIR/daystamp
fi;

#tygodniowy

CD=$(date --date="tomorrow" +%Y%W);
GO='NIE';

if [ ! -e $DIR/weekstamp ];
then
  GO='TAK';
else
  LD=$(cat $DIR/weekstamp | head -1);
  if [ "$CD" \> "$LD" ];
    then GO='TAK'
  fi;
fi;

if [ "$GO" == "TAK" ];
then
  mv $DIR/T3 $DIR/TX
  mv $DIR/T2 $DIR/T3
  mv $DIR/T1 $DIR/T2
  mv $DIR/T0 $DIR/T1
  mv $DIR/TX $DIR/T0
  cp -al $DIR/D0/. $DIR/T0
  rsync -aAX --delete --exclude={/dev,/proc,/sys,/tmp,/run,/var/run,/mnt,/media,/lost+found,/home,/a,/b,/c,/d,/e,/f,/nas,/siec,.gvfs} $PAR $1 $DIR/T0
  echo $CD > $DIR/weekstamp
fi;

#miesieczny

CD=$(date --date="tomorrow" +%Y%m);
GO='NIE';

if [ ! -e $DIR/monthstamp ];
then
  GO='TAK';
else
  LD=$(cat $DIR/monthstamp | head -1);
  if [ "$CD" \> "$LD" ];
    then GO='TAK'
  fi;
fi;

if [ "$GO" == "TAK" ];
then
  mv $DIR/M3 $DIR/MX
  mv $DIR/M2 $DIR/M3
  mv $DIR/M1 $DIR/M2
  mv $DIR/M0 $DIR/M1
  mv $DIR/MX $DIR/M0
  cp -al $DIR/D0/. $DIR/M0
  rsync -aAX --delete --exclude={/dev,/proc,/sys,/tmp,/run,/var/run,/mnt,/media,/lost+found,/home,/a,/b,/c,/d,/e,/f,/nas,/siec,.gvfs} $PAR $1 $DIR/T0
  echo $CD > $DIR/monthstamp
fi;

_temp i _untemp są prostsze.
"/d/.backup/qbit/#temp" to mój katalog do trzymania kopii, trzeba to zmienić na coś swojego, podobnie jak usera w /home i swoje wyjątki w rsync

PS. nie testujcie tego na maszynie roboczej, u mnie działa ale u Was od razu nie musi .
_untemp ma rsync z delete na / i teretycznie gdyby coś poszło źle może wszystko ładnie skasować... ja testowałem to początkowo na virtualboxie.

#!/bin/bash

#SRC1 - katalog ze zrodlem do skopiowania
#DST1 - podstawowy katalog do trzymania danych
#DST2 - katalog docelowy dla danej akcji czyli DST1+(root/home)

DST1="/d/.backup/qbit/#temp" 

GO="NIE"

if [ -z "$1" ];
then
  echo "Brak źródła";
  exit;
fi;

if [ "$1" == "root" ]
then 
  SRC1="/";
  DST2=$DST1"/root";
  GO="TAK";
fi;

if [ "$1" == "home" ]
then 
  SRC1="/home/user";
  DST2=$DST1"/home";
  GO="TAK";
fi;

if [ $GO == "NIE" ]
then
  echo "Niepoprawny parametr";
  exit;
fi;

if [ $GO == "TAK" ]
then
  mkdir $DST2;
  rsync -aAX --delete --exclude={/dev,/proc,/sys,/tmp,/run,/var/run,/mnt,/media,/lost+found,/home,/a,/b,/c,/d,/e,/f,/nas,/siec,.gvfs} $SRC1 $DST2
fi;

_untemp

#!/bin/bash
SRC1="/d/.backup/qbit/#temp";
if [ -z "$1" ];
then
  echo "Brak źródła";
  exit;
fi;

if [ "$1" == "root" ]
then 
  DST="/";
  SRC2=$SRC1"/root/*";
fi;

if [ "$1" == "home" ]
then 
  DST="/home/user";
  SRC2=$SRC1"/home/user/*";
fi;

rsync -aAX --delete $SRC2 $DST

if [ "$1" == "root" ]
then 
  update-grub;
fi;

[polakT]

Podczas obsługi dużych firm, bardzo cżesto stosujemy podział na partycje. Podstawowa = objętość dysku -50GB. 50GB tam trzymamy obraz po instalacji systemu i plik archiwum outlooka, partycja jest niedostępna dla użytkownika - nawet RO - jedynie aplikacja ma do niej RW.

Osobiście na komputerze domowym mam:

RAID0 4x500gb = 2TB podzielony na 3 partycje:
- OS1 150GB
- OS2 150GB
- aplikacje reszta

dysk 1TB
- jedna partycja - cały syf, którego nie wyrzucam, ale nie warto o niego dbać

RAID1 2x2tb = 2tb
- jedna partycja- tu trzymam ważne dane (oddzielny kontroler RAID) , backupy partycji systemowych, oraz backupy instalacji serverów i urządzeń sieciowych.

edit:
pulpit i moje dokumenty (cały users) lecą redirectem na RAID1 - w razie padu systemu mam wszystkie dane

komputer stoi pod UPS APC 1000XL - 2 aku o pojemności 18AH sztuka - czas podtrzymania ok godziny

Jedynie o co się martwię to włamanie i kradzież - dlatego płace jeszcze za usługę hostingową o dużej pojemności gdzie siedzą wszystkie configi urządzeń sieciowych, a backupy instalacji systemów są na płytach w lokalizacjach serverów.