Azure File Sync – panaceum na Ransomware

Ataki ransomware są coraz częstsze i warto pomyśleć o jakiejś formie kolejnego miejsca na backupy, które będzie naszym zabezpieczeniem na wypadek ataku tego typu. Azure File Sync wraz z obsługą snapshotów może nam ten problem rozwiązać. Szczególnie że od strony użytkownika/administratora jest to bardzo przyjemne rozwiązanie.

Azure File Sync – czym jest

Azure File Sync najprościej mówiąc jest to OneDrive do zastosowań profesjonalnych. Dowolny zasób serwerowy lub klastrowy synchronizujemy z zasobem chmurowym (Storage account w Azure), a dokładniej to mała usługa windowsowa pilnuje żeby wszystko było synchronizowane.

To gdzie są moje dane?

Mamy dwie opcje. Albo wszystkie dane są lokalnie i dodatkowo w Azure, albo ustawiamy że lokalnie trzymamy tylko najświeższe pliki, a te mniej używane leżą tylko w Azure i są dociągane gdy ktoś się do nich odwoła (dokładnie tak samo jak robi to OneDrive).

Przypadki użycia

1. Mam mały zasób na backupy, a backupów coraz więcej

Niech pierwszy rzuci kamieniem ten, któremu nigdy nie skończyło się miejsce 😉

Kupujemy dyski, szacujemy na parę lat do przodu ile tych backupów będzie na naszym klastrze na backupy, po czym rzeczywistość tworzy swoją własną matematykę i nic się nie zgadza. No ale kto powiedział że wszystkie backupy muszą być lokalnie? Jak będzie awaria to potrzebujemy tylko aktualnych, a nie tych z zeszłego miesiąca. A jak potrzebujemy z zeszłego miesiąca, to tylko jakiś mały wycinek a nie wszystkie, więc możemy poczekać żeby się dociągnęły z chmury.

Cloud Tiering

Cloud Tiering example

W swoich środowiskach ustawiłem na początek żeby lokalnie były trzymane tylko pliki z ostatnich 14 dni. Starsze kopie leżą tylko w chmurze. Dzięki temu zależnie jak długo trzymamy w różnych środowiskach kopie, odzyskujemy od kilku do kilkudziesięciu procent przestrzeni.

Na zasobie widzimy oczywiście wszystkie, tylko analogicznie jak w przypadku OneDrive, pliki które są tylko w chmurze lokalnie mają tylko metadate, a zawartość dociągnie się w przypadku dostępu do takiego pliku. Na przykład możemy spokojnie uruchomić odtwarzanie backupy bazy danych (który jest już tylko w chmurze), będzie on tylko trochę wolniejszy bo plik będzie strumieniowany przez internet.

2. Ransomware – chronić się kto może

W obecnych czasach ataki typu ransomware są największą zmorą wszystkich. Widziałem już takie środowiska gdzie wszystko zostało zaszyfrowane, łącznie z tym że zatrzymany został klaster MSSQL i zaszyfrowane wszystkie jego pliki.

Jedną z dróg minimalizacji zagrożenia jest minimalizowanie uprawnień osób które zajmują się takim środowiskiem, ale i tak nie zastąpi to dobrego backupy. Najlepiej takiego który w razie ataku nie zostanie zaszyfrowany, albo mamy kopię backupu, albo jeszcze kopię kopii backupu.

Azure File Sahre Snapshots

Świetnym rozwiązaniem wydaje się Azure File Sync. Wszystkie pliki automatycznie synchronizowane są z chmurą, a po stronie Azure dodatkowo konfigurujemy (np. codzienne) snapshoty. One są za darmo w przypadku backupów, bo tylko modyfikacje plików by nas kosztowały. W przypadku gdy ktoś nam zaszyfruje backupy, to poleci to synchronizacją do Azure, ale po stronie Azure mamy snapshoty które pozwalają nam dostać się do wersji plików przed szyfrowaniem.

Dostęp do zasobów po awarii

To jest prawdziwa wisienka na torcie. Nawet jak stracimy całe DC, całą firmę, wybuchnie pół planety (ale nie te pół z rejonem Azure gdzie trzymamy pliki), to zasób File Share który utworzyliśmy na naszym Storage Account, podpinamy jedną komendą jako zamapowany dysk gdziekolwiek. Tak, gdziekolwiek gdzie mamy dostęp do internetu, możemy nawet na własnym laptopie, jeżeli jest wystarczająco duży i ciężki.

Map Azure File Share as disk

W praktyce plan po takim najgorszym kataklizmie to postawienie najszybszych maszynek w Azure, w tym samym regionie gdzie nasze kopie, a następnie ich szybkie odtwarzanie w lokalnej Azurowej sieci.

Koszty

Same składowanie plików w Azure za darmo nie jest, musimy założyć Storage Account, utworzyć File Share, zdecydować na jakim poziomie HA i szybkości będziemy bazować.

Microsoft dodatkowo nie ułatwia szacowania, licząc użycie na podstawie swoich własnych metryk, których nie jesteśmy w stanie zmierzyć we własnym środowisku. Jedyna opcja to skonfigurowanie środowiska Proof of Concept i rozpoczęcia synchronizacji z mniejszym wolumenem danych. W ten sposób możemy poznać mniej więcej jakie to będą koszty.

Problemy

Nie ma róży bez kolców. Jeżeli w ogóle rozważamy taki mechanizm zabezpieczenia, to pewnie dlatego że mamy środowisko onprem, tzn. wszystkie serwery leżą w jakiejś kolokacji, albo u kogoś pod biurkiem?

1. Łącze internetowe, punkty wymiany ruchu, trasy

Potrzebujemy łącza, szybkiego, stabilnego, działającego. Nawet nie tylko łącza, potrzebujemy krótkiej trasy do regionu Azure który wybierzemy. Ale i to nie daje nam gwarancji, bo po drodze są operatorzy węzłów wymiany ruchu, a oni nie lubią jak im ktoś nagle zapycha sieć. Przekonałem się o tym boleśnie przy pierwszym lockdownie, gdy nagle okazało się, że za węzłem we Frankfurcie, w drodze do jednego z regionów Azure, ktoś mnie zaczął blokować do 200 Mbps. Równiutko 200 Mbps, jak od linijki. Przy produkcyjnym ruchu było to trochę mało. Ale na trasy BGP wpływu nie mamy.

Zasada pierwsza, wybieramy region który jest najbliżej. Aktualnie to region Azure we Frankfurcie, ale i tu coś lub ktoś potrafi nas przyblokować, aktualnie do 400-600 Mbps, mimo bezpośredniego wpięcia obu serwerowni (źródłowej i docelowej) bezpośrednio we Frankfurcie.

Jest na to obejście, możemy wykupić sobie Express Route i spiąć się bezpośrednio z Azure, powinno być szybciej. Nie testowałem, na razie przyjmuję te limity które spotkałem i zobaczymy co przyniesie przyszłość.

2. Ilość danych, szybkość dysków

Backupy robimy zwykle na dyski które szybko zapisują sekwencyjnie. No ale niektóre pliki są małe, więc podpadają bardziej pod kategorię dużej ilości operacji z małymi plikami. O ile zapis na klaster backupowy zwykle poleci przez jakiś cache SSD, więc będzie szybko, to synchronizacja może już z niego nie skorzystać.

No i się na tym przejechałem gdy okazało się, że odczytanie wszystkich plików przez komponent odpowiedzialny za synchronizację jest wolniejsze niż szybkość wpadania nowych plików…

Niecałe 40 mln plików backupów, 20 TB. Z tego 30 procent wymieniało się w ciągu tygodnia na świeże pliki, a Azure twierdził że potrzebuje na wstępną synchronizację 2 miesięcy.

Azure File sync initial upload

Tyle że ja po 3 tygodniach nie miałem już tych plików z którymi zaczynałem… Rozwiązania? Wymieniamy dyski w macierzy na szybsze, albo musimy zrezygnować z części plików, albo podzielić zasób na kilka klastrów plikowych i osobno je synchronizować.

Podsumowanie

Jak widać każda technologia, obojętnie jak kolorowa zaprezentowana przez marketing, ma swoje kruczki i widzę tajemną do zdobycia. Ale nie można się zrażać, ze wszystkich dostępnych chmurowych zasobów na backup backupów, to jest najlepsze rozwiązanie. Nie ma innego, które w razie awarii będzie tak łatwe do podpięcia i użycia.

IaaC – automatyzacja udostępniania maszyn wirtualnych na Hyper-V (Hyper-V IaaC cz. 2)

Powershell jest wystarczającym narzędziem umożliwiającym wykonanie wielu czynności. Świetnie to obrazuje projekt MSLab (wcześniej WSLab – stąd często przemiennie może pojawiać się jedna z nazw), dzięki któremu można stawiać szybkie rozwiązania PoC. Zachęcam do zapoznania się z tym projektem, szczególnie w przypadku budowy rozwiązań PoC. A to w takich przypadkach najczęściej zdarza się, że trzeba szybko wszystko postawić od zera, chociaż może nie tylko w takich przypadkach…

Poszedłem jednak trochę pod prąd, ponieważ wziąłem powyższy kod i wywaliłem to co mi się nie przydaje, dodałem to czego mi brakowało i teraz z powodzeniem stosuję również na produkcji stawiając setki maszyn wirtualnych.

Dlaczego tak? Mam pewność że skrypt się nagle nie zmieni, nie zniknie, mam zachowaną lokalnie taką wersję która dobrze działa w moim środowisku. A Czasami coś się hardokoduje w skrypcie żeby nie mnożyć parametrów które dla każdej maszyny są takie same, a utrudniają czytelność konfiguracji IaaC.

Ale od początku. Co uzyskamy za pomocą MSLab?

  1. Spreparujemy obraz systemu (VHDX), łącznie z wgraniem poprawek zabezpieczeń.
  2. Korzystając z powyższego obrazu i konfiguracji IaaC, utworzymy maszyny wirtualne i wstrzykniemy im wszystko co potrzebne do instalacji nienadzorowanej (włącznie z dodaniem do domeny!).

Przygotowanie obrazów systemów

Zaczynamy od pobrania paczki skryptów https://aka.ms/mslab/download i rozpakowujemy je do C:\WSLab.

Pobieramy również https://github.com/microsoft/MSLab/blob/master/Tools/DownloadLatestCUs.ps1 i zapisujemy do C:\WSLab.

Pobranie poprawek z Windows Update

Zaczynamy od skryptu DownloadLatestCUs.ps1, który uruchamiamy i wskazujemy by pobrał poprawki Cumulative Updates do katalogu C:\WSLab\UpdateRollup

Zależnie jakie docelowo systemy operacyjne chcemy stawiać, wskazujemy odpowiednie numery systemów. Dzięki temu spreparujemy obraz który będzie posiadał w sobie główne poprawki zabezpieczeń (odpada ręczne instalowanie i restartowanie systemu post factum – o ile będziemy utrzymywali dosyć świeży obraz startowy).

Windows Server 2016 LTSC to 1607, Windows Server 2019 LTSC to 1809. Szczegóły który numer co oznacza znajdziemy w https://docs.microsoft.com/pl-pl/windows-server/get-started/windows-server-release-info

Przygotowanie obrazów systemów

Pora na przygotowanie obrazu systemu. W swoich środowiskach korzystam z Windows Server 2019 Standard GUI, oraz Windows Server 2019 Datacenter CORE.
Żeby takie obrazy przygotować wpierw uruchamiamy skrypt (będąc w katalogu C:\WSLab) który pobierze wszystkie potrzebne komponenty do utworzenia obrazu systemu:

Następnie uruchamiamy już ostateczny skrypt przygotowujący obraz systemu:

W trakcie wykonywania podajemy namiary na obraz ISO systemu operacyjnego, katalog gdzie pobraliśmy najnowsze Cumulative Updates do systemu, oraz wskazujemy wersję systemu który ma zostać przygotowany:
– 2019 GUI Standard (1809)
– 2019 CORE Datacenter (1809)

Dysk C: ustawiamy na rozmiar 64 GB.

Obrazy systemów zapisałem pod nazwami:
– Win2019_GUI_Standard_2021_02.vhdx
– Win2019_CORE_Datacenter_2021_02.vhdx

IaaC – Infrastructure as a Code

Bardzo modne ostatnio hasło. Do tej pory tworzenie maszyn wirtualnych na Hyper-V nie było za dobrze zagospodarowane. Był Virtual Machine Manager, który jednak w moich środowiskach powodował problemy wydajnościowe więc z niego zrezygnowałem, można posiłkować się Vagrantem – ale nie przekonał mnie żeby korzystać z niego na produkcji.

Rozwiązanie w pełni oparte na Powershellu ma dla mnie tę ogromną zaletę, że do wszystkiego co się po drodze dzieje mamy wgląd. Wystarczy dowolny edytor tekstu i możemy po kolei prześledzić jakie komendy są wykonywane, a jak potrzebujemy to wykorzystać je również w innych miejscach.

Przygotowanie sieci wirtualnej

Zanim wystartujemy z tworzeniem maszyn wirtualnych, musimy utworzyć dla nich wirtualną sieć do której będziemy je podpinać. Na potrzeby budowania środowiska PoC tworzę sieć typu internal, dzięki czemu wszystkie maszyny wirtualne są odizolowane od świata zewnętrznego, zachowując jednak dostęp do Internetu. Do maszyn dostęp jest tylko z hosta Hyper-V.

Tworzenie sieci opisałem w https://takietam.eu/konfiguracja-sieci-hyper-v-dla-srodowisk-poc-win10

Tworzymy pierwszą maszynę – kontroler domeny

W każdym środowisku zwykle trzeba wystartować od domeny. MSLab potrafi to zrobić za nas, ale w większości przypadków wolę mieć większą kontrolę nad tym co się dzieje. Dlatego pierwsza maszyna jaką wdrożę, będzie ta przeznaczona na kontroler domeny.

Przygotowujemy plik LabConfig.ps1 o zawartości:

We wszystkich przykładach korzystam ze swojej zmodyfikowanej wersji https://github.com/lukaszherman/WsLab/blob/main/POC_local_hyperv.ps1