Rklon - Rclone

Rclon
Rclone szerokie logo.svg
Zrzut ekranu przy użyciu rclone ncdu.png
Pierwotny autor (autorzy) Nick Craig-Wood
Deweloper(zy) Nick Craig-Wood, Ivan Andreev
Pierwsze wydanie 3 lipca 2014 ; 7 lat temu ( 2014-07-03 )
Wersja stabilna
1.56.1 / 19 września 2021 ; 5 dni temu ( 19.09.2021 )
Magazyn github .com /rclone /rclone
Napisane w Udać się
System operacyjny Linux , Windows , macOS , FreeBSD , NetBSD , OpenBSD , Plan9 , Solaris
Platforma Intel/AMD-64, Intel/AMD-32, ARM-32, ARM-64, MIPS-Big-Endian, MIPS-Little-Endian
Licencja MIT
Strona internetowa rclone .org

Rclone to program komputerowy typu open source , wielowątkowy , działający w wierszu poleceń, służący do zarządzania lub migracji treści w chmurze i innych pamięciach masowych o dużym opóźnieniu . Jego możliwości obejmują synchronizację , transfer , crypt , cache , union , kompresję i montowanie . Witryna rclone zawiera listę obsługiwanych backendów, w tym S3 i Google Drive .

Opisy rclone często zawierają pasmo Rclone synchronizuje twoje pliki z przechowywaniem w chmurze . Te przed 2020 r. obejmują alternatywny Rsync dla Cloud Storage . Użytkownicy nazwali rclone szwajcarskim scyzorykiem przechowywania w chmurze .

Rclone jest dobrze znany ze swoich poleceń rclone synci rclone mountpoleceń. Zapewnia dalsze funkcje zarządzania analogiczne do tych, które są zwykle używane w przypadku plików na dyskach lokalnych, ale które tolerują niektóre przerywane i zawodne usługi. Rclone jest zwykle interfejsem dla serwerów multimedialnych, takich jak Plex , Emby lub Jellyfin, do strumieniowego przesyłania treści bezpośrednio z usług przechowywania plików dla klientów .

Oficjalne menedżery pakietów Ubuntu , Debian , Fedora , Gentoo , Arch , Brew , Chocolatey i inne obejmują rclone.

Historia

Nick Craig-Wood został zainspirowany rsync . Obawy o hałas i koszty energii związane z domowymi serwerami komputerowymi skłoniły go do przyjęcia pamięci masowej w chmurze. Zaczął rozwijać rclone jako oprogramowanie open source w 2012 roku pod nazwą swiftsync .

Rclone został promowany do stabilnej wersji 1.00 w lipcu 2014 roku.

W maju 2017 r. Amazon zabronił nowym użytkownikom rclone dostępu do swojego konsumenckiego produktu do przechowywania plików Amazon Drive . Amazon Drive był reklamowany jako oferujący nieograniczoną przestrzeń dyskową za 55 funtów rocznie. Amazon obwiniał obawy o bezpieczeństwo, a także zakazał innych narzędzi do przesyłania. Usługa Amazon AWS S3 nadal obsługuje nowych użytkowników rclone.

Oryginalne logo rclone zostało wycofane i zastąpione obecnym we wrześniu 2018 roku.

W marcu 2020 r. Nick Craig-Wood zrezygnował z założonej przez siebie firmy hostingowej Memset Ltd, aby skupić się na oprogramowaniu open source.

Blog sektora publicznego Amazon AWS z kwietnia 2020 r. wyjaśnił, w jaki sposób Fred Hutch Cancer Research Center używał rclone w swoim narzędziu Motuz do migracji bardzo dużych zbiorów danych badań biomedycznych do iz magazynów obiektów AWS S3.

W listopadzie 2020 r. rclone został zaktualizowany, aby naprawić słabość w sposobie generowania haseł. Hasła do zaszyfrowanych pilotów mogą być generowane losowo przez rclone lub dostarczane przez użytkownika. We wszystkich wersjach rclone od 1.49.0 do 1.53.2 wartość inicjatora dla generowanych haseł była oparta na liczbie sekund, które upłynęły w ciągu dnia, a zatem nie była naprawdę losowa. CVE -2020-28924 zaleca użytkownikom aktualizację do najnowszej wersji rclone i sprawdzanie haseł chroniących ich zaszyfrowane piloty.

Wersja 1.55 rclone w marcu 2021 zawierała funkcje sponsorowane przez CERN i ich projekt CS3MESH4EOSC. Prace zostały sfinansowane przez UE, aby promować interfejsy programowania aplikacji niezależne od dostawcy i protokoły do ​​synchronizacji i udostępniania danych akademickich w pamięci masowej w chmurze.

Backendy i polecenia

Rclone obsługuje następujące usługi jako backendy. Istnieją inne, oparte na standardowych protokołach, takich jak WebDAV lub S3, które działają. Backendy WebDAV nie obsługują funkcji rclone zależnej od sumy kontrolnej po stronie serwera lub czasu modyfikacji.

Zdalne są zwykle definiowane interaktywnie z tych backendów, lokalnego dysku lub pamięci (jako S3), za pomocą rclone config. Rclone może dodatkowo owinąć te piloty zdalnego sterowania z jednego lub większej liczby alias, chunk, compress, crypti union, piloty.

Po zdefiniowaniu do zdalnych urządzeń odwołują się inne polecenia rclone zamiennie z napędem lokalnym. Po nazwach zdalnych następuje dwukropek, aby odróżnić je od dysków lokalnych. Na przykład zdalny example_remote zawierający folder lub pseudofolder myfolder jest określany w poleceniu jako ścieżka example_remote:/myfolder.

Polecenia Rclone bezpośrednio dotyczą pilotów lub montują je w celu uzyskania dostępu do plików lub przesyłania strumieniowego. Dzięki odpowiednim opcjom pamięci podręcznej, montowanie może być adresowane jak konwencjonalny dysk na poziomie blokowym . Dostępne są polecenia służące do obsługi zdalnych przez SFTP , HTTP , WebDAV , FTP i DLNA . Polecenia mogą mieć podkomendy i flagi. Filtry określają, do których plików na pilocie są stosowane polecenia rclone.

rclone rc przekazuje polecenia lub nowe parametry do istniejących sesji rclone i ma eksperymentalny interfejs przeglądarki internetowej.

Piloty do krypty

Krypta Rclone implementuje szyfrowanie plików w spoczynku w chmurze. Nakłada zaszyfrowany pilot na istniejący wcześniej, w chmurze lub inny pilot. Crypt jest powszechnie używany do szyfrowania / odszyfrowywania multimediów, przesyłania strumieniowego w usługach przechowywania konsumenckich, takich jak Dysk Google .

Plik konfiguracyjny Rclone zawiera hasło crypt. Hasło może być lekko zaciemnione lub cały plik rclone.conf może zostać zaszyfrowany.

Crypt może zaszyfrować zawartość i nazwę pliku lub dodatkowo pełne ścieżki. W tym drugim przypadku istnieje potencjalna kolizja z szyfrowaniem dla backendów w chmurze, takich jak Microsoft OneDrive , mających ograniczone długości ścieżek. Piloty kryptograficzne nie szyfrują czasu ani rozmiaru modyfikacji obiektu. Mechanizm szyfrowania treści, nazwy i ścieżki jest dostępny do kontroli na stronie internetowej rclone. Wyprowadzenie klucza odbywa się za pomocą scrypt .

Przykładowa składnia (Linux)

Te przykłady opisują ścieżki i nazwy plików, ale klucze obiektów zachowują się podobnie.

Aby rekursywnie kopiować pliki z katalogu remote_stuff , na zdalnym xmpl , do katalogu stuff w katalogu domowym: – 

$ rclone copy -v -P xmpl:/remote_stuff ~/stuff

-vumożliwia logowanie i -Pinformacje o postępach. Domyślnie rclone sprawdza integralność pliku (hash) po skopiowaniu; może ponowić próbę każdego pliku do trzech razy, jeśli operacja zostanie przerwana; używa do czterech równoległych wątków transferu i nie stosuje ograniczania przepustowości.

Ponowne uruchomienie powyższego polecenia powoduje skopiowanie wszystkich nowych lub zmienionych plików na pilocie do folderu lokalnego, ale, podobnie jak domyślne zachowanie rsync, nie spowoduje usunięcia z katalogu lokalnego plików, które zostały usunięte z pilota.

Aby dodatkowo usunąć pliki z folderu lokalnego, które zostały usunięte z pilota - bardziej jak zachowanie rsync z --deleteflagą:- 

$ rclone sync xmpl:/remote_stuff ~/stuff

Oraz usuwanie plików ze źródła po ich przeniesieniu do lokalnego katalogu - bardziej jak zachowanie rsync z --remove-source-fileflagą:- 

$ rclone move xmpl:/remote_stuff ~/stuff

Aby zamontować zdalny katalog w punkcie montowania w istniejącym, pustym katalogu rzeczy w katalogu domowym (znak ampersand na końcu powoduje, że polecenie mount działa jako proces w tle):- 

$ rclone mount xmpl:/remote_stuff ~/stuff &

Domyślną składnię rclone można zmodyfikować. Dostępne są alternatywne flagi związane z transferem, filtrem, konfliktem i backendem. Wybór wydajności obejmuje liczbę jednoczesnych wątków transferu; wielkość kawałka; profilowanie limitów przepustowości i agresja pamięci podręcznej.

Przykładowa składnia (Windows)

Te przykłady opisują ścieżki i nazwy plików, ale klucze obiektów zachowują się podobnie.

Aby rekursywnie kopiować pliki z katalogu remote_stuff , na zdalnym xmpl , do katalogu stuff na dysku E:- 

>rclone copy -v -P xmpl:remote_stuff E:\stuff

-vumożliwia logowanie i -Pinformacje o postępach. Domyślnie rclone sprawdza integralność pliku (hash) po skopiowaniu; może ponowić próbę każdego pliku do trzech razy, jeśli operacja zostanie przerwana; używa do czterech równoległych wątków transferu i nie stosuje ograniczania przepustowości.

Ponowne uruchomienie powyższego polecenia powoduje skopiowanie dowolnego nowego lub zmienionego pliku ze zdalnego do katalogu lokalnego, ale nie spowoduje usunięcia z katalogu lokalnego.

Aby dodatkowo usunąć pliki usunięte z pilota również z katalogu lokalnego:- 

>rclone sync xmpl:remote_stuff E:\stufff

I usunąć pliki ze źródła po ich przeniesieniu do katalogu lokalnego:- 

>rclone move xmpl:remote_stuff E:\stuff

Aby zamontować zdalny katalog z nieużywanej litery dysku lub w punkcie montowania w nieistniejącym katalogu: – 

>rclone mount xmpl:remote_stuff X:

>rclone mount xmpl:remote_stuff E:\stuff

Domyślną składnię rclone można zmodyfikować. Dostępne są alternatywne opcje transferu, filtrowania, konfliktu i zaplecza. Wybór wydajności obejmuje liczbę jednoczesnych wątków transferu; wielkość kawałka; profilowanie limitów przepustowości i agresja pamięci podręcznej.

Ocena akademicka

W 2018 r. naukowcy z University of Kentucky opublikowali artykuł konferencyjny porównujący użycie rclone i innych linii poleceń, agentów przesyłania danych w chmurze dla dużych zbiorów danych . Praca została opublikowana dzięki finansowaniu przez Narodową Fundację Nauki .

Później w tym samym roku Centrum Obliczeń Wysokowydajnych Uniwersytetu Utah zbadało wpływ opcji rclone na szybkość przesyłania danych.

Wykorzystanie Rclone w ośrodkach badawczych HPC

Przykładami są University of Maryland , Iowa State University , Trinity College Dublin , NYU , BYU , Indiana University , CSC Finland , Utrecht University , University of Nebraska , University of Utah , North Carolina State University , Stony Brook , Tulane University , Washington State University , Georgia Tech , National Institutes of Health , Wharton , Yale , Harvard , Minnesota , Michigan State , Case Western Reserve University , University of South Dakota , Northern Arizona University , University of Pennsylvania , Stanford , University of Southern California , UC Santa Barbara , UC Irvine , UC Berkeley i SURFnet .

Rclone i cyberprzestępczość

Raporty z maja 2020 r. podały, że hakerzy wykorzystali rclone do wykorzystywania bankomatów Diebold Nixdorf z oprogramowaniem ransomware ProLock . FBI wydało Flash Alert MI-000125-MW w dniu 4 maja 2020 w stosunku do kompromisu. We wrześniu 2020 r. wydali kolejny powiązany alert 20200901-001. Atakujący wykradli / zaszyfrowali dane z organizacji zajmujących się opieką zdrowotną, budownictwem, finansami i usługami prawnymi. Dotknęło to wiele agencji rządowych USA i podmiotów przemysłowych. Naukowcy ustalili, że hakerzy spędzili około miesiąca badając naruszone sieci, używając rclone do archiwizacji skradzionych danych w chmurze przed zaszyfrowaniem docelowego systemu. Zgłoszone cele obejmowały hrabstwo LaSalle i miasto Nowy Sad .

FBI ostrzegło w styczniu 2021 r. w Private Industry Notification 20210106-001 o wymuszeniach przy użyciu oprogramowania ransomware Egregor i rclone. Organizacje na całym świecie były zagrożone publicznym ujawnieniem eksfiltrowanych danych. W niektórych przypadkach rclone ukrywał się pod nazwą svchost . Księgarz Barnes & Noble , amerykański sprzedawca Kmart , producent gier Ubisoft i system metra w Vancouver zostali zgłoszoni jako ofiary.

Dochodzenie w sprawie cyberbezpieczeństwa z kwietnia 2021 r. w sprawie luki zero-day SonicWall VPN SNWLID-2021-0001 przeprowadzone przez zespół FireEye Mandiant ustalił, że atakujący UNC2447 używał rclone do rozpoznania i eksfiltracji plików ofiar. Raport Agencji ds. Bezpieczeństwa Cyberbezpieczeństwa i Infrastruktury AR21-126A potwierdził użycie rclone w atakach ransomware FiveHands.

W postu na Twitterze Microsoft Security Intelligence z czerwca 2021 r. zidentyfikowano użycie rclone w cyberatakach BazaCall. Przestępcy wysyłali e-maile zachęcające odbiorców do skontaktowania się z fałszywym call center w celu anulowania opłaconej usługi. Zespół call center następnie poinstruował ofiary, aby pobrały wrogi plik, który zainstalował złośliwe oprogramowanie w docelowej sieci, ostatecznie umożliwiając użycie rclone do ukrytego wydobywania potencjalnie wrażliwych danych.

Wojny klonów

W artykule na blogu z okazji Dnia Wojen Gwiezdnych w 2021 roku , dostawca usług zarządzania bezpieczeństwem Red Canary ogłosił Rclone Wars , aluzję do Clone Wars . Post zauważa nielegalne użycie innych legalnych narzędzi do przesyłania plików w schematach eksfiltracji i wymuszeń , ale koncentruje się na MEGAsync, MEGAcmd i rclone. Aby zidentyfikować użycie plików wykonywalnych rclone o zmienionej nazwie na zhakowanych urządzeniach, autorzy sugerują monitorowanie pod kątem charakterystycznych poleceń najwyższego poziomu rclone i ciągów flag wiersza poleceń, takich jak remote:i \\.

Rclone lub rsync

Rsync przesyła pliki z innymi komputerami, na których zainstalowano rsync. Działa na poziomie bloku , a nie pliku i ma algorytm delta, dzięki czemu musi tylko przesyłać zmiany w plikach. Rsync zachowuje atrybuty plików i uprawnienia. Rclone ma szerszy zakres możliwości zarządzania treścią i rodzajem backendu, który może adresować, ale działa tylko na poziomie całego pliku / obiektu. Obecnie nie zachowuje uprawnień i atrybutów. Rclone został zaprojektowany tak, aby mieć pewną tolerancję na przerywane i zawodne połączenia lub usługi zdalne. Jego transfery są zoptymalizowane pod kątem sieci o dużych opóźnieniach. Rclone decyduje, które z tych całych plików/obiektów przesłać po uzyskaniu sum kontrolnych do porównania ze zdalnego serwera. Tam, gdzie sumy kontrolne nie są dostępne, rclone może użyć rozmiaru obiektu i znacznika czasu.

Rsync jest jednowątkowy. Rclone jest wielowątkowy z definiowaną przez użytkownika liczbą jednoczesnych transferów.

Rclone może przesyłać dane między dwiema całkowicie odległymi lokalizacjami, czasami bez lokalnego pobierania. Podczas transferu rsync jedna strona musi być dyskiem lokalnym.

Rclone ignoruje końcowe ukośniki . Rsync wymaga ich prawidłowego użycia. Filtry Rclone wymagają użycia **do odwoływania się do zawartości katalogu. Rsync nie.

Entuzjaści Rsync mogą być również entuzjastami rclone. Rsync nadal wpływał na rclone we wrześniu 2020 r.

Tytułowa usługa przechowywania w chmurze rsync.net zapewnia zdalne uniksowe systemy plików, dzięki czemu klienci mogą uruchamiać rsync i inne standardowe narzędzia uniksowe . Oferują również konta tylko rclone .

W 2016 roku plakat na Hacker News podsumował związek rclone z rsync jako:- (rclone) istnieje, aby zapewnić rsync dla rzeczy, które nie są rsync. Jeśli chcesz rsync do rzeczy, które są rsync, użyj rsync .

Zobacz też

Bibliografia

Zewnętrzne linki