✎ rclone [Wiki ubuntu-fr]

Vous affichez une ancienne révision du document ! Si vous l'enregistrez, vous créerez une nouvelle version avec ce contenu.

{{tag>synchronisation réseau internet fichiers cloud sauvegarde}}

====== Rclone ======

**[[wp>Rclone]]** est un logiciel libre qui permet de synchroniser des répertoires et des fichiers sur de nombreuses plateformes de stockage différentes. Il dispose en plus de nombreuses fonctionnalités de [[:gestionnaire de fichiers|gestion de fichiers]] à distance sur de très nombreuses plateformes //[[:cloud]]//.

Initialement il offre un fonctionnement similaire à **[[:rsync]]** (il se présente lui-même comme "rsync, pour le stockage cloud"(([[https://github.com/rclone/rclone|GitHub]] : //rsync for cloud storage//))) : il rend la source et la destination identiques en ne modifiant que la destination.\\ 
Désormais il propose aussi de monter tous types de stockages distants en système de fichier, implémente différentes méthodes de synchronisation bidirectionnelle, et fournit ses propres implémentations optimisées d'outils comme **[[:analyseur_usage_espace_disque#en_mode_terminal|ncdu]]**.

C'est un outil en [[:commande_shell|ligne de commande]], mais il existe des interfaces graphiques et il inclut lui-même une interface web.

Grand frère de R**CLONE**, **[[:rsync]]** est très largement utilisé sur Linux pour la copie et synchronisation de fichiers, que ce soit localement ou via le protocole [[:SSH]].\\ 
Il montre cependant ses limites lorsqu'il s'agit de copier du contenu sur des services tiers ou certains protocoles comme le [[:WebDAV]]. Les fonctions ne sont pas implémentées ou s'avèrent extrêmement peu performantes combinées à l'utilisation de **[[:FUSE]]** (pour "faire croire" à **rsync** qu'il s'agit d'un montage local, comme par exemple **[[:davfs2]]** pour accéder à un serveur [[:WebDAV]], ou **[[:fusesmb]]** pour les partages [[:Samba|CIFS / SMB]]).

R**CLONE** est extrêmement performant dans toutes ces situations sans nécessiter d'optimisation particulière (en WebDAV on peut s'attendre à multiplier les vitesses de transferts de **rsync** ou de certains clients par 50 !).

Il prend en charge une quantité sidérante de protocoles et de fournisseurs de services [[:cloud]], dans la [[https://github.com/rclone/rclone#storage-providers|liste desquels]] on peut citer :

* les systèmes de fichiers locaux
  * [[:Samba|SMB / CIFS]] (partages locaux, Windows, Linux ou MacOS)
  * [[:WebDAV]]
  * [[:ssh#monter_un_repertoire_distant_navigation_via_sftp_secure_file_transfer_protocol|SFTP]] ([[:SSH]])
  * [[:FTP]]
  * [[wpfr>HTTP]]
  * [[:Nextcloud]], [[:ownCloud]]
  * [[https://www.seafile.com|Seafile]]
  * OVH
  * Synology C2 Object Storage
  * Google Drive, Google Cloud Storage, Google Photos
  * Amazon S3
  * Microsoft OneDrive
  * OpenStack Swift
  * Oracle Cloud Storage
  * Dropbox
  * Proton Drive
  * Box
  * Cloudflare R2
  * Internet Archive
  * put.io
  * Mega
  * etc.

R**CLONE** permet aussi à l'aide de [[:FUSE]] de monter ces espaces de stockage en système de fichier.

<note warning>
R**CLONE** n'est malheureusement pas traduit en français pour le moment. Il est donc compliqué de l'utiliser sans maîtriser un minimum la langue de John Cleese. N'hésitez pas à demander de l'aide sur le [[https://forum.ubuntu-fr.org|forum]] si besoin !
</note>

===== Installation =====

R**CLONE** est disponible dans les [[:depots#dépôts officiels]] d'Ubuntu.\\ 
Pour l'installer il suffit donc d'[[:tutoriel:comment_installer_un_paquet|installer le paquet]] ''[[apt>rclone]]''.

R**CLONE** est aussi disponible en [[:Snap]] depuis [[https://snapcraft.io/rclone|Snapcraft]].

==== Dernière version ====

Une fois installé, on peut mettre à jour le logiciel à sa dernière version stable très simplement grâce à la commande ''[[https://rclone.org/commands/rclone_selfupdate/|selfupdate]]'' :
<code>sudo rclone selfupdate</code>

===== Configuration =====

<note tip>
Ce chapitre indique comment configurer R**CLONE** depuis un [[:terminal]], mais il est aussi possible de le faire sans doute plus facilement au moyen de l'interface web intégrée, qu'on peut ouvrir avec la commande suivante :
  rclone rcd --rc-web-gui

Les paramètres et le fichier dans lequel ils sont enregistrés restent les mêmes (bien qu'il s'agisse d'une interface [[:web]], elle concerne par défaut bien l'application locale).

Toutefois cette interface n'existe pour le moment qu'en version anglaise.
</note>

La configuration de R**CLONE** se fait par défaut via le fichier ''~/.config/rclone/rclone.conf'', avec une entrée (un paragraphe) pour chaque "//remote//" (il s'agit à chaque fois d'un espace de stockage distant). Le nom de l'entrée est entre crochets ''[]'', suivi des différents paramètres permettant de se connecter au service distant.

R**CLONE** dispose en plus d'un assistant interactif en ligne de commande, qui permet de créer facilement ces entrées dans le fichier de configuration. C'est probablement le plus pratique pour commencer.\\
Entrez la commande suivante dans un [[:terminal]] :

rclone config

Une suite de question vous sera posée en anglais.

* Dans un premier temps tapez ''n'' pour //New remote// (nouveau stockage distant).
  * Entrez un identifiant au choix pour ce stockage, par ex. ''monServeur''. Évitez les espaces et les caractères spéciaux (accents, etc.) !
  * Une liste impressionnante de protocoles et prestataires vous est proposée dans l'ordre alphabétique. Choisissez celui que vous utilisez en tapant son numéro.((Les prestataires compatibles sont listés dans [[https://rclone.org/overview/|ces tableaux]] avec pour chacun les particularités et fonctionnalités disponibles (il s'agit de notions avancées qui ne sont heureusement pas utiles la plupart du temps).))
    * Si vous utilisez [[:Nextcloud]] ou [[:ownCloud]], choisissez //WebDAV// dans un premier temps.((au sujet de [[:Nextcloud]], voir [[https://forum.ubuntu-fr.org/viewtopic.php?pid=22733253#p22733253|ce message]] sur le forum))
  * En fonction du choix précédent vous devrez entrer des informations de connexion.
    * Si vous utilisez [[:Nextcloud]] ou [[:ownCloud]] prennez soin d'indiquer [[:nextcloud#fichiers|l'adresse WebDAV correcte]].
  * Pas besoin d'éditer de configuration avancée : //Edit advanced config?// -> tapez ''n'' (ou simplement //Entrée//).
  * ''y'' ou //Entrée// pour valider la configuration.
  * Puis ''q'' pour quitter.

Le fichier de configuration ''~/.config/rclone/rclone.conf'' sera ainsi créé. Vous pouvez si besoin l'[[:tutoriel:comment_modifier_un_fichier|éditer]] :

<file ini rclone.conf>
[monServeur]
type = webdav
url = https://example.com
vendor = other
user = votreNom
pass = motDePasseChiffré
</file>

La commande ''rclone obscure'' suivie de votre mot de passe permet de chiffrer les mots de passe afin de les utiliser dans ce fichier.

<note tip>Mettez un espace avant '' rclone obscure'' afin d’éviter d’enregistrer votre mot de passe en clair dans l’[[:bash#bash_history|historique bash]] !</note>

==== Exemples ====

<file ini rclone.conf>
[nextcloud]
type = webdav
url = https://nextcloud.exemple.com/remote.php/dav/files/utilisateur
vendor = nextcloud
user = utilisateur
pass = ****************

[serveur-sftp]
type = sftp
host = ftp.exemple.com
user = utilisateur
shell_type = unix
md5sum_command = md5sum
sha1sum_command = sha1sum

[freebox-smb]
type = smb
host = freebox-server.local
user = guest

[freebox-ftpes]
type = ftp
host = exemple.freeboxos.fr
user = freebox
port = 1234
pass = ****************
explicit_tls = true

[kDrive]
type = webdav
url = https://123456.connect.kdrive.infomaniak.com
vendor = Infomaniak
user = utilisateur@exemple.com
pass = ****************

[put.io]
type = putio
token = {"access_token":"****************","expiry":"0001-01-01T00:00:00Z"}

[gdrive]
type = drive
client_id = 123456-abcdef123456.apps.googleusercontent.com
client_secret = XXXXXXXXXXXXXXXX
token = {"access_token":"XXXXXXXXXXXXXXXX","token_type":"Bearer","refresh_token":"XXXXXXXXXXXXXXXX","expiry":"0001-01-01T00:00:00.00+02:00"}
scope = drive
</file>

Ces exemples sont évidemment à ajuster, en fonction des services auxquels on souhaite se connecter :
  * ''utilisateur'' correspond à un identifiant ou nom d'utilisateur.
  * ''exemple.com'' correspond à un nom de domaine.
  * ''1234'' ou ''123456'' correspondent à des numéros de port, ou des identifiants uniques.
  * ''XXXXXXXXXXXXXXXX'' correspond à une clé unique.
  * ''%%****************%%'' correspond à un mot de passe chiffré au moyen de la commande ''rclone obscure''.

<note>
Pour **Google Drive** (''gdrive'' dans ces exemples) l'opération est complexe.

Il faut créer un accès à l'[[https://console.cloud.google.com/apis/api/drive.googleapis.com|API correspondante]]((Voir la [[https://rclone.org/drive/#making-your-own-client-id|documentation Rclone]] en anglais, [[https://developers.google.com/workspace/guides/configure-oauth-consent?hl=fr|celle de Google]] pourra aussi être utile.)) et soigneusement noter (dans un [[:securite#logiciels_de_gestion_de_mots_de_passe|gestionnaire de mots de passe]]) :
  * votre ''ID client''
  * et son ''Code secret'' associé.
Il vaut sans doute mieux renseigner ces informations avec la commande ''rclone config'' (plutôt qu'éditer directement le fichier de configuration), car R**CLONE** doit encore ouvrir une page du navigateur afin d'autoriser sa connexion chez Google et de générer le ''token''.\\
Sinon pour cette dernière opération on peut aussi utiliser la commande :
<code>rclone config reconnect gdrive:</code>

----

La connexion aux autres services est //beaucoup// plus simple à configurer. N'hésitez donc pas à opter pour un [[:cloud |service cloud]] respectueux de votre [[:anonymat#cloud|vie privée]] (et de celle de vos correspondants) !
</note>

==== Test ====

Ces commandes peuvent être utiles pour tester votre configuration :

* ''[[https://rclone.org/commands/rclone_listremotes/|rclone listremotes]]'' permet de lister les stockages distants configurés.
  * Vous pouvez adapter la commande ''[[https://rclone.org/commands/rclone_about/|rclone about]] monServeur:'' pour obtenir des informations sur le service (espace disponible). Ceci permet aussi de confirmer que votre service est bien configuré.
  * ''[[https://rclone.org/commands/rclone_ls/|rclone ls]] monServeur:'' permet de lister les fichiers et répertoires du stockage distant (comme avec la commande [[:tutoriel:console_commandes_de_base#ls]]).
  * L'option ''%%--%%dry-run'' permet d'afficher le retour d'une commande sans l'exécuter effectivement.

===== Utilisation =====

Il est désormais possible d'utiliser R**CLONE** au moyen d'une [[#interface graphique]], ou depuis un autre logiciel (comme [[:deja-dup|Déjà Dup]] ou [[:Restic]] par ex.), mais il est initialement pensé pour être utilisé en ligne de commande.

Depuis un [[:terminal]], R**CLONE** s'utilise avec la commande ''rclone'' suivie d'une sous-commande correspondant à une opération (ou action), elle-même souvent suivie de paramètres, à commencer généralement par l'identifiant du stockage distant (//remote// en anglais), en l'occurrence ''monServeur:'' pour l'exemple de cette documentation.\\
On peut afficher la liste des (sous-)commandes disponibles en tapant simplement ''rclone'' dans un [[:terminal]].

R**CLONE** permet de réaliser toutes sortes d'opérations de gestion de fichiers, d'[[#analyse]], de [[#serveur|services]], dont le [[#montage]] et la [[#Copie / synchronisation|synchronisation]].

<note tip>
Toutes les [[https://rclone.org/commands/|sous-commandes]] sont listées et décrites en anglais dans [[https://rclone.org/docs/|le guide d'utilisation]], avec des instructions détaillées; de même pour les [[https://rclone.org/overview/|fournisseurs]].
</note>

==== Copie / synchronisation ====

R**CLONE** peut s'utiliser un peu comme [[:rsync]] avec la commande ''[[https://rclone.org/commands/rclone_sync/|rclone sync]]'' :
<code>rclone sync --update --progress [source] [destination]</code>

Chaque ''[source]'' ou ''[destination]'' peut être un [[:chemins|chemin]] //local// ou //distant//.

Les chemins distants sont de la forme ''[service]:[chemin]'', ''[service]'' étant l'identifiant du service de stockage choisi lors de la configuration.\\
Par exemple : ''monServeur:/chemin/absolu'' ou ''monServeur:chemin/relatif''.

<note tip>Dans un premier temps vous pouvez tester votre commande sans danger et sans toucher à aucun fichiers avec l'option ''%%--%%dry-run'' : 
<code>rclone sync --update --progress --dry-run [source] [destination]</code></note>

* Si on ne souhaite pas supprimer de fichiers de la destination, mieux vaut utiliser la commande ''[[https://rclone.org/commands/rclone_copy|rclone copy]]''.
  * ''[[https://rclone.org/commands/rclone_check|rclone check]]'' affiche la différence d'état entre les fichiers locaux et distants.
  * ''[[https://rclone.org/commands/rclone_bisync/|rclone bisync]]'' permet de synchroniser dans les deux sens.

==== Analyse ====

* La commande ''[[https://rclone.org/commands/rclone_about/|rclone about]]'' permet d'afficher l'espace total, utilisé et disponible sur le stockage distant.
  * Les commandes ''[[https://rclone.org/commands/rclone_du/|rclone du]]'' et ''[[https://rclone.org/commands/rclone_ncdu/|rclone ncdu]]'' reproduisent les fonctionnalités de **[[:analyseur_usage_espace_disque#du]]** et **[[:analyseur_usage_espace_disque#ncdu]]** afin d'afficher l'espace qu'occupent les répertoires.
  * ''[[https://rclone.org/commands/rclone_tree/|rclone tree]]'' permet d'afficher arborescence du contenu distant.
  * ''[[https://rclone.org/commands/rclone_check|rclone check]]'' affiche la différence d'état entre les fichiers locaux et distants.

==== Montage ====

On peut monter un espace en système de fichier avec la commande ''[[https://rclone.org/commands/rclone_mount/|rclone mount]]'' :
<code>rclone mount [service]:[distant] [local]</code>

On peut démonter le volume avec la commande ''umount'' de GNU.

=== Montage automatique ===

Il est possible d'utiliser R**CLONE** avec [[:systemd]], [[:autofs]], ou [[:mount_fstab|fstab]].

Pour cela il faut créer des [[:lien_physique_et_symbolique|liens symboliques]] avec les commandes suivantes :
<code>
sudo ln -s /usr/bin/rclone /sbin/mount.rclone
sudo ln -s /usr/bin/rclone /usr/bin/rclonefs
</code>
(Ils ne sont malheureusement pas présents dans le paquet des dépôts officiels.)

Vous pouvez consultez la [[https://github.com/rclone/rclone/wiki/rclone-mount-helper-script|documentation en anglais]] à ce sujet.

Pour monter automatiquement un volume, [[:mount_fstab|fstab]] est la méthode généralement recommandée pour les humains, [[:systemd]] pour les scripts et les outils.(([[wpfr>Stack_Exchange_Network|Unix & Linux on StackExchange]] : //[[https://unix.stackexchange.com/a/427286/324673|Is there any reason to move away from fstab on a systemd system?]]//))

Voici 2 méthodes qui permettent d'arriver au même résultat : nous allons monter le stockage distant ''monServeur'' dans le répertoire ''/media/monserveur''. Ne suivez que l'une des 2 méthodes :

== fstab ==

[[:tutoriel:comment_modifier_un_fichier|Éditez le fichier]] ''/etc/fstab'' avec les [[:sudo|droits d'administration]] afin de lui ajouter la ligne suivante :

<file - /etc/fstab>
monServeur:	/media/monserveur	rclone		rw,user,umask=000,noauto,nofail,_netdev,x-systemd.automount,args2env,vfs_cache_mode=writes,config=/etc/rclone.conf,cache_dir=/var/cache/rclone,allow_other,uid=1000,gid=1000	0	0
</file>

Modifiez éventuellement ''uid=1000,gid=1000'' pour les remplacer par les identifiants de l'utilisateurs à qui doit appartenir les fichiers (tapez simplement la commande ''id'' pour les connaître).

Attention aussi à l'emplacement du fichier ''rlcone.conf'' : ici ''/etc/rclone.conf'' (on peut éventuellement déplacer ce fichier où on en a envie).

Rechargez ensuite systemd :
<code>
sudo systemctl daemon-reload
</code>

Vous pouvez dès lors monter le volume :
<code>
sudo mount /media/monserveur
</code>

== Systemd ==

[[:tutoriel:comment_modifier_un_fichier|Créez un fichier]] ''/etc/systemd/system/network-online.service'' avec les [[:sudo|droits d'administration]], contenant((Cette documentation se base sur [[https://blog.agchapman.com/auto-mounting-network-file-systems-with-systemd/|cet article]] et sur la [[https://github.com/rclone/rclone/wiki/rclone-mount-helper-script|documentation officielle]].)) :
<file - network-online.service>
[Unit]
Description=Wait until NM actually online
Requires=NetworkManager-wait-online.service
After=NetworkManager-wait-online.service

[Service]
Type=oneshot
ExecStart=/usr/bin/nm-online -q --timeout=120
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target
</file>
Ce fichier sert à s'assurer que le réseau est disponible avant de monter l'espace de stockage distant.

Toujours avec les [[:sudo|droits d'administration]], créez ensuite un autre fichier dans le répertoire ''/etc/systemd/system/'' qui aura le nom du chemin dans lequel vous voulez monter le stockage, avec l'extension ''.mount''. Par ex. pour ''/media/monserveur'' le fichier sera ''/etc/systemd/system/media-monserveur.mount'' :
<file - media-monserveur.mount>
[Unit]
Description=Monte monServeur
Requires=network-online.service
After=network-online.service

[Mount]
Type=rclone
What=monServeur:
Where=/media/monserveur
Options=rw,allow_other,args2env,vfs-cache-mode=writes,config=/etc/rclone.conf,cache-dir=/var/rclone
TimeoutSec=10

[Install]
WantedBy=multi-user.target
</file>
En remplaçant partout ''monserveur'' et ''monServeur'' par l'identifiant vous aurez choisi.

Activez ensuite ces modifications avec ces commandes :
<code>
sudo systemctl daemon-reload
sudo systemctl enable network-online
sudo systemctl enable media-monserveur.mount
</code>
puis redémarrez.

Vous pouvez aussi tester le montage avec :
<code>
sudo systemctl start media-monserveur.mount
</code>

==== Serveur ====

* La commande ''[[https://rclone.org/commands/rclone_serve/|rclone serve]]'' permet d'utiliser R**CLONE** comme [[:serveur]], pour mettre à disposition le stockage de différentes manières.\\ Il est ainsi possible de monter facilement un serveur web (HTTP), [[:WebDAV]], [[:DLNA]], [[:ssh#monter_un_repertoire_distant_navigation_via_sftp_secure_file_transfer_protocol|SFTP]], [[:FTP]], [[:docker#manipulation_de_volumes|volume docker]] et [[https://rclone.org/commands/rclone_serve/#see-also|quelques autres protocoles]]. Cela permet de convertir un stockage distant d'un certain type (par ex. un service propriétaire plus ou moins cryptique) à un autre (un protocole ouvert largement répandu) !

* ''[[https://rclone.org/commands/rclone_link/|rclone link]]'' permet de générer un lien public pour partager un fichier ou un répertoire.

===== Interface graphique =====

Il est aussi possible d'utiliser R**CLONE** graphiquement :
  * R**CLONE** propose nativement une interface web. Vous pouvez la lancer et l'ouvrir dans votre navigateur avec la commande : <code>rclone rcd --rc-web-gui</code>
  * **[[https://github.com/pieterdd/RcloneShuttle|Rclone Shuttle]]** est une interface GTK, donc idéale pour [[:GNOME]], disponible en [[:Flatpak]] depuis [[https://flathub.org/apps/io.github.pieterdd.RcloneShuttle|Flathub]].

<note tip>On peut aussi évidemment utiliser le [[:gestionnaire de fichiers]] de son choix, tel que [[:nautilus|GNOME Fichiers]], en [[#montage|montant]] le stockage distant en système de fichiers.</note>

===== Problèmes connus =====

==== Impossible de mettre à jour automatiquement ====

Il arrive que la commande :
  rclone selfupdate

retourne une erreur du type :
  Error: failed to update rclone: invalid hashsum signature

Ceci est dû à un changement de bibliothèque récent.((**[[wpfr>OpenPGP]]**, voir cette [[https://github.com/rclone/rclone/issues/7373|issue GitHub]]))

La solution est de mettre à jour R**CLONE** manuellement.\\
Vous pouvez télécharger sur [[https://github.com/rclone/rclone/releases|GitHub]] la dernière version du paquet [[:deb]] qui correspond à votre système (généralement ''linux-amd64.deb''), et l'installer, avec par exemple [[:gdebi]], ou en ligne de commande avec [[:dpkg]] :
  sudo dpkg -i ~/Téléchargements/rclone-*-linux-amd64.deb

===== Voir aussi =====

* **//(en)//** [[https://rclone.org|site officiel]]
  * [[https://github.com/rclone/rclone|sources sur GitHub]]
  * Tutoriel : [[:tutoriel:monter_un_cloud|Monter un cloud comme disque local avec rclone]]
  * [[:Restic]] permet d'utiliser n'importe quel stockage distant R**CLONE** pour y effectuer des sauvegardes de manière particulièrement simple et performante.

----
//Contributeur : [[:utilisateurs:krodelabestiole]]//

Merci de recopier le code ci-contre pour prouver que vous êtes humain : R S X J N Merci de laisser ce champ vide :

Résumé

Note : En modifiant cette page, vous acceptez que le contenu soit placé sous les termes de la licence suivante : CC Paternité-Partage des Conditions Initiales à l'Identique 3.0 Unported