Qu’est-ce que la commande Wget et comment l’utiliser (12 exemples inclus)

Ce guide vous apprend à utiliser la commande wget sous Linux. Il donne 12 exemples de commandes wget en action pour vous aider à les utiliser. Une fois que vous aurez terminé, vous saurez tout sur wget et comment l’utiliser pour récupérer des fichiers sur le web.

Qu’est-ce que la commande Wget ?

Wget est un outil de ligne de commande qui permet de télécharger des fichiers depuis l’internet directement dans votre répertoire actif. Il fonctionne en arrière-plan, ce qui permet de poursuivre les tâches même si vous n’êtes pas en ligne. Son nom est une combinaison de World Wide Web et du mot get. Il prend en charge les téléchargements via FTP, SFTP, HTTP et HTTPS.

Wget est créé en C portable et utilisable sur n’importe quel système Unix. Il est également possible de le mettre en œuvre sur Mac OS X, Microsoft Windows, AmigaOS et d’autres plates-formes courantes.

Comment installer Wget ?

Pour cette démonstration de la commande wget, nous utiliserons Ubuntu 22.04. Mais la syntaxe fonctionnera également sur n’importe quelle autre distribution Linux.

Tout d’abord, accédez à votre serveur via SSH :

ssh user@your_server_ip -port

Pour installer wget sur Ubuntu 22.04, exécutez la commande suivante :

sudo apt-get install wget

Pour installer wget sur CentOS ou ses versions antérieures, utilisez :

sudo yum install wget

Une fois l’installation terminée, vous serez prêt à l’utiliser. La connaissance des commandes SSH de base peut également faciliter les choses.

Exemples de commandes Wget

Pour vous aider à démarrer, nous vous proposons 12 exemples de commandes wget que vous pouvez utiliser pour vos tâches quotidiennes. N’oubliez pas que vous pouvez également appeler cette fonction à partir de scripts et de cron jobs !

Utilisation de la commande Wget pour télécharger des fichiers uniques

L’un des exemples les plus élémentaires de la commande wget consiste à télécharger un fichier unique et à le stocker dans votre répertoire de travail actuel. Par exemple, vous pouvez obtenir la dernière version de WordPress en utilisant la commande suivante :

wget https://wordpress.org/latest.zip

Voici le résultat que vous obtiendrez :

--2018-02-23 12:53:10-- https://wordpress.org/latest.zip
Resolving wordpress.org (wordpress.org)... 198.143.164.252
Connecting to wordpress.org (wordpress.org)|198.143.164.252|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 9332728 (8,9M) [application/zip]
Saving to: 'latest.zip'

latest.zip 100%[===================>] 8,90M 6,88MB/s in 1,3s

2018-02-23 12:53:14 (6,88 MB/s) - 'latest.zip' saved [9332728/9332728]

Dans cet exemple, un fichier nommé latest.zip sera téléchargé dans le répertoire de travail actuel. Vous verrez également des informations supplémentaires, telles que la progression du téléchargement, la vitesse, la taille, l’heure et la date.

Utilisation de la commande Wget pour télécharger plusieurs fichiers

Nous pouvons pousser l’utilisation de wget un peu plus loin et télécharger plusieurs fichiers à la fois. Pour ce faire, nous devons créer un document texte et y placer les URL de téléchargement. Dans cet exemple, nous allons récupérer les dernières versions de WordPress, Joomla et Drupal en utilisant wget. Saisissez ce qui suit :

nano example.txt

Cela créera un fichier example.txt et ouvrira une interface d’éditeur de texte. Collez ces liens dans ce fichier :

https://wordpress.org/latest.zip

https://downloads.joomla.org/cms/joomla3/3-8-5/Joomla_3-8-5-Stable-Full_Package.zip

https://ftp.drupal.org/files/projects/drupal-8.4.5.zip

Une fois cela fait, vous pouvez utiliser -i pour obtenir tous les fichiers stockés dans votre fichier texte d’exemple :

wget -i example.txt

Attendez la fin du processus et vous aurez les installations des trois systèmes de gestion de contenu les plus populaires.

Utilisation de la commande Wget pour obtenir des fichiers sous différents noms

Dans cet exemple de wget, nous allons enregistrer un fichier sous un nom différent à l’aide de l’option -O :

wget -O wordpress-install.zip https://wordpress.org/latest.zip

Dans ce cas, la ressource téléchargée sera enregistrée sous le nom wordpress-install.zip au lieu de son nom d’origine.

L’option -O permet de dézipper les archives sous Linux plus efficacement, car il n’est pas nécessaire de retaper le nom complet.

Utilisation de la commande Wget pour enregistrer des fichiers dans un répertoire spécifié

Vous pouvez utiliser wget pour placer un fichier dans un autre répertoire en utilisant la fonction -P :

wget -P documents/archives/ https://wordpress.org/latest.zip

Le fichier que vous récupérez à l’aide de cette syntaxe apparaîtra dans le dossier documents/archives/.

Utilisation de la commande Wget pour limiter la vitesse de téléchargement

Avec wget, vous pouvez également limiter la vitesse de téléchargement. C’est utile pour récupérer des fichiers volumineux et éviter qu’ils n’utilisent toute votre bande passante. Cet exemple de wget fixe la limite à 500k :

wget --limit-rate=500k https://wordpress.org/latest.zip

Utilisation de la commande Wget pour définir les tentatives de réessai

Les problèmes de connexion Internet peuvent entraîner l’interruption de votre téléchargement. Pour remédier à ce problème, il est possible d’augmenter le nombre de tentatives à l’aide de la fonction -tries :

wget -tries=100 https://wordpress.org/latest.zip

Utilisation de la commande Wget pour télécharger en arrière-plan

Pour les fichiers très volumineux, vous pouvez utiliser la fonction -b. Elle téléchargera votre contenu en arrière-plan.

wget -b http://example.com/beefy-file.tar.gz

Un wget-log apparaîtra dans votre répertoire de travail, qui peut être utilisé pour vérifier la progression et l’état de votre téléchargement. Vous pouvez également utiliser la commande tail :

tail -f wget-log

Utilisation de la commande Wget pour télécharger via FTP

La commande est également utilisable avec FTP. Il vous suffira de spécifier le nom d’utilisateur et le mot de passe, comme dans cet exemple de wget :

wget --ftp-user=YOUR_USERNAME --ftp-password=YOUR_PASSWORD ftp://example.com/something.tar

Utilisation de la commande Wget pour poursuivre des téléchargements interrompus

Votre téléchargement peut être interrompu si vous perdez votre connexion internet ou si vous subissez une panne de courant. C’est un phénomène assez courant lorsque l’on télécharge des fichiers volumineux. Au lieu de recommencer, il est possible de poursuivre le téléchargement en utilisant la fonction -c :

wget -c https://example/very-big-file.zip

Si vous procédez sans la fonction -c, le nouveau fichier aura .1 ajouté à la fin car il existe déjà.

Utilisation de la commande Wget pour récupérer des sites web entiers

Il est également possible d’utiliser la commande wget pour télécharger le contenu d’un site entier. Cela vous permettra de le visualiser localement sans connexion internet. Voici un exemple :

wget --mirror --convert-links --page-requisites --no-parent -P documents/websites/ https://some-website.com

Analysons les ingrédients de cette commande wget :

–mirror	Cela rend votre téléchargement récursif.
–convert-links	Tous les liens seront convertis pour une utilisation hors ligne correcte.
–page-requisites	Le fichier suivant comprendra tous les fichiers nécessaires tels que CSS, JS et les images.
–no-parent	Il garantit que les répertoires situés au-dessus de la hiérarchie ne sont pas récupérés.
-P documents/websites/	Cela permet de s’assurer que tout le contenu est envoyé dans le répertoire spécifié.

Une fois le processus terminé, vous pourrez ouvrir le site web téléchargé localement et trouver tous les fichiers dans le dossier documents/websites/.

Utilisation de la commande Wget pour localiser les liens brisés

Essayons quelque chose de plus avancé. Nous pouvons utiliser la commande wget pour localiser toutes les URL cassées qui affichent l’erreur 404 sur un site web spécifique. Commencez par exécuter la commande suivante :

wget -o wget-log -r -l 5 --spider http://example.com

-o	Rassemble les données de sortie dans un fichier pour une utilisation ultérieure.
-l	Spécifie le niveau de récursivité.
-r	Rend le téléchargement récursif.
–spider	Met wget en mode spider.

Nous pouvons maintenant examiner le fichier wget-log pour trouver la liste des liens brisés. Voici la commande pour le faire :

grep -B 2 '404' wget-log | grep "http" | cut -d " " -f 4 | sort -u

Utilisation de la commande Wget pour télécharger des fichiers numérotés

Si vous avez des fichiers ou des images numérotés dans une certaine liste, vous pouvez facilement les télécharger tous avec la syntaxe suivante :

wget http://example.com/images/{1..50}.jpg

Conclusion

Félicitations ! En terminant ce tutoriel, vous avez appris les différentes utilisations de la commande wget. Vous pouvez maintenant l’utiliser pour obtenir un ou plusieurs fichiers. En outre, vous avez appris quelques utilisations avancées, telles que le téléchargement d’un site web entier ou la localisation d’URL cassées. Pour plus d’informations, vous pouvez également consulter la documentation officielle.

Avez-vous des conseils ou des astuces que vous souhaitez partager ? N’hésitez pas à le faire dans les commentaires ci-dessous !

FAQ sur la commande Wget