Wir alle lieben es, Dinge aus dem Internet herunterzuladen, und es gibt jede Menge großartiger Download-Manager-Tools, mit denen wir unsere Downloads planen können. Es ist vielleicht einfacher, einen Download-Manager zu verwenden, aber es schadet nicht, die Tools, die bereits in unserem Ubuntu enthalten sind, zu erkunden und voll auszuschöpfen.
In diesem Artikel zeigen wir Ihnen eine in Ubuntu integrierte Software, mit der wir Dinge aus dem Internet herunterladen können . Darüber hinaus zeigen wir Ihnen, wie Sie den Download mit Cron planen.
Download mit Wget
Wget ist ein kostenloses Softwarepaket zum Abrufen von Dateien mit HTTP, HTTPS und FTP, den am häufigsten verwendeten Internetprotokollen. Es handelt sich um ein nicht interaktives Befehlszeilentool, sodass es problemlos aus Skripten, Cron-Jobs, Terminals ohne X-Windows-Unterstützung usw. aufgerufen werden kann.
Öffnen Sie Ihr Terminal und lassen Sie uns untersuchen, wie wir wget verwenden können, um Dinge aus dem Netz herunterzuladen. Die grundlegende Syntax des Herunterladens mit wget ist die folgende:
wget [option]… [URL]…
Dieser Befehl lädt das wget-Handbuch auf Ihr lokales Laufwerk herunter download
wget http://www.gnu.org/software/wget/manual/wget.pdf
Linux Cron
Ubuntu wird mit einem Cron-Daemon geliefert, der zum Planen von Aufgaben verwendet wird, die zu einem bestimmten Zeitpunkt ausgeführt werden. Crontab ermöglicht es Ihnen, Aktionen und Zeitpunkte anzugeben, zu denen sie ausgeführt werden sollen. So planen Sie normalerweise eine Aufgabe mit dem Befehlszeilentool.
Öffnen Sie ein Terminalfenster und geben Sie crontab -e ein.

Jeder der Abschnitte in einer Crontab ist durch ein Leerzeichen getrennt, wobei der letzte Abschnitt ein oder mehrere Leerzeichen enthält. Ein Cron-Eintrag besteht aus Minute (0-59), Stunde (0-23, 0 = Mitternacht), Tag (1-31), Monat (1-12), Wochentag (0-6, 0 = Sonntag), Befehl. Der dritte Eintrag in der obigen crontab lädt wget.pdf um 2 Uhr morgens herunter. Der erste Eintrag (0) und der zweite Eintrag (2) bedeutet 2:00. Der dritte bis fünfte Eintrag
bedeutet eine beliebige Tages-, Monats- oder Wochenzeit. Der letzte Eintrag ist der wget-Befehl zum Herunterladen der wget.pdf von der angegebenen URL.
Das ist die Basis für wget und wie Cron funktioniert. Sehen wir uns ein Beispiel aus der Praxis an, wie man einen Download plant.
Terminplanung herunterladen

Wir werden Firefox 3.6 um 2 Uhr morgens herunterladen. Da unser ISP nur eine begrenzte Datenmenge bereitstellt, müssen wir den Download um 8 Uhr morgens stoppen. So sieht die Einrichtung aus.
[code]
Ignorieren Sie die ersten 2 Einträge in der obigen Crontab. Der dritte und vierte Befehl sind die einzigen 2 Befehle, die Sie benötigen. Der dritte Befehl richtet eine Aufgabe ein, die Firefox um 2 Uhr morgens herunterlädt:
[/code]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
Die Optionen -c geben an, dass wget den bestehenden Download fortsetzen soll, wenn er nicht abgeschlossen wurde.
[code]
Der vierte Befehl stoppt wget um 8 Uhr morgens. ‘Killall’ ist ein Unix-Befehl, der Prozesse namentlich beendet.
[/code]
0 8 * * * killall wget
Das killall wget weist Ubuntu an, wget daran zu hindern, die Datei um 8 Uhr morgens herunterzuladen.
Andere nützliche wget-Befehle
[code]
1. Verzeichnis zum Herunterladen einer Datei angeben
[/code]
wget –output-document=/home/zainul/Downloads/wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
Mit der Option –output-document können Sie das Verzeichnis und den Namen der heruntergeladenen Datei angeben
2. Herunterladen einer Website
[code]
wget ist auch in der Lage, eine Website herunterzuladen.
[/code]
wget -m http://www.google.com/profiles/zainul.franciscus
Der obige Befehl lädt meine gesamte Google-Profil-Webseite herunter. Die Option ‘-m’ weist wget an, ein ‘Spiegel’-Bild der angegebenen URL herunterzuladen.
[code]
Eine weitere wichtige Option besteht darin, wget anzugeben, wie vielen Links es folgen soll, wenn es eine Website herunterlädt.
[/code]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
Der obige Befehl wget verwendet zwei Optionen. Die erste Option ‘-r’ weist wget an, die angegebene Website rekursiv herunterzuladen. Die zweite Option ‘-l1’ weist wget an, nur die erste Linkebene von dieser angegebenen Website abzurufen. Wir können bis zu drei Ebenen ‘-l2’ und ‘-l3’ einstellen.
3. Robotereingabe ignorieren
[code]
Der Webmaster verwaltet eine Textdatei namens Robot.txt. ‘Robot.txt’ verwaltet eine Liste von URLs, die ein Webseiten-Crawler wie wget nicht crawlen sollte. Wir können wget anweisen, die ‘Robot.txt’ mit der Option ‘-erobots=off’ zu ignorieren. Der folgende Befehl weist wget an, die erste Seite meines Google-Profils herunterzuladen und die ‘Robot.txt.
[/code]
wget -erobots=off http://www.google.com/profiles/zainul.franciscus
[code]
Eine weitere nützliche Option ist -U. Diese Option maskiert wget als Browser. Beachten Sie, dass das Maskieren einer Anwendung als eine andere Anwendung die Bedingungen und den Dienst eines Webdienstanbieters verletzen kann.
[/code]
wget -erobots=off -U Mozilla http://www.google.com/profiles/zainul.franciscus
Abschluss
[code]
Wget ist ein sehr altes, aber hackbares GNU-Softwarepaket, mit dem wir Dateien herunterladen können. Wget ist ein interaktives Befehlszeilentool, das bedeutet, dass wir es auf unserem Computer im Hintergrund laufen lassen können, ohne eine Anwendung starten zu müssen. Schauen Sie sich die wget-Manpage an
[/code]
$ man wget
um andere Optionen zu verstehen, die wir mit wget verwenden können.
Links
Wget-Handbuch
So kombinieren Sie zwei heruntergeladene Dateien, wenn wget auf halbem Weg fehlschlägt
Linux QuickTip: Herunterladen und Enttarnen in einem Schritt