Vraag Hoe kan ik een hele website downloaden?


Ik wil een hele website downloaden (met subsites). Is daar een hulpmiddel voor?


75
2018-01-07 14:19


oorsprong


wat probeer je precies te bereiken? de titel en de inhoud van uw vraag zijn niet gerelateerd, en de inhoud is niet specifiek. - RolandiXor♦
N.B., alleen volgende links (bijv --convert-links in wget) zal geen sites onthullen die alleen onthuld worden door onder andere een formulier in te dienen. - Steven Xu


antwoorden:


Probeer bijvoorbeeld 10 van hier:

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
  • –mirror : schakel geschikte opties in voor spiegelen.

  • -p : download alle bestanden die nodig zijn om een ​​gegeven correct weer te geven HTML-pagina.

  • --convert-links : na de downloaden, de links omzetten document voor lokale weergave.

  • -P ./LOCAL-DIR : sla alle bestanden en mappen op naar de opgegeven directory.

121
2018-01-07 14:34



is er een manier om alleen bepaalde pagina's te downloaden (bijvoorbeeld verschillende delen van artikelen die verspreid zijn over verschillende html-documenten)? - don.joey
@Privé Ja, hoewel het waarschijnlijk gemakkelijker is om Python te gebruiken of iets om de pagina's te krijgen (afhankelijk van de lay-out / URL). Als de URL van de pagina's verschilt met een constant groeiend aantal of als u een lijst met pagina's hebt, kunt u wget waarschijnlijk in een bash-script gebruiken. - Vreality
U zou kunnen overwegen om de --wait=seconds argument als u vriendelijker wilt zijn voor de site; het wacht het opgegeven aantal seconden tussen ophaalacties. - belacqua
het bovenstaande werkt, maar voor joomla maakt de geparameteriseerde URL bestanden die niet lokaal gekoppeld zijn. De enige die voor mij werkte, is wget -m -k-K-E your.domain.com  vanaf hier: vaasa.hacklab.fi/2013/11/28/... - M.Hefny
Ook --no-parent om "nooit op te stijgen naar de bovenliggende map" uit hier. - Daniel


HTTrack for Linux copying websites in offline mode

HTTrack is de tool die u zoekt.

HTTrack kunt u een World Wide Web-site downloaden van internet naar een lokale directory, recursief alle mappen opbouwen, HTML, afbeeldingen en andere bestanden van de server naar uw computer halen. HTTrack regelt de relatieve linkstructuur van de oorspronkelijke site.


37
2018-01-07 14:31





Met wget je kunt een hele website downloaden, die je zou moeten gebruiken -r schakelen voor een recursieve downloaden. Bijvoorbeeld,

wget -r http://www.google.com

7
2018-01-07 14:44





WEBKLOK WEBSITE KOPIEERAPPARAAT is een handige tool om een ​​hele website op je harde schijf te downloaden voor offline browsen. Start ubuntu-softwarecentrum en typ "webhttrack website copier" zonder de aanhalingstekens in het zoekvak. selecteer en download het vanuit het softwarecentrum naar uw systeem. start de webHTTrack vanuit de laucher of het startmenu, vanaf daar kun je beginnen met genieten van deze geweldige tool voor het downloaden van je site


5
2017-10-22 01:30





Ik ben niet op de hoogte van subdomeinen, d.w.z. subsites, maar wget kan worden gebruikt om een ​​volledige site te bemachtigen. Bekijk de deze superuser vraag. Er staat dat je kunt gebruiken -D domain1.com,domain2.com om verschillende domeinen in één script te downloaden. Ik denk dat je die optie kunt gebruiken om subdomeinen te downloaden, d.w.z. -D site1.somesite.com,site2.somesite.com


3
2018-01-07 14:31





ik gebruik Boeren - de spider-tool is veel intelligenter dan wget en kan worden geconfigureerd om secties te vermijden indien nodig. De Burp Suite zelf is een krachtige set hulpmiddelen om te helpen bij het testen, maar de spider-tool is zeer effectief.


1
2018-01-07 20:54



Is Burp Windows Only niet? De closed-source licentieovereenkomst voor Burp is ook vrij zwaar. Om nog maar te zwijgen van het prijskaartje $ 299.00: - Kat Amsterdam
uit de licentie: WAARSCHUWING: BURP SUITE FREE EDITION IS ONTWORPEN VOOR BEVEILIGINGSVLOKKEN EN KAN SCHADE AAN TARGETSYSTEMEN TEGEN DE AARD VAN DE FUNCTIONALITEIT DOEN. TESTEN VOOR VEILIGHEIDSKRACHTEN MOET INHERENTEEL BETREKKING HEBBEN OP HET METEN VAN STREKEN NAAR DOELTREFFENDEN DIE OP PROBLEMEN KUNNEN LEIDEN TOT ENKELE KWETSBARE DOELEN. U DIENT GEWAARBORG TE ZIJN WANNEER U DE SOFTWARE GEBRUIKT, DIENT U ALLE DOCUMENTEN TE LEZEN VOORDAT U HET TARGETSYSTEEM ALVORENS GEBRUIK MOET VERIFIËREN EN DE SOFTWARE NIET MOET GEBRUIKEN OP PRODUCTIESYSTEMEN OF ANDERE SYSTEMEN WAARVOOR HET RISICO VAN SCHADE NIET DOOR U AANVAARD IS . - Kat Amsterdam
Voor wat het doet, is het prijskaartje verbazingwekkend goedkoop - ik zou het aanraden om het te kopen voor een breed scala aan beveiligingstests. En het is heel eenvoudig om het te configureren om precies te testen wat u wilt - veiliger dan in sommige gevallen AppScan :-) - Rory Alsop
@KatAmsterdam Betreffende specifiek de compatibiliteitsvraag: Volgens Wikipedia, Burp Suite is een Java-applicatie, dus het moeten draaien prima op Ubuntu. - Eliah Kagan
Kat - het werkt prima op verschillende smaken van Linux. De waarschuwing op de licentie is gelijk aan elke tool die u kunt gebruiken voor beveiligingsbeoordelingen. - Rory Alsop


U kunt de gehele website downloaden Opdracht:

wget -r -l 0 website

Voorbeeld:

wget -r -l 0 http://google.com

Bekijk deze tutorial: https://youtu.be/8cnrQqGiWBc


1
2018-06-18 09:49



Kunt u uitleggen hoe deze opdracht werkt? Wat het doet? - Kaz Wolfe


Als snelheid een probleem is (en het welzijn van de server dat niet is), kunt u het proberen puf, wat werkt als wget maar kan verschillende pagina's parallel downloaden. Het is echter geen afgewerkt product, niet onderhouden en vreselijk ongedocumenteerd. Toch is dit misschien een goede optie om een ​​website met heel veel kleine bestanden te downloaden.


0
2018-01-07 15:14