Screaming Frog SEO spider

Voor veel SEO-specialisten is Screaming Frog het startpunt van een technische audit. De tool crawlt je hele site en toont hoe pagina’s, links en metadata samenhangen. Zo zie je in één oogopslag waar verbeterpunten liggen.

Standaard krijg je inzicht in:

• Statuscodes: 200, 301, 404, 500.
• Metadata: titels, descriptions, headings.
• Duplicate content: voorkom dat SEO-waarde verwatert.
• Interne linkstructuur: inzicht in autoriteitsverdeling.
• Robots.txt en meta-robots: bepalen wat zoekmachines mogen indexeren.
• XML-sitemaps: alle belangrijke URL’s in beeld.

Extra voordeel: je koppelt Screaming Frog eenvoudig aan Google Analytics, Search Console en PageSpeed Insights. Zo combineer je crawlresultaten met performance-data en context.

Het echte goud zit echter in de verborgen functies die vaak onbenut blijven.

1. VERGELIJK MEERDERE XML-SITEMAPS

Laad een XML-sitemap in (Mode → List → Upload → Download XML Sitemap) en vergelijk meerdere sitemaps via ChatGPT.
Je ziet welke URL’s uniek zijn en welke ontbreken. Zo behoud je overzicht en voorkom je dat belangrijke pagina’s ontbreken of dubbel voorkomen. 

2. CRAWLS MET ELKAAR VERGELIJKEN

Vergelijk twee crawls (File → Crawls → Compare), bijvoorbeeld na een redesign of migratie.
Je ziet welke pagina’s nieuw, verwijderd of aangepast zijn. Zo begrijp je direct de impact van veranderingen en kun je snel bijsturen waar nodig.

3. USER-AGENT SWITCHING

Simuleer hoe zoekmachines je site zien (Configuration → User-Agent).
Ontdek of belangrijke pagina’s toegankelijk zijn en of dynamische content correct wordt weergegeven. 

4. CUSTOM EXTRACTION

Pak specifieke data uit de broncode (Configuration → Custom → Extraction).
Automatiseer het verzamelen van prijzen, reviews of gestructureerde data. Zo krijg je snel inzicht in content die anders moeilijk te analyseren is en bespaar je handmatig werk.

5. VISUALISEER JE SITE-ARCHITECTUUR

Maak een visueel overzicht (Visualisations → Crawl Tree Graph / Force-Directed Diagram).
Zie hoe pagina’s georganiseerd zijn, waar content diep weggestopt zit en waar bottlenecks ontstaan. Zo verbeter je interne navigatie en structuur, en maak je je site overzichtelijker voor gebruikers en zoekmachines.

6. ORPHAN PAGES ONTDEKKEN

Vind pagina’s die wel verkeer krijgen, maar nergens intern gelinkt zijn (Configuration → API Access → Google Analytics / Search Console).
Deze pagina’s missen interne support. Door ze zichtbaar te maken, verhoog je bereik en waarde van content die anders verborgen blijft.

7. JAVASCRIPT RENDERING

Laat Screaming Frog crawlen zoals Google dynamische content ziet (Configuration → Spider → Rendering → JavaScript).
Ontdek welke content pas na rendering zichtbaar wordt. Zo voorkom je dat belangrijke dynamische onderdelen niet geïndexeerd worden.

8. SPELLING- EN GRAMMATICACHECK

Controleer titels, meta descriptions en headings (Configuration → Spelling & Grammar).
Houd metadata foutloos en professioneel. Zo oogt je site betrouwbaar voor bezoekers en zoekmachines.

9. ANALYSEER INLINKS EN OUTLINKS

Bekijk welke pagina’s de meeste interne links krijgen en welke anchorteksten gebruikt worden (klik op een URL → Tabs: Inlinks en Outlinks).
Krijg inzicht in hoe linkwaarde door de site stroomt en optimaliseer interne linkstructuur. Zo benut je autoriteit maximaal.

10. CUSTOM ROBOTS.TXT TESTEN

Test regels voor crawlers veilig (Configuration → Robots.txt → Settings → Custom).
Experimenteer zonder risico en zorg dat belangrijke pagina’s toegankelijk blijven.

Sinds versie 21.0 kun je Screaming Frog direct koppelen aan OpenAI, Gemini, Anthropic en Ollama.

Via Configuration → API Access → AI stel je prompts in die automatisch draaien tijdens de crawl. Je kiest zelf welke content wordt geanalyseerd (HTML, body text, custom extractions) en welke output je wilt, zoals alt-text, intentdetectie, sentiment of samenvattingen.

Zo combineer je crawling en AI tot een schaalbare en consistente SEO-workflow. Zo kun je bijvoorbeeld afbeeldingen laten crawlen en alt-texten genereren om WCAG-compliant te worden. Wil je dit specifieke onderdeel van SEO uitbesteden dan helpen we je graag.

Screaming Frog SEO Spider is veel meer dan een standaard audittool, het is een alleskunner die je helpt je website tot in de kleinste details te optimaliseren, de mogelijkheden zijn vrijwel eindeloos. Door deze verborgen functies te ontdekken en slim in te zetten, krijg inzicht in wat je site tegenhoudt. Door middel van gerichte verbeteringen doorvoeren kun je je zichtbaarheid en prestaties in zoekmachines aanzienlijk verhogen. Wie serieus werk wil maken van SEO, haalt met Screaming Frog een geheim wapen in huis dat je digitale groei een flinke boost geeft.