Comments (1)
The config is doing nice at the moment, exept for images.
BUT it seems that the site insist, that you are grabing too many pages in little time. When I curl
one of these links I got the following result after about the fifth try:
<h1>Sorry, je gaat even iets te snel</h1>
<div class=description>
<p>Het komt geregeld voor dat vanaf een IP veel pageviews naar Tweakers.net worden gestuurd, meer dan
gebruikelijk - zelfs voor hele grote organisaties zoals KPN, de Belastingdienst en de diverse
ministeries. Om onszelf te behoeden tegen (verdere) overlast houden we deze request tegen.</p>
<p>
In de meeste gevallen zal deze melding verdwijnen na een minuut.
</p>
<p>Hier staat een aantal gebruikelijke oorzaken:</p>
<ul>
<li>Proxy-servers, linkcheckers of crawlers die foutief ingesteld zijn en/of onze robots.txt
negeren
</li>
<li>Te enthousiaste feed-readers die elke paar seconden een RSS-feed opvragen</li>
<li>Iets wat op je toetsenbord ligt en de F5-knop ingedrukt houdt (bijvoorbeeld een kat of een
koptelefoon)
</li>
</ul>
<p>Naast bovenstaande redenen zijn ook misdragingen op Tweakers.net aanleiding om een IP te blokkeren.
Dan gaat het meestal om zaken als het doen van hack-pogingen of herhaaldelijk lastigvallen van
medegebruikers.</p>
<p>Als je deze melding gedurende langere tijd te zien krijgt en je weet niet waar dat aan ligt,
stuur ons dan een e-mail. Ook voor verdere vragen of opmerkingen kun je mailen. Dat doe je dan naar <i><a
href='mailto:[email protected]?subject=Rate%20limit%20op%202003:d9:d71e:d400:b26e:bfff:fe1d:eeff%2007:59:04-2390A'>[email protected]</a></i>,
<b>meld daarbij ook jouw IP: 2003:d9:d71e:d400:b26e:bfff:fe1d:eeff en deze string: 07:59:04-2390A</b>.</p>
</div>
Translation by deepl.com:
Sorry, you're going a little too fast
It happens regularly that from an IP many pageviews are sent to Tweakers.net, more than usual - even for very large organizations like KPN, the Tax Office and the various ministries. To protect ourselves from (further) inconvenience, we block this request...
I can't see, how to prevent this.
from ftr-site-config.
Related Issues (20)
- how to deal with JavaScript objects/json parsing HOT 4
- sz-magazin.sueddeutsche.de sz-plus Login HOT 2
- replace_string for <tag> also replaces </tag>. That is nice, but is this safe? HOT 1
- nytimes.com - lazy-loaded images not loaded HOT 1
- Fix tags when styled by CSS instead of using semantic HTML HOT 6
- quantamagazine.org - `picture`s missing HOT 2
- Kenfm.de is missing HOT 1
- Notebookcheck broken
- Specify title in site config file HOT 4
- nature.com Improvement HOT 2
- gizmodo/lifehacker don't work (they store text in JSON-LD now) HOT 3
- faz.net paywall articles shows payment-hint instead of the teaser as content HOT 2
- Need help to find a fingerprint for 60+ ippen.media newssites HOT 18
- Update vox.com.txt
- Suggestion for nytimes.com.txt HOT 4
- Are there any wildcard for ' find_string' or 'replace_string'? HOT 1
- Suggestion on wikipedia
- I can't set author for feeds from RSS-Bridge HOT 3
- How to get content from a site with bad ssl cert HOT 4
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from ftr-site-config.