#      wbg.khd-research.net/robots.txt            K.-H. Dittberner - 03.AUG.2004
#  V06.39  ~/Heimat/W/WBG___robots.txt            P 475/13         - 28.NOV.2014
#  
#  Anweisungen fuer WWW-Suchroboter von Suchmaschinen im Internet. 
#  
#  Die vorne mit einem # versehenen Zeilen (Anweisungen) sind nicht aktiv.
# ==============================================================================
# 
# 
# 
# 
#               [xx/xx/14-khd] => V 06.xx:
#                  - xxx.
#                  - Pkt.0: xxx.
#                  - Pkt.5: File "xxx" gesperrt.
#                  - Pkt.1: Folgende Roboter ausgeschlossen: 
#                           o  xxx
#                           o  xxx
#  
# ==============================================================================
#  1. Roboter, die ausgeschlossen (oder gebremst) werden: 
# ==============================================================================

#User-agent: *
#Disallow: / 
# --------------------------

User-agent: Accoona-AI-Agent
Disallow: / 

User-agent: Mata Hari
Disallow: /

User-agent: Slurp China
Disallow: /

User-agent: Slurp
#Disallow: /
Crawl-delay: 5
#Werte von 1 -- 10 sind moeglich.

User-agent: Microsoft URL Control - 6.00.8862
Disallow: /

User-agent: IWAgent/ 1.0 - www.brandprotect.com
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: libwww-perl
Disallow: /

User-agent: BPImageWalker/2.0 (www.bdbrandprotect.com)
Disallow: /

User-agent: Toplistbot
Disallow: /

User-agent: MSR-ISRCCrawler
Disallow: / 

User-agent: WebAlta Crawler/1.3.34
Disallow: / 

User-agent: WebAlta Crawler/1.3.34 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)
Disallow: / 

User-agent: WebAlta Crawler/2.0
Disallow: / 

User-agent: WebAlta Crawler/2.0 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)
Disallow: / 

User-agent: Morfeus Fucking Scanner
Disallow: / 

User-agent: msnbot/1.1
Disallow: / 

#User-agent: msnbot
#Disallow: / 

User-agent: Twiceler
Disallow: / 

User-agent: Yandex
Disallow: / 

User-agent: Purebot
Disallow: / 

User-agent: Speedy Spider
Disallow: / 

User-agent: Yeti
Disallow: / 

User-agent: Zscho.de Crawler
Disallow: / 

User-agent: Sosospider
Disallow: / 

User-agent: yacybot
Disallow: / 

User-agent: Yandex/1.01.001
Disallow: / 

User-agent: Online24-Bot
Disallow: / 

User-agent: Sogou web spider
Disallow: / 

User-agent: Baiduspider
Disallow: / 

User-agent: spbot
Disallow: / 

User-agent: DotBot
Disallow: / 

User-agent: MyEngines-Bot
Disallow: / 

User-agent: iCcrawler
Disallow: / 

User-agent: Zango
Disallow: / 

User-agent: StackRambler
Disallow: / 

User-agent: Ruky-Roboter
Disallow: / 

User-agent: NaverBot
Disallow: / 

User-agent: psbot
Disallow: / 

User-agent: CCBot
Disallow: / 

User-agent: Linguee Bot
Disallow: / 

# === Neue ab 29/08/2011 ===

User-agent: http://www.80legs.com/webcrawler.html
Disallow: / 

User-agent: 008/0.83
Disallow: / 




# ==============================================================================
#  2. Welche Roboter duerfen zugreifen? 
# ==============================================================================

User-agent: *


# ==============================================================================
#  3. Wo ist die Site-map? 
# ==============================================================================

#Sitemap:   http://www.khd-research.net/Site-map.html#31
Sitemap:    http://www.woldenberg-neumark.eu/Site-map.html


# ==============================================================================
#  4. Gesperrte Zugriffe von Verzeichnissen:  (Ob's was nutzt?)
# ==============================================================================

Disallow:   /Ads/
Disallow:   /Audio/
Disallow:   /CD-ROM/
Disallow:   /CD-ROM/Icons/
Disallow:   /CD-ROM/PC-Fonts/
Disallow:   /Forum/Icons/
Disallow:   /Forum/Minis/
Disallow:   /Forum/Pict/
Disallow:   /Icons/
Disallow:   /Images/
Disallow:   /Images/Deko/
Disallow:   /Misc/Pict/

#Disallow:  /Pict/
Disallow:   /Pict/Alb/
Disallow:   /Pict/BHf/
Disallow:   /Pict/Bornst/
Disallow:   /Pict/Brauer/
Disallow:   /Pict/Bred/
Disallow:   /Pict/Fbl/
Disallow:   /Pict/Kollm/
Disallow:   /Pict/Maier/
Disallow:   /Pict/Misc/
Disallow:   /Pict/Psn/
Disallow:   /Pict/Red/
Disallow:   /Pict/Rez/
Disallow:   /Pict/Stach/

#Disallow:  /Plan/
Disallow:   /Rezepte/
Disallow:   /Symp/Icons/
Disallow:   /Symp/Pict/
Disallow:   /Video/



# ==============================================================================
#  5. Gesperrte Zugriffe von Einzel-Files:
# ==============================================================================

Disallow:   /Docs/_Wbg_Adressbuch_1924.pdf
#Disallow:  /Docs/Wbg_Symposium_2013.pdf
# ---------------

Disallow:   /Docs/Awd_Adressbuch_1924.txt
Disallow:   /Docs/Dsn_Adressbuch_1924.txt
Disallow:   /Docs/Fbg_Adressbuch_1924.txt
Disallow:   /Docs/Nwd_Adressbuch_1924.txt
Disallow:   /Docs/Wbg_Adressbuch_1924.txt
Disallow:   /Docs/Awd_Adressbuch_Umg_1924.txt
Disallow:   /Docs/Dsn_Adressbuch_Umg_1924.txt
Disallow:   /Docs/Fbg_Adressbuch_Umg_1924.txt
Disallow:   /Docs/Nwd_Adressbuch_Umg_1924.txt
Disallow:   /Docs/Wbg_Adressbuch_Umg_1925.txt
# ---------------

Disallow:   /Plan/Plan_Polen_2000.jpg
Disallow:   /Plan/Plan_Dobiegniew_2006_big.jpg
Disallow:   /Plan/Gesamt-Pommern_1937.jpg
# ---------------

Disallow:   /Pict/Dob/Dob_Wbg_Kirche_1990.jpg
Disallow:   /Pict/Dob/Dob_Am_Kastanienpl.jpg
Disallow:   /Pict/Dob/Dob_Rohrsdorfer_See.jpg
Disallow:   /Pict/Dob/Dob_Friedeberger_Str.jpg
Disallow:   /Pict/Dob/Dob_Wbg-Bahnhof.jpg
Disallow:   /Pict/Dob/Dob_Wbg-Amtsgericht.jpg
Disallow:   /Pict/Dob/Dob_Anlage_Bismarckstr.jpg
Disallow:   /Pict/Dob/Dob_Bismarckstr.jpg
Disallow:   /Pict/Dob/Dob_Bahnhofstr__A.jpg
Disallow:   /Pict/Dob/Dob_Bahnhofstr__B.jpg
Disallow:   /Pict/Wbg/Wbg_Friedeberger_Str_1940.jpg
# ---------------

Disallow:   /Symp/Pict/Symp-Tn_2013.gif
Disallow:   /Symp/Pict/Keine_Symp-Tn_2013.gif
# ---------------

#Disallow:   /xxx/
#Disallow:   /Pict/Dob/xxx
# 
# 
# ==============================================================================