Allow crawling by default
authorChocobozzz <me@florianbigard.com>
Tue, 22 May 2018 09:02:10 +0000 (11:02 +0200)
committerChocobozzz <me@florianbigard.com>
Tue, 22 May 2018 09:02:10 +0000 (11:02 +0200)
config/default.yaml
config/production.yaml.example

index 8a177e628d925b999c042b0fbc2ae52237bb12ad..387acf43df728abc1ff170329c1e45385d199630 100644 (file)
@@ -91,10 +91,10 @@ instance:
   customizations:
     javascript: '' # Directly your JavaScript code (without <script> tags). Will be eval at runtime
     css: '' # Directly your CSS code (without <style> tags). Will be injected at runtime
-  # Robot.txt rules. To allow robots to crawl your instance and allow indexation of your site, remove the '/'
+  # Robot.txt rules. To disallow robots to crawl your instance and disallow indexation of your site, add '/' to "Disallow:'
   robots: |
     User-agent: *
-    Disallow: /
+    Disallow: ''
 
 services:
   # Cards configuration to format video in Twitter
index 51d5c51808410ef1386171b11002a18797846fd2..2f80beede82d6be1013d3505e654d5f0db889cb3 100644 (file)
@@ -107,10 +107,10 @@ instance:
   customizations:
     javascript: '' # Directly your JavaScript code (without <script> tags). Will be eval at runtime
     css: '' # Directly your CSS code (without <style> tags). Will be injected at runtime
-  # Robot.txt rules. To allow robots to crawl your instance and allow indexation of your site, remove the '/'
+  # Robot.txt rules. To disallow robots to crawl your instance and disallow indexation of your site, add '/' to "Disallow:'
   robots: |
     User-agent: *
-    Disallow: /
+    Disallow: ''
 
 services:
   # Cards configuration to format video in Twitter