-typo
[oweals/gnunet.git] / src / util / configuration.c
index a269ed0361eada3470552b70089205cfa070c559..de6e542e8db834d7fa717bcacea4b4bc195d5fe5 100644 (file)
 /**
  * @file src/util/configuration.c
  * @brief configuration management
- *
  * @author Christian Grothoff
  */
 
 #include "platform.h"
 #include "gnunet_common.h"
-#include "gnunet_configuration_lib.h"
+#include "gnunet_util_lib.h"
 #include "gnunet_crypto_lib.h"
-#include "gnunet_disk_lib.h"
-#include "gnunet_os_lib.h"
 #include "gnunet_strings_lib.h"
 
 #define LOG(kind,...) GNUNET_log_from (kind, "util", __VA_ARGS__)
@@ -143,120 +140,186 @@ GNUNET_CONFIGURATION_destroy (struct GNUNET_CONFIGURATION_Handle *cfg)
 
 
 /**
- * Parse a configuration file, add all of the options in the
- * file to the configuration environment.
+ * De-serializes configuration
  *
  * @param cfg configuration to update
- * @param filename name of the configuration file
- * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ * @param mem the memory block of serialized configuration
+ * @param size the size of the memory block
+ * @param allow_inline set to GNUNET_YES if we recursively load configuration
+ *          from inlined configurations; GNUNET_NO if not and raise warnings
+ *          when we come across them
+ * @return GNUNET_OK on success, GNUNET_ERROR on error
  */
 int
-GNUNET_CONFIGURATION_parse (struct GNUNET_CONFIGURATION_Handle *cfg,
-                           const char *filename)
+GNUNET_CONFIGURATION_deserialize (struct GNUNET_CONFIGURATION_Handle *cfg,
+                                 const char *mem,
+                                 const size_t size,
+                                 int allow_inline)
 {
-  int dirty;
   char line[256];
   char tag[64];
   char value[192];
-  FILE *fp;
+  char *pos;
   unsigned int nr;
+  size_t r_bytes;
+  size_t to_read;
   int i;
   int emptyline;
   int ret;
   char *section;
-  char *fn;
 
-  fn = GNUNET_STRINGS_filename_expand (filename);
-  if (fn == NULL)
-    return GNUNET_SYSERR;
-  dirty = cfg->dirty;          /* back up value! */
-  if (NULL == (fp = FOPEN (fn, "r")))
-    {
-      LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "fopen", fn);
-      GNUNET_free (fn);
-      return GNUNET_SYSERR;
-    }
-  GNUNET_free (fn);
   ret = GNUNET_OK;
   section = GNUNET_strdup ("");
-  memset (line, 0, 256);
   nr = 0;
-  while (NULL != fgets (line, 255, fp))
+  r_bytes = 0;
+  memset (line, 0, 256);
+  while (r_bytes < size)
+  {
+    /* fgets-like behaviour on buffer. read size is 255 bytes */
+    to_read = size - r_bytes;
+    if (to_read > 255)
+      to_read = 255;
+    memcpy (line, mem + r_bytes, to_read);
+    line[to_read] = '\0';
+    if (NULL != (pos = strstr (line, "\n")))
     {
-      nr++;
-      for (i = 0; i < 255; i++)
-       if (line[i] == '\t')
-         line[i] = ' ';
-      if (line[0] == '\n' || line[0] == '#' || line[0] == '%'
-         || line[0] == '\r')
-       continue;
-      emptyline = 1;
-      for (i = 0; (i < 255 && line[i] != 0); i++)
-       if (line[i] != ' ' && line[i] != '\n' && line[i] != '\r')
-         emptyline = 0;
-      if (emptyline == 1)
-       continue;
-      /* remove tailing whitespace */
-      for (i = strlen (line) - 1;
-          (i >= 0) && (isspace ((unsigned char) line[i])); i--)
-       line[i] = '\0';
-      if (1 == sscanf (line, "@INLINE@ %191[^\n]", value))
-       {
-         /* @INLINE@ value */
-         if (GNUNET_OK != GNUNET_CONFIGURATION_parse (cfg, value))
-           ret = GNUNET_SYSERR;        /* failed to parse included config */
-       }
-      else if (1 == sscanf (line, "[%99[^]]]", value))
-       {
-         /* [value] */
-         GNUNET_free (section);
-         section = GNUNET_strdup (value);
-       }
-      else if (2 == sscanf (line, " %63[^= ] = %191[^\n]", tag, value))
-       {
-         /* tag = value */
-         /* Strip LF */
-         i = strlen (value) - 1;
-         while ((i >= 0) && (isspace ((unsigned char) value[i])))
-           value[i--] = '\0';
-         /* remove quotes */
-         i = 0;
-         if (value[0] == '"')
-           {
-             i = 1;
-             while ((value[i] != '\0') && (value[i] != '"'))
-               i++;
-             if (value[i] == '"')
-               {
-                 value[i] = '\0';
-                 i = 1;
-               }
-             else
-               i = 0;
-           }
-         GNUNET_CONFIGURATION_set_value_string (cfg, section, tag,
-                                                &value[i]);
-       }
-      else if (1 == sscanf (line, " %63[^= ] =[^\n]", tag))
-       {
-         /* tag = */
-         GNUNET_CONFIGURATION_set_value_string (cfg, section, tag, "");
-       }
+      pos[1] = '\0';
+      r_bytes += (pos - line) + 1;
+    }
+    else
+      r_bytes += to_read;
+    /* fgets-like behaviour end */
+    nr++;
+    for (i = 0; i < 255; i++)
+      if (line[i] == '\t')
+        line[i] = ' ';
+    if (line[0] == '\n' || line[0] == '#' || line[0] == '%' || line[0] == '\r')
+      continue;
+    emptyline = 1;
+    for (i = 0; (i < 255 && line[i] != 0); i++)
+      if (line[i] != ' ' && line[i] != '\n' && line[i] != '\r')
+        emptyline = 0;
+    if (emptyline == 1)
+      continue;
+    /* remove tailing whitespace */
+    for (i = strlen (line) - 1; (i >= 0) && (isspace ((unsigned char) line[i]));
+         i--)
+      line[i] = '\0';
+    if (1 == SSCANF (line, "@INLINE@ %191[^\n]", value))
+    {      
+      /* @INLINE@ value */
+      if (GNUNET_YES == allow_inline)
+      {
+       if (GNUNET_OK != GNUNET_CONFIGURATION_parse (cfg, value))
+         ret = GNUNET_SYSERR;    /* failed to parse included config */
+      }
       else
-       {
-         /* parse error */
-         LOG (GNUNET_ERROR_TYPE_WARNING,
-              _("Syntax error in configuration file `%s' at line %u.\n"),
-              filename, nr);
-         ret = GNUNET_SYSERR;
-         break;
-       }
+       LOG (GNUNET_ERROR_TYPE_DEBUG,
+            "Ignoring parsing INLINE configurations as allow_inline is false\n");
+    }
+    else if (1 == SSCANF (line, "[%99[^]]]", value))
+    {
+      /* [value] */
+      GNUNET_free (section);
+      section = GNUNET_strdup (value);
     }
-  GNUNET_assert (0 == fclose (fp));
+    else if (2 == SSCANF (line, " %63[^= ] = %191[^\n]", tag, value))
+    {
+      /* tag = value */
+      /* Strip LF */
+      i = strlen (value) - 1;
+      while ((i >= 0) && (isspace ((unsigned char) value[i])))
+        value[i--] = '\0';
+      /* remove quotes */
+      i = 0;
+      if (value[0] == '"')
+      {
+        i = 1;
+        while ((value[i] != '\0') && (value[i] != '"'))
+          i++;
+        if (value[i] == '"')
+        {
+          value[i] = '\0';
+          i = 1;
+        }
+        else
+          i = 0;
+      }
+      GNUNET_CONFIGURATION_set_value_string (cfg, section, tag, &value[i]);
+    }
+    else if (1 == SSCANF (line, " %63[^= ] =[^\n]", tag))
+    {
+      /* tag = */
+      GNUNET_CONFIGURATION_set_value_string (cfg, section, tag, "");
+    }
+    else
+    {
+      /* parse error */
+      LOG (GNUNET_ERROR_TYPE_WARNING,
+           _("Syntax error while deserializing operation at line %u\n"), nr);
+      ret = GNUNET_SYSERR;
+      break;
+    }
+  }
+  GNUNET_free (section);  
+  GNUNET_assert (r_bytes == size);
+  return ret;
+}
+
+
+/**
+ * Parse a configuration file, add all of the options in the
+ * file to the configuration environment.
+ *
+ * @param cfg configuration to update
+ * @param filename name of the configuration file
+ * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ */
+int
+GNUNET_CONFIGURATION_parse (struct GNUNET_CONFIGURATION_Handle *cfg,
+                            const char *filename)
+{
+  uint64_t fs64;
+  size_t fs;
+  char *fn;
+  char *mem;
+  int dirty;
+  int ret;
+
+  fn = GNUNET_STRINGS_filename_expand (filename);
+  if (fn == NULL)
+    return GNUNET_SYSERR;
+  dirty = cfg->dirty;           /* back up value! */
+  if (GNUNET_SYSERR == 
+       GNUNET_DISK_file_size (fn, &fs64, GNUNET_YES, GNUNET_YES))
+  {
+    LOG (GNUNET_ERROR_TYPE_WARNING,
+        "Error while determining the file size of %s\n", fn);
+    GNUNET_free (fn);
+    return GNUNET_SYSERR;
+  }
+  if (fs64 > SIZE_MAX)
+  {
+    GNUNET_break (0);          /* File size is more than the heap size */
+    GNUNET_free (fn);
+    return GNUNET_SYSERR;
+  }
+  fs = fs64;
+  mem = GNUNET_malloc (fs);
+  if (fs != GNUNET_DISK_fn_read (fn, mem, fs))
+  {
+    LOG (GNUNET_ERROR_TYPE_WARNING,
+        "Error while reading file %s\n", fn);
+    GNUNET_free (fn);
+    GNUNET_free (mem);
+    return GNUNET_SYSERR;
+  }
+  GNUNET_free (fn);
+  ret = GNUNET_CONFIGURATION_deserialize (cfg, mem, fs, GNUNET_YES);  
+  GNUNET_free (mem);
   /* restore dirty flag - anything we set in the meantime
    * came from disk */
   cfg->dirty = dirty;
-  GNUNET_free (section);
   return ret;
 }
 
@@ -275,6 +338,102 @@ GNUNET_CONFIGURATION_is_dirty (const struct GNUNET_CONFIGURATION_Handle *cfg)
 }
 
 
+/**
+ * Serializes the given configuration.
+ *
+ * @param cfg configuration to serialize
+ * @param size will be set to the size of the serialized memory block
+ * @return the memory block where the serialized configuration is
+ *           present. This memory should be freed by the caller
+ */
+char *
+GNUNET_CONFIGURATION_serialize (const struct GNUNET_CONFIGURATION_Handle *cfg,
+                               size_t *size)
+{
+  struct ConfigSection *sec;
+  struct ConfigEntry *ent;
+  char *mem;
+  char *cbuf;
+  char *val;
+  char *pos;
+  int len;
+  size_t m_size;
+  size_t c_size;
+
+
+  /* Pass1 : calculate the buffer size required */
+  m_size = 0;
+  sec = cfg->sections;
+  while (NULL != sec)
+  {
+    /* For each section we need to add 3 charaters: {'[',']','\n'} */
+    m_size += strlen (sec->name) + 3;
+    ent = sec->entries;
+    while (NULL != ent)
+    {
+      if (NULL != ent->val)
+      {
+       /* if val has any '\n' then they occupy +1 character as '\n'->'\\','n' */
+       pos = ent->val;
+       while (NULL != (pos = strstr (pos, "\n")))
+       {
+         m_size++;
+         pos++;
+       }
+       /* For each key = value pair we need to add 4 characters (2
+          spaces and 1 equal-to character and 1 new line) */
+       m_size += strlen (ent->key) + strlen (ent->val) + 4;    
+      }
+      ent = ent->next;
+    }
+    /* A new line after section end */
+    m_size++;
+    sec = sec->next;
+  }
+
+  /* Pass2: Allocate memory and write the configuration to it */
+  mem = GNUNET_malloc (m_size);
+  sec = cfg->sections;
+  c_size = 0;
+  *size = c_size;  
+  while (NULL != sec)
+  {
+    len = GNUNET_asprintf (&cbuf, "[%s]\n", sec->name);
+    GNUNET_assert (0 < len);
+    memcpy (mem + c_size, cbuf, len);
+    c_size += len;
+    GNUNET_free (cbuf);
+    ent = sec->entries;
+    while (NULL != ent)
+    {
+      if (NULL != ent->val)
+      {
+       val = GNUNET_malloc (strlen (ent->val) * 2 + 1);
+       strcpy (val, ent->val);
+        while (NULL != (pos = strstr (val, "\n")))
+        {
+          memmove (&pos[2], &pos[1], strlen (&pos[1]));
+          pos[0] = '\\';
+          pos[1] = 'n';
+        }
+       len = GNUNET_asprintf (&cbuf, "%s = %s\n", ent->key, val);
+       GNUNET_free (val);
+       memcpy (mem + c_size, cbuf, len);
+       c_size += len;
+       GNUNET_free (cbuf);     
+      }
+      ent = ent->next;
+    }
+    memcpy (mem + c_size, "\n", 1);
+    c_size ++;
+    sec = sec->next;
+  }
+  GNUNET_assert (c_size == m_size);
+  *size = c_size;
+  return mem;
+}
+
+
 /**
  * Write configuration file.
  *
@@ -284,81 +443,37 @@ GNUNET_CONFIGURATION_is_dirty (const struct GNUNET_CONFIGURATION_Handle *cfg)
  */
 int
 GNUNET_CONFIGURATION_write (struct GNUNET_CONFIGURATION_Handle *cfg,
-                           const char *filename)
+                            const char *filename)
 {
-  struct ConfigSection *sec;
-  struct ConfigEntry *ent;
-  FILE *fp;
-  int error;
   char *fn;
-  char *val;
-  char *pos;
+  char *cfg_buf;
+  size_t size;
 
   fn = GNUNET_STRINGS_filename_expand (filename);
   if (fn == NULL)
     return GNUNET_SYSERR;
   if (GNUNET_OK != GNUNET_DISK_directory_create_for_file (fn))
-    {
-      GNUNET_free (fn);
-      return GNUNET_SYSERR;
-    }
-  if (NULL == (fp = FOPEN (fn, "w")))
-    {
-      LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "fopen", fn);
-      GNUNET_free (fn);
-      return GNUNET_SYSERR;
-    }
+  {
+    GNUNET_free (fn);
+    return GNUNET_SYSERR;
+  }
+  cfg_buf = GNUNET_CONFIGURATION_serialize (cfg, &size);
+  if (size != GNUNET_DISK_fn_write (fn, cfg_buf, size,
+                                   GNUNET_DISK_PERM_USER_READ 
+                                   | GNUNET_DISK_PERM_USER_WRITE
+                                   | GNUNET_DISK_PERM_GROUP_READ 
+                                   | GNUNET_DISK_PERM_GROUP_WRITE))
+  {
+    GNUNET_free (fn);
+    GNUNET_free (cfg_buf);
+    LOG (GNUNET_ERROR_TYPE_WARNING,
+        "Writing configration to file: %s failed\n", filename);
+    cfg->dirty = GNUNET_SYSERR; /* last write failed */
+    return GNUNET_SYSERR;
+  }
   GNUNET_free (fn);
-  error = 0;
-  sec = cfg->sections;
-  while (sec != NULL)
-    {
-      if (0 > fprintf (fp, "[%s]\n", sec->name))
-       {
-         error = 1;
-         break;
-       }
-      ent = sec->entries;
-      while (ent != NULL)
-       {
-         if (ent->val != NULL)
-           {
-             val = GNUNET_malloc (strlen (ent->val) * 2 + 1);
-             strcpy (val, ent->val);
-             while (NULL != (pos = strstr (val, "\n")))
-               {
-                 memmove (&pos[2], &pos[1], strlen (&pos[1]));
-                 pos[0] = '\\';
-                 pos[1] = 'n';
-               }
-             if (0 > fprintf (fp, "%s = %s\n", ent->key, val))
-               {
-                 error = 1;
-                 GNUNET_free (val);
-                 break;
-               }
-             GNUNET_free (val);
-           }
-         ent = ent->next;
-       }
-      if (error != 0)
-       break;
-      if (0 > fprintf (fp, "\n"))
-       {
-         error = 1;
-         break;
-       }
-      sec = sec->next;
-    }
-  if (error != 0)
-    LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "fprintf", filename);
-  GNUNET_assert (0 == fclose (fp));
-  if (error != 0)
-    {
-      cfg->dirty = GNUNET_SYSERR;      /* last write failed */
-      return GNUNET_SYSERR;
-    }
-  cfg->dirty = GNUNET_NO;      /* last write succeeded */
+  GNUNET_free (cfg_buf);
+  cfg->dirty = GNUNET_NO;       /* last write succeeded */
   return GNUNET_OK;
 }
 
@@ -372,23 +487,23 @@ GNUNET_CONFIGURATION_write (struct GNUNET_CONFIGURATION_Handle *cfg,
  */
 void
 GNUNET_CONFIGURATION_iterate (const struct GNUNET_CONFIGURATION_Handle *cfg,
-                             GNUNET_CONFIGURATION_Iterator iter,
-                             void *iter_cls)
+                              GNUNET_CONFIGURATION_Iterator iter,
+                              void *iter_cls)
 {
   struct ConfigSection *spos;
   struct ConfigEntry *epos;
 
   spos = cfg->sections;
   while (spos != NULL)
+  {
+    epos = spos->entries;
+    while (epos != NULL)
     {
-      epos = spos->entries;
-      while (epos != NULL)
-       {
-         iter (iter_cls, spos->name, epos->key, epos->val);
-         epos = epos->next;
-       }
-      spos = spos->next;
+      iter (iter_cls, spos->name, epos->key, epos->val);
+      epos = epos->next;
     }
+    spos = spos->next;
+  }
 }
 
 
@@ -402,16 +517,16 @@ GNUNET_CONFIGURATION_iterate (const struct GNUNET_CONFIGURATION_Handle *cfg,
  */
 void
 GNUNET_CONFIGURATION_iterate_section_values (const struct
-                                            GNUNET_CONFIGURATION_Handle *cfg,
-                                            const char *section,
-                                            GNUNET_CONFIGURATION_Iterator
-                                            iter, void *iter_cls)
+                                             GNUNET_CONFIGURATION_Handle *cfg,
+                                             const char *section,
+                                             GNUNET_CONFIGURATION_Iterator iter,
+                                             void *iter_cls)
 {
   struct ConfigSection *spos;
   struct ConfigEntry *epos;
 
   spos = cfg->sections;
-  while ((spos != NULL) && (0 != strcmp (spos->name, section)))
+  while ((spos != NULL) && (0 != strcasecmp (spos->name, section)))
     spos = spos->next;
 
   if (spos == NULL)
@@ -419,10 +534,10 @@ GNUNET_CONFIGURATION_iterate_section_values (const struct
 
   epos = spos->entries;
   while (epos != NULL)
-    {
-      iter (iter_cls, spos->name, epos->key, epos->val);
-      epos = epos->next;
-    }
+  {
+    iter (iter_cls, spos->name, epos->key, epos->val);
+    epos = epos->next;
+  }
 }
 
 
@@ -434,21 +549,21 @@ GNUNET_CONFIGURATION_iterate_section_values (const struct
  * @param iter_cls closure for iter
  */
 void
-GNUNET_CONFIGURATION_iterate_sections (const struct
-                                      GNUNET_CONFIGURATION_Handle *cfg,
-                                      GNUNET_CONFIGURATION_Section_Iterator
-                                      iter, void *iter_cls)
+GNUNET_CONFIGURATION_iterate_sections (const struct GNUNET_CONFIGURATION_Handle
+                                       *cfg,
+                                       GNUNET_CONFIGURATION_Section_Iterator
+                                       iter, void *iter_cls)
 {
   struct ConfigSection *spos;
   struct ConfigSection *next;
 
   next = cfg->sections;
   while (next != NULL)
-    {
-      spos = next;
-      next = spos->next;
-      iter (iter_cls, spos->name);
-    }
+  {
+    spos = next;
+    next = spos->next;
+    iter (iter_cls, spos->name);
+  }
 }
 
 /**
@@ -459,7 +574,7 @@ GNUNET_CONFIGURATION_iterate_sections (const struct
  */
 void
 GNUNET_CONFIGURATION_remove_section (struct GNUNET_CONFIGURATION_Handle *cfg,
-                                    const char *section)
+                                     const char *section)
 {
   struct ConfigSection *spos;
   struct ConfigSection *prev;
@@ -468,28 +583,28 @@ GNUNET_CONFIGURATION_remove_section (struct GNUNET_CONFIGURATION_Handle *cfg,
   prev = NULL;
   spos = cfg->sections;
   while (spos != NULL)
+  {
+    if (0 == strcasecmp (section, spos->name))
     {
-      if (0 == strcmp (section, spos->name))
-       {
-         if (prev == NULL)
-           cfg->sections = spos->next;
-         else
-           prev->next = spos->next;
-         while (NULL != (ent = spos->entries))
-           {
-             spos->entries = ent->next;
-             GNUNET_free (ent->key);
-             GNUNET_free_non_null (ent->val);
-             GNUNET_free (ent);
-             cfg->dirty = GNUNET_YES;
-           }
-         GNUNET_free (spos->name);
-         GNUNET_free (spos);
-         return;
-       }
-      prev = spos;
-      spos = spos->next;
+      if (prev == NULL)
+        cfg->sections = spos->next;
+      else
+        prev->next = spos->next;
+      while (NULL != (ent = spos->entries))
+      {
+        spos->entries = ent->next;
+        GNUNET_free (ent->key);
+        GNUNET_free_non_null (ent->val);
+        GNUNET_free (ent);
+        cfg->dirty = GNUNET_YES;
+      }
+      GNUNET_free (spos->name);
+      GNUNET_free (spos);
+      return;
     }
+    prev = spos;
+    spos = spos->next;
+  }
 }
 
 
@@ -504,7 +619,7 @@ GNUNET_CONFIGURATION_remove_section (struct GNUNET_CONFIGURATION_Handle *cfg,
  */
 static void
 copy_entry (void *cls, const char *section, const char *option,
-           const char *value)
+            const char *value)
 {
   struct GNUNET_CONFIGURATION_Handle *dst = cls;
 
@@ -537,8 +652,7 @@ GNUNET_CONFIGURATION_dup (const struct GNUNET_CONFIGURATION_Handle *cfg)
  * @return matching entry, NULL if not found
  */
 static struct ConfigSection *
-findSection (const struct GNUNET_CONFIGURATION_Handle *cfg,
-            const char *section)
+findSection (const struct GNUNET_CONFIGURATION_Handle *cfg, const char *section)
 {
   struct ConfigSection *pos;
 
@@ -559,7 +673,7 @@ findSection (const struct GNUNET_CONFIGURATION_Handle *cfg,
  */
 static struct ConfigEntry *
 findEntry (const struct GNUNET_CONFIGURATION_Handle *cfg, const char *section,
-          const char *key)
+           const char *key)
 {
   struct ConfigSection *sec;
   struct ConfigEntry *pos;
@@ -586,7 +700,7 @@ findEntry (const struct GNUNET_CONFIGURATION_Handle *cfg, const char *section,
  */
 static void
 compareEntries (void *cls, const char *section, const char *option,
-               const char *value)
+                const char *value)
 {
   struct DiffHandle *dh = cls;
   struct ConfigEntry *entNew;
@@ -607,9 +721,9 @@ compareEntries (void *cls, const char *section, const char *option,
  */
 int
 GNUNET_CONFIGURATION_write_diffs (const struct GNUNET_CONFIGURATION_Handle
-                                 *cfgDefault,
-                                 const struct GNUNET_CONFIGURATION_Handle
-                                 *cfgNew, const char *filename)
+                                  *cfgDefault,
+                                  const struct GNUNET_CONFIGURATION_Handle
+                                  *cfgNew, const char *filename)
 {
   int ret;
   struct DiffHandle diffHandle;
@@ -632,28 +746,30 @@ GNUNET_CONFIGURATION_write_diffs (const struct GNUNET_CONFIGURATION_Handle
  * @param value value to set
  */
 void
-GNUNET_CONFIGURATION_set_value_string (struct GNUNET_CONFIGURATION_Handle
-                                      *cfg, const char *section,
-                                      const char *option, const char *value)
+GNUNET_CONFIGURATION_set_value_string (struct GNUNET_CONFIGURATION_Handle *cfg,
+                                       const char *section, const char *option,
+                                       const char *value)
 {
   struct ConfigSection *sec;
   struct ConfigEntry *e;
+  char *nv;
 
   e = findEntry (cfg, section, option);
   if (e != NULL)
-    {
-      GNUNET_free_non_null (e->val);
-      e->val = GNUNET_strdup (value);
-      return;
-    }
+  {
+    nv = GNUNET_strdup (value);
+    GNUNET_free_non_null (e->val);
+    e->val = nv;
+    return;
+  }
   sec = findSection (cfg, section);
   if (sec == NULL)
-    {
-      sec = GNUNET_malloc (sizeof (struct ConfigSection));
-      sec->name = GNUNET_strdup (section);
-      sec->next = cfg->sections;
-      cfg->sections = sec;
-    }
+  {
+    sec = GNUNET_malloc (sizeof (struct ConfigSection));
+    sec->name = GNUNET_strdup (section);
+    sec->next = cfg->sections;
+    cfg->sections = sec;
+  }
   e = GNUNET_malloc (sizeof (struct ConfigEntry));
   e->key = GNUNET_strdup (option);
   e->val = GNUNET_strdup (value);
@@ -671,10 +787,9 @@ GNUNET_CONFIGURATION_set_value_string (struct GNUNET_CONFIGURATION_Handle
  * @param number value to set
  */
 void
-GNUNET_CONFIGURATION_set_value_number (struct GNUNET_CONFIGURATION_Handle
-                                      *cfg, const char *section,
-                                      const char *option,
-                                      unsigned long long number)
+GNUNET_CONFIGURATION_set_value_number (struct GNUNET_CONFIGURATION_Handle *cfg,
+                                       const char *section, const char *option,
+                                       unsigned long long number)
 {
   char s[64];
 
@@ -693,11 +808,10 @@ GNUNET_CONFIGURATION_set_value_number (struct GNUNET_CONFIGURATION_Handle
  * @return GNUNET_OK on success, GNUNET_SYSERR on error
  */
 int
-GNUNET_CONFIGURATION_get_value_number (const struct
-                                      GNUNET_CONFIGURATION_Handle *cfg,
-                                      const char *section,
-                                      const char *option,
-                                      unsigned long long *number)
+GNUNET_CONFIGURATION_get_value_number (const struct GNUNET_CONFIGURATION_Handle
+                                       *cfg, const char *section,
+                                       const char *option,
+                                       unsigned long long *number)
 {
   struct ConfigEntry *e;
 
@@ -721,26 +835,41 @@ GNUNET_CONFIGURATION_get_value_number (const struct
  */
 int
 GNUNET_CONFIGURATION_get_value_time (const struct GNUNET_CONFIGURATION_Handle
-                                    *cfg, const char *section,
-                                    const char *option,
-                                    struct GNUNET_TIME_Relative *time)
+                                     *cfg, const char *section,
+                                     const char *option,
+                                     struct GNUNET_TIME_Relative *time)
 {
   struct ConfigEntry *e;
-  unsigned long long num;
 
   e = findEntry (cfg, section, option);
   if (e == NULL)
     return GNUNET_SYSERR;
-  if ((0 == strcasecmp (e->val, "infinity")) ||
-      (0 == strcasecmp (e->val, "forever")))
-    {
-      *time = GNUNET_TIME_UNIT_FOREVER_REL;
-      return GNUNET_OK;
-    }
-  if (1 != SSCANF (e->val, "%llu", &num))
+
+  return GNUNET_STRINGS_fancy_time_to_relative (e->val, time);
+}
+
+
+/**
+ * Get a configuration value that should be a size in bytes.
+ *
+ * @param cfg configuration to inspect
+ * @param section section of interest
+ * @param option option of interest
+ * @param size set to the size in bytes as stored in the configuration
+ * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ */
+int
+GNUNET_CONFIGURATION_get_value_size (const struct GNUNET_CONFIGURATION_Handle
+                                     *cfg, const char *section,
+                                     const char *option,
+                                     unsigned long long *size)
+{
+  struct ConfigEntry *e;
+
+  e = findEntry (cfg, section, option);
+  if (e == NULL)
     return GNUNET_SYSERR;
-  time->rel_value = (uint64_t) num;
-  return GNUNET_OK;
+  return GNUNET_STRINGS_fancy_size_to_bytes (e->val, size);
 }
 
 
@@ -755,19 +884,18 @@ GNUNET_CONFIGURATION_get_value_time (const struct GNUNET_CONFIGURATION_Handle
  * @return GNUNET_OK on success, GNUNET_SYSERR on error
  */
 int
-GNUNET_CONFIGURATION_get_value_string (const struct
-                                      GNUNET_CONFIGURATION_Handle *cfg,
-                                      const char *section,
-                                      const char *option, char **value)
+GNUNET_CONFIGURATION_get_value_string (const struct GNUNET_CONFIGURATION_Handle
+                                       *cfg, const char *section,
+                                       const char *option, char **value)
 {
   struct ConfigEntry *e;
 
   e = findEntry (cfg, section, option);
   if ((e == NULL) || (e->val == NULL))
-    {
-      *value = NULL;
-      return GNUNET_SYSERR;
-    }
+  {
+    *value = NULL;
+    return GNUNET_SYSERR;
+  }
   *value = GNUNET_strdup (e->val);
   return GNUNET_OK;
 }
@@ -786,12 +914,10 @@ GNUNET_CONFIGURATION_get_value_string (const struct
  * @return GNUNET_OK on success, GNUNET_SYSERR on error
  */
 int
-GNUNET_CONFIGURATION_get_value_choice (const struct
-                                      GNUNET_CONFIGURATION_Handle *cfg,
-                                      const char *section,
-                                      const char *option,
-                                      const char **choices,
-                                      const char **value)
+GNUNET_CONFIGURATION_get_value_choice (const struct GNUNET_CONFIGURATION_Handle
+                                       *cfg, const char *section,
+                                       const char *option, const char **choices,
+                                       const char **value)
 {
   struct ConfigEntry *e;
   int i;
@@ -801,19 +927,19 @@ GNUNET_CONFIGURATION_get_value_choice (const struct
     return GNUNET_SYSERR;
   i = 0;
   while (choices[i] != NULL)
-    {
-      if (0 == strcasecmp (choices[i], e->val))
-       break;
-      i++;
-    }
+  {
+    if (0 == strcasecmp (choices[i], e->val))
+      break;
+    i++;
+  }
   if (choices[i] == NULL)
-    {
-      LOG (GNUNET_ERROR_TYPE_ERROR,
-          _("Configuration value '%s' for '%s'"
-            " in section '%s' is not in set of legal choices\n"), e->val,
-          option, section);
-      return GNUNET_SYSERR;
-    }
+  {
+    LOG (GNUNET_ERROR_TYPE_ERROR,
+         _("Configuration value '%s' for '%s'"
+           " in section '%s' is not in set of legal choices\n"), e->val, option,
+         section);
+    return GNUNET_SYSERR;
+  }
   *value = choices[i];
   return GNUNET_OK;
 }
@@ -827,9 +953,8 @@ GNUNET_CONFIGURATION_get_value_choice (const struct
  * @return GNUNET_YES if so, GNUNET_NO if not.
  */
 int
-GNUNET_CONFIGURATION_have_value (const struct GNUNET_CONFIGURATION_Handle
-                                *cfg, const char *section,
-                                const char *option)
+GNUNET_CONFIGURATION_have_value (const struct GNUNET_CONFIGURATION_Handle *cfg,
+                                 const char *section, const char *option)
 {
   struct ConfigEntry *e;
 
@@ -850,7 +975,7 @@ GNUNET_CONFIGURATION_have_value (const struct GNUNET_CONFIGURATION_Handle
  */
 char *
 GNUNET_CONFIGURATION_expand_dollar (const struct GNUNET_CONFIGURATION_Handle
-                                   *cfg, char *orig)
+                                    *cfg, char *orig)
 {
   int i;
   char *prefix;
@@ -864,25 +989,24 @@ GNUNET_CONFIGURATION_expand_dollar (const struct GNUNET_CONFIGURATION_Handle
   while ((orig[i] != '/') && (orig[i] != '\\') && (orig[i] != '\0'))
     i++;
   if (orig[i] == '\0')
-    {
-      post = "";
-    }
+  {
+    post = "";
+  }
   else
-    {
-      orig[i] = '\0';
-      post = &orig[i + 1];
-    }
+  {
+    orig[i] = '\0';
+    post = &orig[i + 1];
+  }
   if (GNUNET_OK !=
-      GNUNET_CONFIGURATION_get_value_filename (cfg, "PATHS", &orig[1],
-                                              &prefix))
+      GNUNET_CONFIGURATION_get_value_filename (cfg, "PATHS", &orig[1], &prefix))
+  {
+    if (NULL == (env = getenv (&orig[1])))
     {
-      if (NULL == (env = getenv (&orig[1])))
-       {
-         orig[i] = DIR_SEPARATOR;
-         return orig;
-       }
-      prefix = GNUNET_strdup (env);
+      orig[i] = DIR_SEPARATOR;
+      return orig;
     }
+    prefix = GNUNET_strdup (env);
+  }
   result = GNUNET_malloc (strlen (prefix) + strlen (post) + 2);
   strcpy (result, prefix);
   if ((strlen (prefix) == 0) ||
@@ -907,18 +1031,18 @@ GNUNET_CONFIGURATION_expand_dollar (const struct GNUNET_CONFIGURATION_Handle
  */
 int
 GNUNET_CONFIGURATION_get_value_filename (const struct
-                                        GNUNET_CONFIGURATION_Handle *cfg,
-                                        const char *section,
-                                        const char *option, char **value)
+                                         GNUNET_CONFIGURATION_Handle *cfg,
+                                         const char *section,
+                                         const char *option, char **value)
 {
   char *tmp;
 
   if (GNUNET_OK !=
       GNUNET_CONFIGURATION_get_value_string (cfg, section, option, &tmp))
-    {
-      *value = NULL;
-      return GNUNET_SYSERR;
-    }
+  {
+    *value = NULL;
+    return GNUNET_SYSERR;
+  }
   tmp = GNUNET_CONFIGURATION_expand_dollar (cfg, tmp);
   *value = GNUNET_STRINGS_filename_expand (tmp);
   GNUNET_free (tmp);
@@ -939,15 +1063,15 @@ GNUNET_CONFIGURATION_get_value_filename (const struct
  */
 int
 GNUNET_CONFIGURATION_get_value_yesno (const struct GNUNET_CONFIGURATION_Handle
-                                     *cfg, const char *section,
-                                     const char *option)
+                                      *cfg, const char *section,
+                                      const char *option)
 {
   static const char *yesno[] = { "YES", "NO", NULL };
   const char *val;
   int ret;
 
   ret =
-    GNUNET_CONFIGURATION_get_value_choice (cfg, section, option, yesno, &val);
+      GNUNET_CONFIGURATION_get_value_choice (cfg, section, option, yesno, &val);
   if (ret == GNUNET_SYSERR)
     return ret;
   if (val == yesno[0])
@@ -968,11 +1092,11 @@ GNUNET_CONFIGURATION_get_value_yesno (const struct GNUNET_CONFIGURATION_Handle
  */
 int
 GNUNET_CONFIGURATION_iterate_value_filenames (const struct
-                                             GNUNET_CONFIGURATION_Handle
-                                             *cfg, const char *section,
-                                             const char *option,
-                                             GNUNET_FileNameCallback cb,
-                                             void *cb_cls)
+                                              GNUNET_CONFIGURATION_Handle *cfg,
+                                              const char *section,
+                                              const char *option,
+                                              GNUNET_FileNameCallback cb,
+                                              void *cb_cls)
 {
   char *list;
   char *pos;
@@ -987,46 +1111,46 @@ GNUNET_CONFIGURATION_iterate_value_filenames (const struct
   ret = 0;
   pos = list;
   while (1)
+  {
+    while (pos[0] == ' ')
+      pos++;
+    if (strlen (pos) == 0)
+      break;
+    end = pos + 1;
+    while ((end[0] != ' ') && (end[0] != '\0'))
     {
-      while (pos[0] == ' ')
-       pos++;
-      if (strlen (pos) == 0)
-       break;
-      end = pos + 1;
-      while ((end[0] != ' ') && (end[0] != '\0'))
-       {
-         if (end[0] == '\\')
-           {
-             switch (end[1])
-               {
-               case '\\':
-               case ' ':
-                 memmove (end, &end[1], strlen (&end[1]) + 1);
-               case '\0':
-                 /* illegal, but just keep it */
-                 break;
-               default:
-                 /* illegal, but just ignore that there was a '/' */
-                 break;
-               }
-           }
-         end++;
-       }
-      old = end[0];
-      end[0] = '\0';
-      if (strlen (pos) > 0)
-       {
-         ret++;
-         if ((cb != NULL) && (GNUNET_OK != cb (cb_cls, pos)))
-           {
-             ret = GNUNET_SYSERR;
-             break;
-           }
-       }
-      if (old == '\0')
-       break;
-      pos = end + 1;
+      if (end[0] == '\\')
+      {
+        switch (end[1])
+        {
+        case '\\':
+        case ' ':
+          memmove (end, &end[1], strlen (&end[1]) + 1);
+        case '\0':
+          /* illegal, but just keep it */
+          break;
+        default:
+          /* illegal, but just ignore that there was a '/' */
+          break;
+        }
+      }
+      end++;
+    }
+    old = end[0];
+    end[0] = '\0';
+    if (strlen (pos) > 0)
+    {
+      ret++;
+      if ((cb != NULL) && (GNUNET_OK != cb (cb_cls, pos)))
+      {
+        ret = GNUNET_SYSERR;
+        break;
+      }
     }
+    if (old == '\0')
+      break;
+    pos = end + 1;
+  }
   GNUNET_free (list);
   return ret;
 }
@@ -1050,21 +1174,21 @@ escape_name (const char *value)
   rpos = value;
   wpos = escaped;
   while (rpos[0] != '\0')
+  {
+    switch (rpos[0])
     {
-      switch (rpos[0])
-       {
-       case '\\':
-       case ' ':
-         wpos[0] = '\\';
-         wpos[1] = rpos[0];
-         wpos += 2;
-         break;
-       default:
-         wpos[0] = rpos[0];
-         wpos++;
-       }
-      rpos++;
+    case '\\':
+    case ' ':
+      wpos[0] = '\\';
+      wpos[1] = rpos[0];
+      wpos += 2;
+      break;
+    default:
+      wpos[0] = rpos[0];
+      wpos++;
     }
+    rpos++;
+  }
   return escaped;
 }
 
@@ -1099,9 +1223,9 @@ test_match (void *cls, const char *fn)
  */
 int
 GNUNET_CONFIGURATION_append_value_filename (struct GNUNET_CONFIGURATION_Handle
-                                           *cfg, const char *section,
-                                           const char *option,
-                                           const char *value)
+                                            *cfg, const char *section,
+                                            const char *option,
+                                            const char *value)
 {
   char *escaped;
   char *old;
@@ -1109,9 +1233,9 @@ GNUNET_CONFIGURATION_append_value_filename (struct GNUNET_CONFIGURATION_Handle
 
   if (GNUNET_SYSERR ==
       GNUNET_CONFIGURATION_iterate_value_filenames (cfg, section, option,
-                                                   &test_match,
-                                                   (void *) value))
-    return GNUNET_NO;          /* already exists */
+                                                    &test_match,
+                                                    (void *) value))
+    return GNUNET_NO;           /* already exists */
   if (GNUNET_OK !=
       GNUNET_CONFIGURATION_get_value_string (cfg, section, option, &old))
     old = GNUNET_strdup ("");
@@ -1143,9 +1267,9 @@ GNUNET_CONFIGURATION_append_value_filename (struct GNUNET_CONFIGURATION_Handle
  */
 int
 GNUNET_CONFIGURATION_remove_value_filename (struct GNUNET_CONFIGURATION_Handle
-                                           *cfg, const char *section,
-                                           const char *option,
-                                           const char *value)
+                                            *cfg, const char *section,
+                                            const char *option,
+                                            const char *value)
 {
   char *list;
   char *pos;
@@ -1159,55 +1283,55 @@ GNUNET_CONFIGURATION_remove_value_filename (struct GNUNET_CONFIGURATION_Handle
   match = escape_name (value);
   pos = list;
   while (1)
+  {
+    while (pos[0] == ' ')
+      pos++;
+    if (strlen (pos) == 0)
+      break;
+    end = pos + 1;
+    while ((end[0] != ' ') && (end[0] != '\0'))
     {
-      while (pos[0] == ' ')
-       pos++;
-      if (strlen (pos) == 0)
-       break;
-      end = pos + 1;
-      while ((end[0] != ' ') && (end[0] != '\0'))
-       {
-         if (end[0] == '\\')
-           {
-             switch (end[1])
-               {
-               case '\\':
-               case ' ':
-                 end++;
-                 break;
-               case '\0':
-                 /* illegal, but just keep it */
-                 break;
-               default:
-                 /* illegal, but just ignore that there was a '/' */
-                 break;
-               }
-           }
-         end++;
-       }
-      old = end[0];
-      end[0] = '\0';
-      if (0 == strcmp (pos, match))
-       {
-         if (old != '\0')
-           memmove (pos, &end[1], strlen (&end[1]) + 1);
-         else
-           {
-             if (pos != list)
-               pos[-1] = '\0';
-             else
-               pos[0] = '\0';
-           }
-         GNUNET_CONFIGURATION_set_value_string (cfg, section, option, list);
-         GNUNET_free (list);
-         GNUNET_free (match);
-         return GNUNET_OK;
-       }
-      if (old == '\0')
-       break;
-      end[0] = old;
-      pos = end + 1;
+      if (end[0] == '\\')
+      {
+        switch (end[1])
+        {
+        case '\\':
+        case ' ':
+          end++;
+          break;
+        case '\0':
+          /* illegal, but just keep it */
+          break;
+        default:
+          /* illegal, but just ignore that there was a '/' */
+          break;
+        }
+      }
+      end++;
     }
+    old = end[0];
+    end[0] = '\0';
+    if (0 == strcmp (pos, match))
+    {
+      if (old != '\0')
+        memmove (pos, &end[1], strlen (&end[1]) + 1);
+      else
+      {
+        if (pos != list)
+          pos[-1] = '\0';
+        else
+          pos[0] = '\0';
+      }
+      GNUNET_CONFIGURATION_set_value_string (cfg, section, option, list);
+      GNUNET_free (list);
+      GNUNET_free (match);
+      return GNUNET_OK;
+    }
+    if (old == '\0')
+      break;
+    end[0] = old;
+    pos = end + 1;
+  }
   GNUNET_free (list);
   GNUNET_free (match);
   return GNUNET_NO;
@@ -1222,17 +1346,44 @@ GNUNET_CONFIGURATION_remove_value_filename (struct GNUNET_CONFIGURATION_Handle
  * @return GNUNET_OK on success
  */
 static int
-parse_configuration_file (void *cls,
-                         const char *filename)
+parse_configuration_file (void *cls, const char *filename)
 {
   struct GNUNET_CONFIGURATION_Handle *cfg = cls;
+  char * ext;
   int ret;
 
+  /* Examine file extension */
+  ext = strrchr (filename, '.');
+  if ((NULL == ext) || (0 != strcmp (ext, ".conf")))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Skipping file `%s'\n", filename);
+    return GNUNET_OK;
+  }
+
   ret = GNUNET_CONFIGURATION_parse (cfg, filename);
   return ret;
 }
 
 
+/**
+ * Load default configuration.  This function will parse the
+ * defaults from the given defaults_d directory.
+ *
+ * @param cfg configuration to update
+ * @param defaults_d directory with the defaults
+ * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ */
+int
+GNUNET_CONFIGURATION_load_from (struct GNUNET_CONFIGURATION_Handle *cfg,
+                               const char *defaults_d)
+{
+  if (GNUNET_SYSERR ==
+      GNUNET_DISK_directory_scan (defaults_d, &parse_configuration_file, cfg))
+    return GNUNET_SYSERR;       /* no configuration at all found */
+  return GNUNET_OK;
+}
+
+
 /**
  * Load configuration (starts with defaults, then loads
  * system-specific configuration).
@@ -1243,7 +1394,7 @@ parse_configuration_file (void *cls,
  */
 int
 GNUNET_CONFIGURATION_load (struct GNUNET_CONFIGURATION_Handle *cfg,
-                          const char *filename)
+                           const char *filename)
 {
   char *baseconfig;
   char *ipath;
@@ -1252,29 +1403,26 @@ GNUNET_CONFIGURATION_load (struct GNUNET_CONFIGURATION_Handle *cfg,
   if (ipath == NULL)
     return GNUNET_SYSERR;
   baseconfig = NULL;
-  GNUNET_asprintf (&baseconfig, "%s%s", ipath, 
-                  "config.d");
+  GNUNET_asprintf (&baseconfig, "%s%s", ipath, "config.d");
   GNUNET_free (ipath);
   if (GNUNET_SYSERR ==
-      GNUNET_DISK_directory_scan (baseconfig,
-                                 &parse_configuration_file,
-                                 cfg))
+      GNUNET_DISK_directory_scan (baseconfig, &parse_configuration_file, cfg))
   {
     GNUNET_free (baseconfig);
-    return GNUNET_SYSERR; /* no configuration at all found */    
+    return GNUNET_SYSERR;       /* no configuration at all found */
   }
-  GNUNET_free (baseconfig);  
-  if ( (filename != NULL) &&
-       (GNUNET_OK != GNUNET_CONFIGURATION_parse (cfg, filename)) )
+  GNUNET_free (baseconfig);
+  if ((filename != NULL) &&
+      (GNUNET_OK != GNUNET_CONFIGURATION_parse (cfg, filename)))
   {
     /* specified configuration not found */
     return GNUNET_SYSERR;
   }
   if (((GNUNET_YES !=
-       GNUNET_CONFIGURATION_have_value (cfg, "PATHS", "DEFAULTCONFIG"))) &&
+        GNUNET_CONFIGURATION_have_value (cfg, "PATHS", "DEFAULTCONFIG"))) &&
       (filename != NULL))
     GNUNET_CONFIGURATION_set_value_string (cfg, "PATHS", "DEFAULTCONFIG",
-                                          filename);
+                                           filename);
   if ((GNUNET_YES ==
        GNUNET_CONFIGURATION_have_value (cfg, "TESTING", "WEAKRANDOM")) &&
       (GNUNET_YES ==