-typo
[oweals/gnunet.git] / src / util / configuration.c
index 534949652ae11e92583bac124d8fc127822416d0..de6e542e8db834d7fa717bcacea4b4bc195d5fe5 100644 (file)
 /**
  * @file src/util/configuration.c
  * @brief configuration management
- *
  * @author Christian Grothoff
  */
 
 #include "platform.h"
 #include "gnunet_common.h"
-#include "gnunet_configuration_lib.h"
+#include "gnunet_util_lib.h"
 #include "gnunet_crypto_lib.h"
-#include "gnunet_disk_lib.h"
-#include "gnunet_os_lib.h"
 #include "gnunet_strings_lib.h"
 
+#define LOG(kind,...) GNUNET_log_from (kind, "util", __VA_ARGS__)
+
+#define LOG_STRERROR_FILE(kind,syscall,filename) GNUNET_log_from_strerror_file (kind, "util", syscall, filename)
 
 /**
  * @brief configuration entry
@@ -140,46 +140,55 @@ GNUNET_CONFIGURATION_destroy (struct GNUNET_CONFIGURATION_Handle *cfg)
 
 
 /**
- * Parse a configuration file, add all of the options in the
- * file to the configuration environment.
+ * De-serializes configuration
  *
  * @param cfg configuration to update
- * @param filename name of the configuration file
- * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ * @param mem the memory block of serialized configuration
+ * @param size the size of the memory block
+ * @param allow_inline set to GNUNET_YES if we recursively load configuration
+ *          from inlined configurations; GNUNET_NO if not and raise warnings
+ *          when we come across them
+ * @return GNUNET_OK on success, GNUNET_ERROR on error
  */
 int
-GNUNET_CONFIGURATION_parse (struct GNUNET_CONFIGURATION_Handle *cfg,
-                            const char *filename)
+GNUNET_CONFIGURATION_deserialize (struct GNUNET_CONFIGURATION_Handle *cfg,
+                                 const char *mem,
+                                 const size_t size,
+                                 int allow_inline)
 {
-  int dirty;
   char line[256];
   char tag[64];
   char value[192];
-  FILE *fp;
+  char *pos;
   unsigned int nr;
+  size_t r_bytes;
+  size_t to_read;
   int i;
   int emptyline;
   int ret;
   char *section;
-  char *fn;
 
-  fn = GNUNET_STRINGS_filename_expand (filename);
-  if (fn == NULL)
-    return GNUNET_SYSERR;
-  dirty = cfg->dirty;           /* back up value! */
-  if (NULL == (fp = FOPEN (fn, "r")))
-  {
-    GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "fopen", fn);
-    GNUNET_free (fn);
-    return GNUNET_SYSERR;
-  }
-  GNUNET_free (fn);
   ret = GNUNET_OK;
   section = GNUNET_strdup ("");
-  memset (line, 0, 256);
   nr = 0;
-  while (NULL != fgets (line, 255, fp))
+  r_bytes = 0;
+  memset (line, 0, 256);
+  while (r_bytes < size)
   {
+    /* fgets-like behaviour on buffer. read size is 255 bytes */
+    to_read = size - r_bytes;
+    if (to_read > 255)
+      to_read = 255;
+    memcpy (line, mem + r_bytes, to_read);
+    line[to_read] = '\0';
+    if (NULL != (pos = strstr (line, "\n")))
+    {
+      pos[1] = '\0';
+      r_bytes += (pos - line) + 1;
+    }
+    else
+      r_bytes += to_read;
+    /* fgets-like behaviour end */
     nr++;
     for (i = 0; i < 255; i++)
       if (line[i] == '\t')
@@ -196,19 +205,25 @@ GNUNET_CONFIGURATION_parse (struct GNUNET_CONFIGURATION_Handle *cfg,
     for (i = strlen (line) - 1; (i >= 0) && (isspace ((unsigned char) line[i]));
          i--)
       line[i] = '\0';
-    if (1 == sscanf (line, "@INLINE@ %191[^\n]", value))
-    {
+    if (1 == SSCANF (line, "@INLINE@ %191[^\n]", value))
+    {      
       /* @INLINE@ value */
-      if (GNUNET_OK != GNUNET_CONFIGURATION_parse (cfg, value))
-        ret = GNUNET_SYSERR;    /* failed to parse included config */
+      if (GNUNET_YES == allow_inline)
+      {
+       if (GNUNET_OK != GNUNET_CONFIGURATION_parse (cfg, value))
+         ret = GNUNET_SYSERR;    /* failed to parse included config */
+      }
+      else
+       LOG (GNUNET_ERROR_TYPE_DEBUG,
+            "Ignoring parsing INLINE configurations as allow_inline is false\n");
     }
-    else if (1 == sscanf (line, "[%99[^]]]", value))
+    else if (1 == SSCANF (line, "[%99[^]]]", value))
     {
       /* [value] */
       GNUNET_free (section);
       section = GNUNET_strdup (value);
     }
-    else if (2 == sscanf (line, " %63[^= ] = %191[^\n]", tag, value))
+    else if (2 == SSCANF (line, " %63[^= ] = %191[^\n]", tag, value))
     {
       /* tag = value */
       /* Strip LF */
@@ -232,7 +247,7 @@ GNUNET_CONFIGURATION_parse (struct GNUNET_CONFIGURATION_Handle *cfg,
       }
       GNUNET_CONFIGURATION_set_value_string (cfg, section, tag, &value[i]);
     }
-    else if (1 == sscanf (line, " %63[^= ] =[^\n]", tag))
+    else if (1 == SSCANF (line, " %63[^= ] =[^\n]", tag))
     {
       /* tag = */
       GNUNET_CONFIGURATION_set_value_string (cfg, section, tag, "");
@@ -240,18 +255,71 @@ GNUNET_CONFIGURATION_parse (struct GNUNET_CONFIGURATION_Handle *cfg,
     else
     {
       /* parse error */
-      GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                  _("Syntax error in configuration file `%s' at line %u.\n"),
-                  filename, nr);
+      LOG (GNUNET_ERROR_TYPE_WARNING,
+           _("Syntax error while deserializing operation at line %u\n"), nr);
       ret = GNUNET_SYSERR;
       break;
     }
   }
-  GNUNET_assert (0 == fclose (fp));
+  GNUNET_free (section);  
+  GNUNET_assert (r_bytes == size);
+  return ret;
+}
+
+
+/**
+ * Parse a configuration file, add all of the options in the
+ * file to the configuration environment.
+ *
+ * @param cfg configuration to update
+ * @param filename name of the configuration file
+ * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ */
+int
+GNUNET_CONFIGURATION_parse (struct GNUNET_CONFIGURATION_Handle *cfg,
+                            const char *filename)
+{
+  uint64_t fs64;
+  size_t fs;
+  char *fn;
+  char *mem;
+  int dirty;
+  int ret;
+
+  fn = GNUNET_STRINGS_filename_expand (filename);
+  if (fn == NULL)
+    return GNUNET_SYSERR;
+  dirty = cfg->dirty;           /* back up value! */
+  if (GNUNET_SYSERR == 
+       GNUNET_DISK_file_size (fn, &fs64, GNUNET_YES, GNUNET_YES))
+  {
+    LOG (GNUNET_ERROR_TYPE_WARNING,
+        "Error while determining the file size of %s\n", fn);
+    GNUNET_free (fn);
+    return GNUNET_SYSERR;
+  }
+  if (fs64 > SIZE_MAX)
+  {
+    GNUNET_break (0);          /* File size is more than the heap size */
+    GNUNET_free (fn);
+    return GNUNET_SYSERR;
+  }
+  fs = fs64;
+  mem = GNUNET_malloc (fs);
+  if (fs != GNUNET_DISK_fn_read (fn, mem, fs))
+  {
+    LOG (GNUNET_ERROR_TYPE_WARNING,
+        "Error while reading file %s\n", fn);
+    GNUNET_free (fn);
+    GNUNET_free (mem);
+    return GNUNET_SYSERR;
+  }
+  GNUNET_free (fn);
+  ret = GNUNET_CONFIGURATION_deserialize (cfg, mem, fs, GNUNET_YES);  
+  GNUNET_free (mem);
   /* restore dirty flag - anything we set in the meantime
    * came from disk */
   cfg->dirty = dirty;
-  GNUNET_free (section);
   return ret;
 }
 
@@ -271,88 +339,140 @@ GNUNET_CONFIGURATION_is_dirty (const struct GNUNET_CONFIGURATION_Handle *cfg)
 
 
 /**
- * Write configuration file.
+ * Serializes the given configuration.
  *
- * @param cfg configuration to write
- * @param filename where to write the configuration
- * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ * @param cfg configuration to serialize
+ * @param size will be set to the size of the serialized memory block
+ * @return the memory block where the serialized configuration is
+ *           present. This memory should be freed by the caller
  */
-int
-GNUNET_CONFIGURATION_write (struct GNUNET_CONFIGURATION_Handle *cfg,
-                            const char *filename)
+char *
+GNUNET_CONFIGURATION_serialize (const struct GNUNET_CONFIGURATION_Handle *cfg,
+                               size_t *size)
 {
   struct ConfigSection *sec;
   struct ConfigEntry *ent;
-  FILE *fp;
-  int error;
-  char *fn;
+  char *mem;
+  char *cbuf;
   char *val;
   char *pos;
+  int len;
+  size_t m_size;
+  size_t c_size;
 
-  fn = GNUNET_STRINGS_filename_expand (filename);
-  if (fn == NULL)
-    return GNUNET_SYSERR;
-  if (GNUNET_OK != GNUNET_DISK_directory_create_for_file (fn))
-  {
-    GNUNET_free (fn);
-    return GNUNET_SYSERR;
-  }
-  if (NULL == (fp = FOPEN (fn, "w")))
-  {
-    GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "fopen", fn);
-    GNUNET_free (fn);
-    return GNUNET_SYSERR;
-  }
-  GNUNET_free (fn);
-  error = 0;
+
+  /* Pass1 : calculate the buffer size required */
+  m_size = 0;
   sec = cfg->sections;
-  while (sec != NULL)
+  while (NULL != sec)
   {
-    if (0 > fprintf (fp, "[%s]\n", sec->name))
+    /* For each section we need to add 3 charaters: {'[',']','\n'} */
+    m_size += strlen (sec->name) + 3;
+    ent = sec->entries;
+    while (NULL != ent)
     {
-      error = 1;
-      break;
+      if (NULL != ent->val)
+      {
+       /* if val has any '\n' then they occupy +1 character as '\n'->'\\','n' */
+       pos = ent->val;
+       while (NULL != (pos = strstr (pos, "\n")))
+       {
+         m_size++;
+         pos++;
+       }
+       /* For each key = value pair we need to add 4 characters (2
+          spaces and 1 equal-to character and 1 new line) */
+       m_size += strlen (ent->key) + strlen (ent->val) + 4;    
+      }
+      ent = ent->next;
     }
+    /* A new line after section end */
+    m_size++;
+    sec = sec->next;
+  }
+
+  /* Pass2: Allocate memory and write the configuration to it */
+  mem = GNUNET_malloc (m_size);
+  sec = cfg->sections;
+  c_size = 0;
+  *size = c_size;  
+  while (NULL != sec)
+  {
+    len = GNUNET_asprintf (&cbuf, "[%s]\n", sec->name);
+    GNUNET_assert (0 < len);
+    memcpy (mem + c_size, cbuf, len);
+    c_size += len;
+    GNUNET_free (cbuf);
     ent = sec->entries;
-    while (ent != NULL)
+    while (NULL != ent)
     {
-      if (ent->val != NULL)
+      if (NULL != ent->val)
       {
-        val = GNUNET_malloc (strlen (ent->val) * 2 + 1);
-        strcpy (val, ent->val);
+       val = GNUNET_malloc (strlen (ent->val) * 2 + 1);
+       strcpy (val, ent->val);
         while (NULL != (pos = strstr (val, "\n")))
         {
           memmove (&pos[2], &pos[1], strlen (&pos[1]));
           pos[0] = '\\';
           pos[1] = 'n';
         }
-        if (0 > fprintf (fp, "%s = %s\n", ent->key, val))
-        {
-          error = 1;
-          GNUNET_free (val);
-          break;
-        }
-        GNUNET_free (val);
+       len = GNUNET_asprintf (&cbuf, "%s = %s\n", ent->key, val);
+       GNUNET_free (val);
+       memcpy (mem + c_size, cbuf, len);
+       c_size += len;
+       GNUNET_free (cbuf);     
       }
       ent = ent->next;
     }
-    if (error != 0)
-      break;
-    if (0 > fprintf (fp, "\n"))
-    {
-      error = 1;
-      break;
-    }
+    memcpy (mem + c_size, "\n", 1);
+    c_size ++;
     sec = sec->next;
   }
-  if (error != 0)
-    GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "fprintf", filename);
-  GNUNET_assert (0 == fclose (fp));
-  if (error != 0)
+  GNUNET_assert (c_size == m_size);
+  *size = c_size;
+  return mem;
+}
+
+
+/**
+ * Write configuration file.
+ *
+ * @param cfg configuration to write
+ * @param filename where to write the configuration
+ * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ */
+int
+GNUNET_CONFIGURATION_write (struct GNUNET_CONFIGURATION_Handle *cfg,
+                            const char *filename)
+{
+  char *fn;
+  char *cfg_buf;
+  size_t size;
+
+  fn = GNUNET_STRINGS_filename_expand (filename);
+  if (fn == NULL)
+    return GNUNET_SYSERR;
+  if (GNUNET_OK != GNUNET_DISK_directory_create_for_file (fn))
   {
+    GNUNET_free (fn);
+    return GNUNET_SYSERR;
+  }
+  cfg_buf = GNUNET_CONFIGURATION_serialize (cfg, &size);
+  if (size != GNUNET_DISK_fn_write (fn, cfg_buf, size,
+                                   GNUNET_DISK_PERM_USER_READ 
+                                   | GNUNET_DISK_PERM_USER_WRITE
+                                   | GNUNET_DISK_PERM_GROUP_READ 
+                                   | GNUNET_DISK_PERM_GROUP_WRITE))
+  {
+    GNUNET_free (fn);
+    GNUNET_free (cfg_buf);
+    LOG (GNUNET_ERROR_TYPE_WARNING,
+        "Writing configration to file: %s failed\n", filename);
     cfg->dirty = GNUNET_SYSERR; /* last write failed */
     return GNUNET_SYSERR;
   }
+  GNUNET_free (fn);
+  GNUNET_free (cfg_buf);
   cfg->dirty = GNUNET_NO;       /* last write succeeded */
   return GNUNET_OK;
 }
@@ -406,7 +526,7 @@ GNUNET_CONFIGURATION_iterate_section_values (const struct
   struct ConfigEntry *epos;
 
   spos = cfg->sections;
-  while ((spos != NULL) && (0 != strcmp (spos->name, section)))
+  while ((spos != NULL) && (0 != strcasecmp (spos->name, section)))
     spos = spos->next;
 
   if (spos == NULL)
@@ -464,7 +584,7 @@ GNUNET_CONFIGURATION_remove_section (struct GNUNET_CONFIGURATION_Handle *cfg,
   spos = cfg->sections;
   while (spos != NULL)
   {
-    if (0 == strcmp (section, spos->name))
+    if (0 == strcasecmp (section, spos->name))
     {
       if (prev == NULL)
         cfg->sections = spos->next;
@@ -495,7 +615,7 @@ GNUNET_CONFIGURATION_remove_section (struct GNUNET_CONFIGURATION_Handle *cfg,
  * @param cls the destination configuration (struct GNUNET_CONFIGURATION_Handle*)
  * @param section section for the value
  * @param option option name of the value
- * @param value value to copy 
+ * @param value value to copy
  */
 static void
 copy_entry (void *cls, const char *section, const char *option,
@@ -632,12 +752,14 @@ GNUNET_CONFIGURATION_set_value_string (struct GNUNET_CONFIGURATION_Handle *cfg,
 {
   struct ConfigSection *sec;
   struct ConfigEntry *e;
+  char *nv;
 
   e = findEntry (cfg, section, option);
   if (e != NULL)
   {
+    nv = GNUNET_strdup (value);
     GNUNET_free_non_null (e->val);
-    e->val = GNUNET_strdup (value);
+    e->val = nv;
     return;
   }
   sec = findSection (cfg, section);
@@ -718,21 +840,36 @@ GNUNET_CONFIGURATION_get_value_time (const struct GNUNET_CONFIGURATION_Handle
                                      struct GNUNET_TIME_Relative *time)
 {
   struct ConfigEntry *e;
-  unsigned long long num;
 
   e = findEntry (cfg, section, option);
   if (e == NULL)
     return GNUNET_SYSERR;
-  if ((0 == strcasecmp (e->val, "infinity")) ||
-      (0 == strcasecmp (e->val, "forever")))
-  {
-    *time = GNUNET_TIME_UNIT_FOREVER_REL;
-    return GNUNET_OK;
-  }
-  if (1 != SSCANF (e->val, "%llu", &num))
+
+  return GNUNET_STRINGS_fancy_time_to_relative (e->val, time);
+}
+
+
+/**
+ * Get a configuration value that should be a size in bytes.
+ *
+ * @param cfg configuration to inspect
+ * @param section section of interest
+ * @param option option of interest
+ * @param size set to the size in bytes as stored in the configuration
+ * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ */
+int
+GNUNET_CONFIGURATION_get_value_size (const struct GNUNET_CONFIGURATION_Handle
+                                     *cfg, const char *section,
+                                     const char *option,
+                                     unsigned long long *size)
+{
+  struct ConfigEntry *e;
+
+  e = findEntry (cfg, section, option);
+  if (e == NULL)
     return GNUNET_SYSERR;
-  time->rel_value = (uint64_t) num;
-  return GNUNET_OK;
+  return GNUNET_STRINGS_fancy_size_to_bytes (e->val, size);
 }
 
 
@@ -797,10 +934,10 @@ GNUNET_CONFIGURATION_get_value_choice (const struct GNUNET_CONFIGURATION_Handle
   }
   if (choices[i] == NULL)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
-                _("Configuration value '%s' for '%s'"
-                  " in section '%s' is not in set of legal choices\n"), e->val,
-                option, section);
+    LOG (GNUNET_ERROR_TYPE_ERROR,
+         _("Configuration value '%s' for '%s'"
+           " in section '%s' is not in set of legal choices\n"), e->val, option,
+         section);
     return GNUNET_SYSERR;
   }
   *value = choices[i];
@@ -1201,6 +1338,52 @@ GNUNET_CONFIGURATION_remove_value_filename (struct GNUNET_CONFIGURATION_Handle
 }
 
 
+/**
+ * Wrapper around GNUNET_CONFIGURATION_parse.
+ *
+ * @param cls the cfg
+ * @param filename file to parse
+ * @return GNUNET_OK on success
+ */
+static int
+parse_configuration_file (void *cls, const char *filename)
+{
+  struct GNUNET_CONFIGURATION_Handle *cfg = cls;
+  char * ext;
+  int ret;
+
+  /* Examine file extension */
+  ext = strrchr (filename, '.');
+  if ((NULL == ext) || (0 != strcmp (ext, ".conf")))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Skipping file `%s'\n", filename);
+    return GNUNET_OK;
+  }
+
+  ret = GNUNET_CONFIGURATION_parse (cfg, filename);
+  return ret;
+}
+
+
+/**
+ * Load default configuration.  This function will parse the
+ * defaults from the given defaults_d directory.
+ *
+ * @param cfg configuration to update
+ * @param defaults_d directory with the defaults
+ * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ */
+int
+GNUNET_CONFIGURATION_load_from (struct GNUNET_CONFIGURATION_Handle *cfg,
+                               const char *defaults_d)
+{
+  if (GNUNET_SYSERR ==
+      GNUNET_DISK_directory_scan (defaults_d, &parse_configuration_file, cfg))
+    return GNUNET_SYSERR;       /* no configuration at all found */
+  return GNUNET_OK;
+}
+
+
 /**
  * Load configuration (starts with defaults, then loads
  * system-specific configuration).
@@ -1220,17 +1403,21 @@ GNUNET_CONFIGURATION_load (struct GNUNET_CONFIGURATION_Handle *cfg,
   if (ipath == NULL)
     return GNUNET_SYSERR;
   baseconfig = NULL;
-  GNUNET_asprintf (&baseconfig, "%s%s%s", ipath, DIR_SEPARATOR_STR,
-                   "defaults.conf");
+  GNUNET_asprintf (&baseconfig, "%s%s", ipath, "config.d");
   GNUNET_free (ipath);
-  if ((GNUNET_OK != GNUNET_CONFIGURATION_parse (cfg, baseconfig)) ||
-      (!((filename == NULL) ||
-         (GNUNET_OK == GNUNET_CONFIGURATION_parse (cfg, filename)))))
+  if (GNUNET_SYSERR ==
+      GNUNET_DISK_directory_scan (baseconfig, &parse_configuration_file, cfg))
   {
     GNUNET_free (baseconfig);
-    return (filename == NULL) ? GNUNET_OK : GNUNET_SYSERR;
+    return GNUNET_SYSERR;       /* no configuration at all found */
   }
   GNUNET_free (baseconfig);
+  if ((filename != NULL) &&
+      (GNUNET_OK != GNUNET_CONFIGURATION_parse (cfg, filename)))
+  {
+    /* specified configuration not found */
+    return GNUNET_SYSERR;
+  }
   if (((GNUNET_YES !=
         GNUNET_CONFIGURATION_have_value (cfg, "PATHS", "DEFAULTCONFIG"))) &&
       (filename != NULL))