-ensure stats queues do not grow too big
[oweals/gnunet.git] / src / datacache / plugin_datacache_heap.c
index 2f55bcf5337c0b66489b3e11017ff7ee1b579169..a32835cf49aace9545be4ccbed3579e8e2f1c413 100644 (file)
@@ -1,6 +1,6 @@
 /*
      This file is part of GNUnet
-     (C) 2012 Christian Grothoff (and other contributing authors)
+     Copyright (C) 2012, 2015 GNUnet e.V.
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
@@ -14,8 +14,8 @@
 
      You should have received a copy of the GNU General Public License
      along with GNUnet; see the file COPYING.  If not, write to the
-     Free Software Foundation, Inc., 59 Temple Place - Suite 330,
-     Boston, MA 02111-1307, USA.
+     Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
+     Boston, MA 02110-1301, USA.
 */
 
 /**
@@ -32,6 +32,7 @@
 #define LOG_STRERROR_FILE(kind,op,fn) GNUNET_log_from_strerror_file (kind, "datacache-heap", op, fn)
 
 
+
 /**
  * Context for all functions in this plugin.
  */
@@ -75,28 +76,41 @@ struct Value
    */
   struct GNUNET_CONTAINER_HeapNode *hn;
 
+  /**
+   * Path information.
+   */
+  struct GNUNET_PeerIdentity *path_info;
+
   /**
    * Payload (actual payload follows this struct)
    */
   size_t size;
 
+  /**
+   * Number of entries in @e path_info.
+   */
+  unsigned int path_info_len;
+
   /**
    * Type of the block.
    */
   enum GNUNET_BLOCK_Type type;
-  
+
 };
 
 
+#define OVERHEAD (sizeof (struct Value) + 64)
+
+
 /**
- * Closure for 'put_cb'.
+ * Closure for #put_cb().
  */
 struct PutContext
 {
   /**
    * Expiration time for the new value.
    */
-  struct GNUNET_TIME_Absolute discard_time; 
+  struct GNUNET_TIME_Absolute discard_time;
 
   /**
    * Data for the new value.
@@ -109,7 +123,12 @@ struct PutContext
   struct GNUNET_CONTAINER_Heap *heap;
 
   /**
-   * Number of bytes in 'data'.
+   * Path information.
+   */
+  const struct GNUNET_PeerIdentity *path_info;
+
+  /**
+   * Number of bytes in @e data.
    */
   size_t size;
 
@@ -119,7 +138,12 @@ struct PutContext
   enum GNUNET_BLOCK_Type type;
 
   /**
-   * Value to set to GNUNET_YES if an equivalent block was found.
+   * Number of entries in @e path_info.
+   */
+  unsigned int path_info_len;
+
+  /**
+   * Value to set to #GNUNET_YES if an equivalent block was found.
    */
   int found;
 };
@@ -129,10 +153,10 @@ struct PutContext
  * Function called during PUT to detect if an equivalent block
  * already exists.
  *
- * @param cls the 'struct PutContext'
+ * @param cls the `struct PutContext`
  * @param key the key for the value(s)
- * @param value an existing value 
- * @return GNUNET_YES if not found (to continue to iterate)
+ * @param value an existing value
+ * @return #GNUNET_YES if not found (to continue to iterate)
  */
 static int
 put_cb (void *cls,
@@ -146,21 +170,27 @@ put_cb (void *cls,
        (val->type == put_ctx->type) &&
        (0 == memcmp (&val[1], put_ctx->data, put_ctx->size)) )
   {
-    put_ctx->found = GNUNET_YES;    
+    put_ctx->found = GNUNET_YES;
     val->discard_time = GNUNET_TIME_absolute_max (val->discard_time,
                                                  put_ctx->discard_time);
+    /* replace old path with new path */
+    GNUNET_array_grow (val->path_info,
+                      val->path_info_len,
+                      put_ctx->path_info_len);
+    memcpy (val->path_info,
+           put_ctx->path_info,
+           put_ctx->path_info_len * sizeof (struct GNUNET_PeerIdentity));
     GNUNET_CONTAINER_heap_update_cost (put_ctx->heap,
                                       val->hn,
-                                      val->discard_time.abs_value);
-    return GNUNET_NO;
-  }
-  if (val->type == put_ctx->type)
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-               "Got another value for key %s and type %d (size %u vs %u)\n",
+                                      val->discard_time.abs_value_us);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+               "Got same value for key %s and type %d (size %u vs %u)\n",
                GNUNET_h2s (key),
                val->type,
                (unsigned int) val->size,
                (unsigned int) put_ctx->size);
+    return GNUNET_NO;
+  }
   return GNUNET_YES;
 }
 
@@ -168,18 +198,25 @@ put_cb (void *cls,
 /**
  * Store an item in the datastore.
  *
- * @param cls closure (our "struct Plugin")
+ * @param cls closure (our `struct Plugin`)
  * @param key key to store data under
- * @param size number of bytes in data
+ * @param size number of bytes in @a data
  * @param data data to store
  * @param type type of the value
  * @param discard_time when to discard the value in any case
- * @return 0 on error, number of bytes used otherwise
+ * @param path_info_len number of entries in @a path_info
+ * @param path_info a path through the network
+ * @return 0 if duplicate, -1 on error, number of bytes used otherwise
  */
-static size_t
-heap_plugin_put (void *cls, const struct GNUNET_HashCode * key, size_t size,
-                   const char *data, enum GNUNET_BLOCK_Type type,
-                   struct GNUNET_TIME_Absolute discard_time)
+static ssize_t
+heap_plugin_put (void *cls,
+                 const struct GNUNET_HashCode *key,
+                 size_t size,
+                const char *data,
+                 enum GNUNET_BLOCK_Type type,
+                struct GNUNET_TIME_Absolute discard_time,
+                unsigned int path_info_len,
+                const struct GNUNET_PeerIdentity *path_info)
 {
   struct Plugin *plugin = cls;
   struct Value *val;
@@ -189,11 +226,13 @@ heap_plugin_put (void *cls, const struct GNUNET_HashCode * key, size_t size,
   put_ctx.heap = plugin->heap;
   put_ctx.data = data;
   put_ctx.size = size;
+  put_ctx.path_info = path_info;
+  put_ctx.path_info_len = path_info_len;
   put_ctx.discard_time = discard_time;
   put_ctx.type = type;
   GNUNET_CONTAINER_multihashmap_get_multiple (plugin->map,
                                              key,
-                                             put_cb,
+                                             &put_cb,
                                              &put_ctx);
   if (GNUNET_YES == put_ctx.found)
     return 0;
@@ -203,19 +242,24 @@ heap_plugin_put (void *cls, const struct GNUNET_HashCode * key, size_t size,
   val->type = type;
   val->discard_time = discard_time;
   val->size = size;
+  GNUNET_array_grow (val->path_info,
+                    val->path_info_len,
+                    path_info_len);
+  memcpy (val->path_info, path_info,
+         path_info_len * sizeof (struct GNUNET_PeerIdentity));
   (void) GNUNET_CONTAINER_multihashmap_put (plugin->map,
                                            &val->key,
                                            val,
                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
   val->hn = GNUNET_CONTAINER_heap_insert (plugin->heap,
                                          val,
-                                         val->discard_time.abs_value);
-  return size;
+                                         val->discard_time.abs_value_us);
+  return size + OVERHEAD;
 }
 
 
 /**
- * Closure for 'get_cb'.
+ * Closure for #get_cb().
  */
 struct GetContext
 {
@@ -225,7 +269,7 @@ struct GetContext
   GNUNET_DATACACHE_Iterator iter;
 
   /**
-   * Closure for 'iter'.
+   * Closure for @e iter.
    */
   void *iter_cls;
 
@@ -246,10 +290,10 @@ struct GetContext
  * Function called during GET to find matching blocks.
  * Only matches by type.
  *
- * @param cls the 'struct GetContext'
+ * @param cls the `struct GetContext`
  * @param key the key for the value(s)
- * @param value an existing value 
- * @return GNUNET_YES to continue to iterate
+ * @param value an existing value
+ * @return #GNUNET_YES to continue to iterate
  */
 static int
 get_cb (void *cls,
@@ -263,13 +307,17 @@ get_cb (void *cls,
   if ( (get_ctx->type != val->type) &&
        (GNUNET_BLOCK_TYPE_ANY != get_ctx->type) )
     return GNUNET_OK;
-  ret = get_ctx->iter (get_ctx->iter_cls,
-                      val->discard_time,
-                      key,
-                      val->size,
-                      (const char *) &val[1],
-                      val->type);
-                
+  if (NULL != get_ctx->iter)
+    ret = get_ctx->iter (get_ctx->iter_cls,
+                        key,
+                        val->size,
+                        (const char *) &val[1],
+                        val->type,
+                         val->discard_time,
+                        val->path_info_len,
+                        val->path_info);
+  else
+    ret = GNUNET_YES;
   get_ctx->cnt++;
   return ret;
 }
@@ -279,28 +327,30 @@ get_cb (void *cls,
  * Iterate over the results for a particular key
  * in the datastore.
  *
- * @param cls closure (our "struct Plugin")
+ * @param cls closure (our `struct Plugin`)
  * @param key
  * @param type entries of which type are relevant?
  * @param iter maybe NULL (to just count)
- * @param iter_cls closure for iter
+ * @param iter_cls closure for @a iter
  * @return the number of results found
  */
 static unsigned int
-heap_plugin_get (void *cls, const struct GNUNET_HashCode * key,
-                   enum GNUNET_BLOCK_Type type, GNUNET_DATACACHE_Iterator iter,
-                   void *iter_cls)
+heap_plugin_get (void *cls,
+                 const struct GNUNET_HashCode *key,
+                 enum GNUNET_BLOCK_Type type,
+                 GNUNET_DATACACHE_Iterator iter,
+                 void *iter_cls)
 {
   struct Plugin *plugin = cls;
   struct GetContext get_ctx;
 
   get_ctx.type = type;
   get_ctx.iter = iter;
-  get_ctx.iter_cls = iter_cls;  
+  get_ctx.iter_cls = iter_cls;
   get_ctx.cnt = 0;
   GNUNET_CONTAINER_multihashmap_get_multiple (plugin->map,
                                              key,
-                                             get_cb,
+                                             &get_cb,
                                              &get_ctx);
   return get_ctx.cnt;
 }
@@ -310,15 +360,15 @@ heap_plugin_get (void *cls, const struct GNUNET_HashCode * key,
  * Delete the entry with the lowest expiration value
  * from the datacache right now.
  *
- * @param cls closure (our "struct Plugin")
- * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ * @param cls closure (our `struct Plugin`)
+ * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
  */
 static int
 heap_plugin_del (void *cls)
 {
   struct Plugin *plugin = cls;
   struct Value *val;
-  
+
   val = GNUNET_CONTAINER_heap_remove_root (plugin->heap);
   if (NULL == val)
     return GNUNET_SYSERR;
@@ -328,17 +378,70 @@ heap_plugin_del (void *cls)
                                                       val));
   plugin->env->delete_notify (plugin->env->cls,
                              &val->key,
-                             val->size);
+                             val->size + OVERHEAD);
+  GNUNET_free_non_null (val->path_info);
   GNUNET_free (val);
   return GNUNET_OK;
 }
 
 
+/**
+ * Return a random value from the datastore.
+ *
+ * @param cls closure (our `struct Plugin`)
+ * @param iter maybe NULL (to just count)
+ * @param iter_cls closure for @a iter
+ * @return the number of results found
+ */
+static unsigned int
+heap_plugin_get_random (void *cls,
+                        GNUNET_DATACACHE_Iterator iter,
+                        void *iter_cls)
+{
+  struct Plugin *plugin = cls;
+  struct GetContext get_ctx;
+
+  get_ctx.type = GNUNET_BLOCK_TYPE_ANY;
+  get_ctx.iter = iter;
+  get_ctx.iter_cls = iter_cls;
+  get_ctx.cnt = 0;
+  GNUNET_CONTAINER_multihashmap_get_random (plugin->map,
+                                            &get_cb,
+                                            &get_ctx);
+  return get_ctx.cnt;
+}
+
+
+/**
+ * Iterate over the results that are "close" to a particular key in
+ * the datacache.  "close" is defined as numerically larger than @a
+ * key (when interpreted as a circular address space), with small
+ * distance.
+ *
+ * @param cls closure (internal context for the plugin)
+ * @param key area of the keyspace to look into
+ * @param num_results number of results that should be returned to @a iter
+ * @param iter maybe NULL (to just count)
+ * @param iter_cls closure for @a iter
+ * @return the number of results found
+ */
+static unsigned int
+heap_plugin_get_closest (void *cls,
+                         const struct GNUNET_HashCode *key,
+                         unsigned int num_results,
+                         GNUNET_DATACACHE_Iterator iter,
+                         void *iter_cls)
+{
+  GNUNET_break (0); // not implemented!
+  return 0;
+}
+
+
 /**
  * Entry point for the plugin.
  *
- * @param cls closure (the "struct GNUNET_DATACACHE_PluginEnvironmnet")
- * @return the plugin's closure (our "struct Plugin")
+ * @param cls closure (the `struct GNUNET_DATACACHE_PluginEnvironmnet`)
+ * @return the plugin's closure (our `struct Plugin`)
  */
 void *
 libgnunet_plugin_datacache_heap_init (void *cls)
@@ -347,17 +450,20 @@ libgnunet_plugin_datacache_heap_init (void *cls)
   struct GNUNET_DATACACHE_PluginFunctions *api;
   struct Plugin *plugin;
 
-  plugin = GNUNET_malloc (sizeof (struct Plugin));
+  plugin = GNUNET_new (struct Plugin);
   plugin->map = GNUNET_CONTAINER_multihashmap_create (1024,  /* FIXME: base on quota! */
                                                      GNUNET_YES);
   plugin->heap = GNUNET_CONTAINER_heap_create (GNUNET_CONTAINER_HEAP_ORDER_MIN);
   plugin->env = env;
-  api = GNUNET_malloc (sizeof (struct GNUNET_DATACACHE_PluginFunctions));
+  api = GNUNET_new (struct GNUNET_DATACACHE_PluginFunctions);
   api->cls = plugin;
   api->get = &heap_plugin_get;
   api->put = &heap_plugin_put;
   api->del = &heap_plugin_del;
-  LOG (GNUNET_ERROR_TYPE_INFO, _("Heap datacache running\n"));
+  api->get_random = &heap_plugin_get_random;
+  api->get_closest = &heap_plugin_get_closest;
+  LOG (GNUNET_ERROR_TYPE_INFO,
+       _("Heap datacache running\n"));
   return api;
 }
 
@@ -381,6 +487,7 @@ libgnunet_plugin_datacache_heap_done (void *cls)
                   GNUNET_CONTAINER_multihashmap_remove (plugin->map,
                                                         &val->key,
                                                         val));
+    GNUNET_free_non_null (val->path_info);
     GNUNET_free (val);
   }
   GNUNET_CONTAINER_heap_destroy (plugin->heap);