gnunetutil: add 2d and 3d allocation including tests
[oweals/gnunet.git] / src / include / gnunet_mq_lib.h
index 59b692cf02f9dfee45ff81060d32261b4800ec34..86144abcaa07b1701b7bae362048b71235118c55 100644 (file)
@@ -1,10 +1,10 @@
 /*
      This file is part of GNUnet.
-     (C) 2012 Christian Grothoff (and other contributing authors)
+     Copyright (C) 2012-2016 GNUnet e.V.
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
-     by the Free Software Foundation; either version 2, or (at your
+     by the Free Software Foundation; either version 3, or (at your
      option) any later version.
 
      GNUnet is distributed in the hope that it will be useful, but
 
      You should have received a copy of the GNU General Public License
      along with GNUnet; see the file COPYING.  If not, write to the
-     Free Software Foundation, Inc., 59 Temple Place - Suite 330,
-     Boston, MA 02111-1307, USA.
+     Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
+     Boston, MA 02110-1301, USA.
 */
 
 /**
  * @author Florian Dold
- * @file set/mq.h
- * @brief general purpose request queue
+ * @author Christian Grothoff
+ *
+ * @file
+ * General-purpose message queue
+ *
+ * @defgroup mq  MQ library
+ * General-purpose message queue
+ *
+ * @see [Documentation](https://gnunet.org/message-queue-api)
+ *
+ * @{
  */
 #ifndef GNUNET_MQ_H
 #define GNUNET_MQ_H
 
-#include "gnunet_common.h"
-
 
 /**
- * Allocate a GNUNET_MQ_Message, with extra space allocated after the space needed
+ * Allocate an envelope, with extra space allocated after the space needed
  * by the message struct.
  * The allocated message will already have the type and size field set.
  *
  * @param type type of the message
  * @return the MQ message
  */
-#define GNUNET_MQ_msg_extra(mvar, esize, type) GNUNET_MQ_msg_((((void)(mvar)->header), (struct GNUNET_MessageHeader**) &(mvar)), (esize) + sizeof *(mvar), (type))
+#define GNUNET_MQ_msg_extra(mvar, esize, type) GNUNET_MQ_msg_(((struct GNUNET_MessageHeader**) &(mvar)), (esize) + sizeof *(mvar), (type))
 
 /**
- * Allocate a GNUNET_MQ_Message.
- * The allocated message will already have the type and size field set.
+ * Allocate a GNUNET_MQ_Envelope.
+ * The contained message will already have the type and size field set.
  *
  * @param mvar variable to store the allocated message in;
  *             must have a header field
  * @param type type of the message
- * @return the MQ message
+ * @return the allocated envelope
  */
 #define GNUNET_MQ_msg(mvar, type) GNUNET_MQ_msg_extra(mvar, 0, type)
 
-/**
- * Append data to the end of an existing MQ message.
- * If the operation is successful, mqm is changed to point to the new MQ message,
- * and GNUNET_OK is returned.
- * On failure, GNUNET_SYSERR is returned, and the pointer mqm is not changed,
- * the user of this API must take care of disposing the already allocated message
- * (either by sending it, or by using GNUNET_MQ_discard)
- *
- * @param mqm MQ message to augment with additional data
- * @param src source buffer for the additional data
- * @param len length of the additional data
- * @return GNUNET_SYSERR if nesting the message failed,
- *         GNUNET_OK on success
- */
-#define GNUNET_MQ_nest(mqm, src, len) GNUNET_MQ_nest_ (&mqm, src, len)
-
-
-/**
- * Append a message to the end of an existing MQ message.
- * If the operation is successful, mqm is changed to point to the new MQ message,
- * and GNUNET_OK is returned.
- * On failure, GNUNET_SYSERR is returned, and the pointer mqm is not changed,
- * the user of this API must take care of disposing the already allocated message
- * (either by sending it, or by using GNUNET_MQ_discard)
- *
- * @param mqm MQ message to augment with additional data
- * @param mh the message to append, must be of type 'struct GNUNET_MessageHeader *'
- */
-#define GNUNET_MQ_nest_mh(mqm, mh) ((NULL == mh) ? (GNUNET_OK) : GNUNET_MQ_nest((mqm), (mh), ntohs ((mh)->size)))
-
 
 /**
- * Allocate a GNUNET_MQ_Message, where the message only consists of a header.
+ * Allocate a GNUNET_MQ_Envelope, where the message only consists of a header.
  * The allocated message will already have the type and size field set.
  *
  * @param type type of the message
@@ -94,7 +71,7 @@
 
 
 /**
- * Allocate a GNUNET_MQ_Message, where the message only consists of a header and extra space.
+ * Allocate a GNUNET_MQ_Envelope, where the message only consists of a header and extra space.
  * The allocated message will already have the type and size field set.
  *
  * @param mh pointer that will changed to point at to the allocated message header
 
 
 /**
- * End-marker for the handlers array
+ * Allocate a GNUNET_MQ_Envelope, and append a payload message after the given
+ * message struct.
+ *
+ * @param mvar pointer to a message struct, will be changed to point at the newly allocated message,
+ *        whose size is 'sizeof(*mvar) + ntohs (mh->size)'
+ * @param type message type of the allocated message, has no effect on the nested message
+ * @param mh message to nest
+ * @return a newly allocated 'struct GNUNET_MQ_Envelope *'
  */
-#define GNUNET_MQ_HANDLERS_END {NULL, 0, 0}
-
-
-struct GNUNET_MQ_MessageQueue;
-
-struct GNUNET_MQ_Message;
-
-enum GNUNET_MQ_Error
-{
-  GNUNET_MQ_ERROR_READ = 1,
-  GNUNET_MQ_ERROR_WRITE = 2,
-  GNUNET_MQ_ERROR_TIMEOUT = 4
-};
+#define GNUNET_MQ_msg_nested_mh(mvar, type, mh) GNUNET_MQ_msg_nested_mh_((((void)(mvar)->header), (struct GNUNET_MessageHeader**) &(mvar)), sizeof (*(mvar)), (type), mh)
 
 
 /**
- * Called when a message has been received.
+ * Return a pointer to the message at the end of the given message.
  *
- * @param cls closure
- * @param msg the received message
+ * @param var pointer to a message struct, the type of the expression determines the base size,
+ *        the space after the base size is the nested message
+ * @return a 'struct GNUNET_MessageHeader *' that points at the nested message of the given message,
+ *         or NULL if the given message in @a var does not have any space after the message struct
  */
-typedef void (*GNUNET_MQ_MessageCallback) (void *cls, const struct GNUNET_MessageHeader *msg);
+#define GNUNET_MQ_extract_nested_mh(var) GNUNET_MQ_extract_nested_mh_ ((struct GNUNET_MessageHeader *) (var), sizeof (*(var)))
 
 
 /**
- * Signature of functions implementing the
- * sending part of a message queue
+ * Implementation of the #GNUNET_MQ_extract_nexted_mh macro.
  *
- * @param q the message queue
- * @param m the message
+ * @param mh message header to extract nested message header from
+ * @param base_size size of the message before the nested message's header appears
+ * @return pointer to the nested message, does not copy the message
  */
-typedef void
-(*GNUNET_MQ_SendImpl) (struct GNUNET_MQ_MessageQueue *q, struct GNUNET_MQ_Message *m);
+const struct GNUNET_MessageHeader *
+GNUNET_MQ_extract_nested_mh_ (const struct GNUNET_MessageHeader *mh,
+                              uint16_t base_size);
 
 
-typedef void
-(*GNUNET_MQ_DestroyImpl) (struct GNUNET_MQ_MessageQueue *q);
+/**
+ * Opaque handle to an envelope.
+ */
+struct GNUNET_MQ_Envelope;
 
 
 /**
- * Callback used for notifications
+ * Implementation of the #GNUNET_MQ_msg_nested_mh macro.
  *
- * @param cls closure
+ * @param mhp pointer to the message header pointer that will be changed to allocate at
+ *        the newly allocated space for the message.
+ * @param base_size size of the data before the nested message
+ * @param type type of the message in the envelope
+ * @param nested_mh the message to append to the message after base_size
  */
-typedef void (*GNUNET_MQ_NotifyCallback) (void *cls);
+struct GNUNET_MQ_Envelope *
+GNUNET_MQ_msg_nested_mh_ (struct GNUNET_MessageHeader **mhp,
+                          uint16_t base_size,
+                          uint16_t type,
+                          const struct GNUNET_MessageHeader *nested_mh);
 
 
-typedef void (*GNUNET_MQ_ErrorHandler) (void *cls, enum GNUNET_MQ_Error error);
+/**
+ * Opaque handle to a message queue.
+ */
+struct GNUNET_MQ_Handle;
 
 
-struct GNUNET_MQ_Message
+/**
+ * Error codes for the queue.
+ */
+enum GNUNET_MQ_Error
 {
   /**
-   * Messages are stored in a linked list
+   * Failed to read message from the network.
+   * FIXME: Likely not properly distinguished
+   * from TIMEOUT case in the code!
    */
-  struct GNUNET_MQ_Message *next;
+  GNUNET_MQ_ERROR_READ = 1,
 
   /**
-   * Messages are stored in a linked list
+   * FIXME: document!
    */
-  struct GNUNET_MQ_Message *prev;
+  GNUNET_MQ_ERROR_WRITE = 2,
 
   /**
-   * Actual allocated message header,
-   * usually points to the end of the containing GNUNET_MQ_Message
+   * FIXME: document!
    */
-  struct GNUNET_MessageHeader *mh;
+  GNUNET_MQ_ERROR_TIMEOUT = 4,
 
   /**
-   * Queue the message is queued in, NULL if message is not queued.
+   * We received a message that was malformed and thus
+   * could not be passed to its handler.
    */
-  struct GNUNET_MQ_MessageQueue *parent_queue;
+  GNUNET_MQ_ERROR_MALFORMED = 8
+};
 
-  /**
-   * Called after the message was sent irrevokably
-   */
-  GNUNET_MQ_NotifyCallback sent_cb;
 
-  /**
-   * Closure for send_cb
-   */
-  void *sent_cls;
-};
+/**
+ * Called when a message has been received.
+ *
+ * @param cls closure
+ * @param msg the received message
+ */
+typedef void
+(*GNUNET_MQ_MessageCallback) (void *cls,
+                              const struct GNUNET_MessageHeader *msg);
 
 
 /**
- * Handle to a message queue.
+ * Called when a message needs to be validated.
+ *
+ * @param cls closure
+ * @param msg the received message
+ * @return #GNUNET_OK if the message is well-formed,
+ *         #GNUNET_SYSERR if not
  */
-struct GNUNET_MQ_MessageQueue
-{
-  /**
-   * Handlers array, or NULL if the queue should not receive messages
-   */
-  const struct GNUNET_MQ_Handler *handlers;
+typedef int
+(*GNUNET_MQ_MessageValidationCallback) (void *cls,
+                                       const struct GNUNET_MessageHeader *msg);
 
-  /**
-   * Closure for the handler callbacks,
-   * as well as for the error handler.
-   */
-  void *handlers_cls;
 
-  /**
-   * Actual implementation of message sending,
-   * called when a message is added
-   */
-  GNUNET_MQ_SendImpl send_impl;
+/**
+ * Signature of functions implementing the
+ * sending functionality of a message queue.
+ *
+ * @param mq the message queue
+ * @param msg the message to send
+ * @param impl_state state of the implementation
+ */
+typedef void
+(*GNUNET_MQ_SendImpl) (struct GNUNET_MQ_Handle *mq,
+                       const struct GNUNET_MessageHeader *msg,
+                       void *impl_state);
 
-  /**
-   * Implementation-dependent queue destruction function
-   */
-  GNUNET_MQ_DestroyImpl destroy_impl;
 
-  /**
-   * Implementation-specific state
-   */
-  void *impl_state;
+/**
+ * Signature of functions implementing the
+ * destruction of a message queue.
+ * Implementations must not free @a mq, but should
+ * take care of @a impl_state.
+ *
+ * @param mq the message queue to destroy
+ * @param impl_state state of the implementation
+ */
+typedef void
+(*GNUNET_MQ_DestroyImpl) (struct GNUNET_MQ_Handle *mq,
+                          void *impl_state);
 
-  /**
-   * Callback will be called when an error occurs.
-   */
-  GNUNET_MQ_ErrorHandler error_handler;
 
-  /**
-   * Linked list of messages pending to be sent
-   */
-  struct GNUNET_MQ_Message *msg_head;
+/**
+ * Implementation function that cancels the currently sent message.
+ *
+ * @param mq message queue
+ * @param impl_state state specific to the implementation
+ */
+typedef void
+(*GNUNET_MQ_CancelImpl) (struct GNUNET_MQ_Handle *mq,
+                         void *impl_state);
 
-  /**
-   * Linked list of messages pending to be sent
-   */
-  struct GNUNET_MQ_Message *msg_tail;
 
-  /**
-   * Message that is currently scheduled to be
-   * sent. Not the head of the message queue, as the implementation
-   * needs to know if sending has been already scheduled or not.
-   */
-  struct GNUNET_MQ_Message *current_msg;
+/**
+ * Callback used for notifications
+ *
+ * @param cls closure
+ */
+typedef void
+(*GNUNET_MQ_NotifyCallback) (void *cls);
 
-  /**
-   * Map of associations, lazily allocated
-   */
-  struct GNUNET_CONTAINER_MultiHashMap32 *assoc_map;
 
-  /**
-   * Next id that should be used for the assoc_map,
-   * initialized lazily to a random value together with
-   * assoc_map
-   */
-  uint32_t assoc_id;
-};
+/**
+ * Generic error handler, called with the appropriate
+ * error code and the same closure specified at the creation of
+ * the message queue.
+ * Not every message queue implementation supports an error handler.
+ *
+ * @param cls closure
+ * @param error error code
+ */
+typedef void
+(*GNUNET_MQ_ErrorHandler) (void *cls,
+                           enum GNUNET_MQ_Error error);
 
 
 /**
  * Message handler for a specific message type.
  */
-struct GNUNET_MQ_Handler
+struct GNUNET_MQ_MessageHandler
 {
   /**
-   * Callback, called every time a new message of 
-   * the specified type has been receied.
+   * Callback to validate a message of the specified @e type.
+   * The closure given to @e mv will be this struct (not @e ctx).
+   * Using NULL means only size-validation using
+   * @e expected_size.  In this case, @e expected_size must
+   * be non-zero.
+   */
+  GNUNET_MQ_MessageValidationCallback mv;
+
+  /**
+   * Callback, called every time a new message of
+   * the specified @e type has been receied.
+   * The closure given to @e mv will be this struct (not @e ctx).
    */
   GNUNET_MQ_MessageCallback cb;
 
+  /**
+   * Closure for @e mv and @e cb.
+   */
+  void *cls;
 
   /**
-   * Type of the message this handler covers.
+   * Type of the message this handler covers, in host byte order.
    */
   uint16_t type;
 
   /**
-   * Expected size of messages of this type.  Use 0 for
-   * variable-size.  If non-zero, messages of the given
-   * type will be discarded (and the connection closed)
-   * if they do not have the right size.
+   * Expected size of messages of this type.  Minimum size of the
+   * message if @e mv is non-NULL.  Messages of the given type will be
+   * discarded (and the connection closed with an error reported to
+   * the application) if they do not have the right size.
    */
   uint16_t expected_size;
 };
 
 
 /**
- * Create a new message for MQ.
- * 
+ * End-marker for the handlers array
+ */
+#define GNUNET_MQ_handler_end() { NULL, NULL, NULL, 0, 0 }
+
+
+/**
+ * Defines a static function @a name which takes as a single argument
+ * a message handler for fixed-sized messages of type @a code and with
+ * a message type argument of @a str.  Given such an argument, the
+ * function @name will return a `struct GNUNET_MQ_MessageHandler`
+ * for the given message type.
+ *
+ * The macro is to be used as follows:
+ * <code>
+ * struct GNUNET_MessageTest { ... }; // must be fixed size
+ * static void
+ * handle_test_message (void *cls,
+ *                      const struct GNUNET_MessageTest *msg)
+ * { ... }
+ *
+ * struct GNUNET_MQ_MessageHandler handlers[] = {
+ *   GNUNET_MQ_hd_fixed_size(test_message,
+ *                           GNUNET_MESSAGE_TYPE_TEST,
+ *                           struct GNUNET_MessageTest,
+ *                           "context"),
+ *   GNUNET_MQ_handler_end()
+ * };
+ *
+ * @param name unique basename for the functions
+ * @param code message type constant
+ * @param str type of the message (a struct)
+ * @param ctx context for the callbacks
+ */
+#define GNUNET_MQ_hd_fixed_size(name,code,str,ctx)           \
+  ({                                                         \
+    void (*_cb)(void *cls, const str *msg) = &handle_##name; \
+    ((struct GNUNET_MQ_MessageHandler) {                     \
+      NULL, (GNUNET_MQ_MessageCallback) _cb,                 \
+      (ctx), (code), sizeof (str) });                        \
+  })
+
+
+/**
+ * Defines a static function @a name which takes two arguments and a
+ * context-pointer for validating and handling variable-sized messages
+ * of type @a code and with a message type argument of @a str.  Given
+ * such arguments, the function @name will return a `struct
+ * GNUNET_MQ_MessageHandler` for the given message type.
+ *
+ * The macro is to be used as follows:
+ * <code>
+ * struct GNUNET_MessageTest { ... }; // can be variable size
+ * static int
+ * check_test (void *cls,
+ *             const struct GNUNET_MessageTest *msg)
+ * {
+ *   const char *ctx = cls;
+ *   GNUNET_assert (0 == strcmp ("context", ctx));
+ *   // ...
+ * }
+ * static void
+ * handle_test (void *cls,
+ *              const struct GNUNET_MessageTest *msg)
+ * {
+ *   const char *ctx = cls;
+ *   GNUNET_assert (0 == strcmp ("context", ctx));
+ *   // ...
+ * }
+ *
+ * struct GNUNET_MQ_MessageHandler handlers[] = {
+ *   GNUNET_MQ_hd_var_size(test_message,
+ *                         GNUNET_MESSAGE_TYPE_TEST,
+ *                         struct GNUNET_MessageTest,
+ *                         "context"),
+ *   GNUNET_MQ_handler_end()
+ * };
+ *
+ * @param name unique basename for the functions
+ * @param code message type constant
+ * @param str type of the message (a struct)
+ * @param ctx context for the callbacks
+ */
+#define GNUNET_MQ_hd_var_size(name,code,str,ctx)             \
+  ({                                                         \
+    int (*_mv)(void *cls, const str *msg) = &check_##name;   \
+    void (*_cb)(void *cls, const str *msg) = &handle_##name; \
+    ((struct GNUNET_MQ_MessageHandler)                       \
+      { (GNUNET_MQ_MessageValidationCallback) _mv,           \
+        (GNUNET_MQ_MessageCallback) _cb,                     \
+        (ctx), (code), sizeof (str) });                      \
+  })
+
+
+/**
+ * Create a new envelope.
+ *
  * @param mhp message header to store the allocated message header in, can be NULL
  * @param size size of the message to allocate
  * @param type type of the message, will be set in the allocated message
  * @return the allocated MQ message
  */
-struct GNUNET_MQ_Message *
-GNUNET_MQ_msg_ (struct GNUNET_MessageHeader **mhp, uint16_t size, uint16_t type);
+struct GNUNET_MQ_Envelope *
+GNUNET_MQ_msg_ (struct GNUNET_MessageHeader **mhp,
+                uint16_t size,
+                uint16_t type);
 
 
 /**
- * Resize the the mq message pointed to by mqmp,
- * and append the given data to it.
+ * Create a new envelope by copying an existing message.
  *
- * @param mqmp pointer to a mq message pointer
- * @param src source of the data to append
- * @param len length of the data to append
- * @return GNUNET_OK on success,
- *         GNUNET_SYSERR on error (e.g. if len is too large)
+ * @param hdr header of the message to copy
+ * @return envelope containing @a hdr
  */
-int
-GNUNET_MQ_nest_ (struct GNUNET_MQ_Message **mqmp,
-                 const void *src, uint16_t len);
+struct GNUNET_MQ_Envelope *
+GNUNET_MQ_msg_copy (const struct GNUNET_MessageHeader *hdr);
 
 
 /**
@@ -322,88 +428,148 @@ GNUNET_MQ_nest_ (struct GNUNET_MQ_Message **mqmp,
  * @param mqm the message to discard
  */
 void
-GNUNET_MQ_discard (struct GNUNET_MQ_Message *mqm);
+GNUNET_MQ_discard (struct GNUNET_MQ_Envelope *mqm);
+
+
+/**
+ * Function to obtain the current envelope
+ * from within #GNUNET_MQ_SendImpl implementations.
+ *
+ * @param mq message queue to interrogate
+ * @return the current envelope
+ */
+struct GNUNET_MQ_Envelope *
+GNUNET_MQ_get_current_envelope (struct GNUNET_MQ_Handle *mq);
+
+
+/**
+ * Function to obtain the last envelope in the queue.
+ *
+ * @param mq message queue to interrogate
+ * @return the last envelope in the queue
+ */
+struct GNUNET_MQ_Envelope *
+GNUNET_MQ_get_last_envelope (struct GNUNET_MQ_Handle *mq);
+
+
+/**
+ * Set application-specific options for this envelope.
+ * Overrides the options set for the queue with
+ * #GNUNET_MQ_set_options() for this message only.
+ *
+ * @param env message to set options for
+ * @param flags flags to use (meaning is queue-specific)
+ * @param extra additional buffer for further data (also queue-specific)
+ */
+void
+GNUNET_MQ_env_set_options (struct GNUNET_MQ_Envelope *env,
+                          uint64_t flags,
+                          const void *extra);
+
+
+/**
+ * Get application-specific options for this envelope.
+ *
+ * @param env message to set options for
+ * @param[out] flags set to flags to use (meaning is queue-specific)
+ * @return extra additional buffer for further data (also queue-specific)
+ */
+const void *
+GNUNET_MQ_env_get_options (struct GNUNET_MQ_Envelope *env,
+                          uint64_t *flags);
+
+
+/**
+ * Set application-specific options for this queue.
+ *
+ * @param mq message queue to set options for
+ * @param flags flags to use (meaning is queue-specific)
+ * @param extra additional buffer for further data (also queue-specific)
+ */
+void
+GNUNET_MQ_set_options (struct GNUNET_MQ_Handle *mq,
+                      uint64_t flags,
+                      const void *extra);
+
+
+/**
+ * Obtain the current length of the message queue.
+ *
+ * @param mq queue to inspect
+ * @return number of queued, non-transmitted messages
+ */
+unsigned int
+GNUNET_MQ_get_length (struct GNUNET_MQ_Handle *mq);
 
 
 /**
- * Send a message with the give message queue.
+ * Send a message with the given message queue.
  * May only be called once per message.
- * 
+ *
+ * @param mq message queue
+ * @param ev the envelope with the message to send.
+ */
+void
+GNUNET_MQ_send (struct GNUNET_MQ_Handle *mq,
+               struct GNUNET_MQ_Envelope *ev);
+
+
+/**
+ * Send a copy of a message with the given message queue.
+ * Can be called repeatedly on the same envelope.
+ *
  * @param mq message queue
- * @param mqm the message to send.
+ * @param ev the envelope with the message to send.
  */
 void
-GNUNET_MQ_send (struct GNUNET_MQ_MessageQueue *mq, struct GNUNET_MQ_Message *mqm);
+GNUNET_MQ_send_copy (struct GNUNET_MQ_Handle *mq,
+                     const struct GNUNET_MQ_Envelope *ev);
 
 
 /**
- * Cancel sending the message. Message must have been sent with GNUNET_MQ_send before.
- * May not be called after the notify sent callback has been called
+ * Cancel sending the message. Message must have been sent with
+ * #GNUNET_MQ_send before.  May not be called after the notify sent
+ * callback has been called
  *
- * @param mqm queued message to cancel
+ * @param ev queued envelope to cancel
  */
 void
-GNUNET_MQ_send_cancel (struct GNUNET_MQ_Message *mqm);
+GNUNET_MQ_send_cancel (struct GNUNET_MQ_Envelope *ev);
 
 
 /**
- * Associate the assoc_data in mq with a unique request id.
+ * Associate the assoc_data in @a mq with a unique request id.
  *
  * @param mq message queue, id will be unique for the queue
- * @param mqm message to associate
  * @param assoc_data to associate
  */
 uint32_t
-GNUNET_MQ_assoc_add (struct GNUNET_MQ_MessageQueue *mq,
-                     struct GNUNET_MQ_Message *mqm,
-                     void *assoc_data);
+GNUNET_MQ_assoc_add (struct GNUNET_MQ_Handle *mq,
+                    void *assoc_data);
+
 
 /**
- * Get the data associated with a request id in a queue
+ * Get the data associated with a @a request_id in a queue
  *
  * @param mq the message queue with the association
  * @param request_id the request id we are interested in
  * @return the associated data
  */
 void *
-GNUNET_MQ_assoc_get (struct GNUNET_MQ_MessageQueue *mq, uint32_t request_id);
+GNUNET_MQ_assoc_get (struct GNUNET_MQ_Handle *mq,
+                     uint32_t request_id);
 
 
 /**
- * Remove the association for a request id
+ * Remove the association for a @a request_id
  *
  * @param mq the message queue with the association
  * @param request_id the request id we want to remove
  * @return the associated data
  */
 void *
-GNUNET_MQ_assoc_remove (struct GNUNET_MQ_MessageQueue *mq, uint32_t request_id);
-
-
-
-/**
- * Create a message queue for a GNUNET_CLIENT_Connection.
- * If handlers are specfied, receive messages from the connection.
- *
- * @param connection the client connection
- * @param handlers handlers for receiving messages
- * @param cls closure for the handlers
- * @return the message queue
- */
-struct GNUNET_MQ_MessageQueue *
-GNUNET_MQ_queue_for_connection_client (struct GNUNET_CLIENT_Connection *connection,
-                                       const struct GNUNET_MQ_Handler *handlers,
-                                       void *cls);
-
-
-/**
- * Create a message queue for a GNUNET_STREAM_Socket.
- *
- * @param client the client
- * @return the message queue
- */
-struct GNUNET_MQ_MessageQueue *
-GNUNET_MQ_queue_for_server_client (struct GNUNET_SERVER_Client *client);
+GNUNET_MQ_assoc_remove (struct GNUNET_MQ_Handle *mq,
+                        uint32_t request_id);
 
 
 /**
@@ -411,47 +577,46 @@ GNUNET_MQ_queue_for_server_client (struct GNUNET_SERVER_Client *client);
  *
  * @param send function the implements sending messages
  * @param destroy function that implements destroying the queue
- * @param state for the queue, passed to 'send' and 'destroy'
+ * @param cancel function that implements canceling a message
+ * @param impl_state for the queue, passed to @a send, @a destroy and @a cancel
  * @param handlers array of message handlers
  * @param error_handler handler for read and write errors
+ * @param cls closure for message handlers and error handler
  * @return a new message queue
  */
-struct GNUNET_MQ_MessageQueue *
+struct GNUNET_MQ_Handle *
 GNUNET_MQ_queue_for_callbacks (GNUNET_MQ_SendImpl send,
                                GNUNET_MQ_DestroyImpl destroy,
+                               GNUNET_MQ_CancelImpl cancel,
                                void *impl_state,
-                               struct GNUNET_MQ_Handler *handlers,
+                               const struct GNUNET_MQ_MessageHandler *handlers,
                                GNUNET_MQ_ErrorHandler error_handler,
                                void *cls);
-                               
 
 
 /**
- * Replace the handlers of a message queue with new handlers.
- * Takes effect immediately, even for messages that already have been received, but for
- * with the handler has not been called.
+ * Change the closure argument in all of the `handlers` of the
+ * @a mq.
  *
- * @param mq message queue
- * @param new_handlers new handlers
- * @param cls new closure for the handlers
+ * @param mq to modify
+ * @param handlers_cls new closure to use
  */
 void
-GNUNET_MQ_replace_handlers (struct GNUNET_MQ_MessageQueue *mq,
-                            const struct GNUNET_MQ_Handler *new_handlers,
-                            void *cls);
+GNUNET_MQ_set_handlers_closure (struct GNUNET_MQ_Handle *mq,
+                                void *handlers_cls);
 
 
 /**
- * Call a callback once the message has been sent, that is, the message
- * can not be canceled anymore.
- * There can be only one notify sent callback per message.
+ * Call a callback once the envelope has been sent, that is,
+ * sending it can not be canceled anymore.
+ * There can be only one notify sent callback per envelope.
  *
- * @param mqm message to call the notify callback for
+ * @param ev message to call the notify callback for
  * @param cb the notify callback
  * @param cls closure for the callback
  */
 void
-GNUNET_MQ_notify_sent (struct GNUNET_MQ_Message *mqm,
+GNUNET_MQ_notify_sent (struct GNUNET_MQ_Envelope *ev,
                        GNUNET_MQ_NotifyCallback cb,
                        void *cls);
 
@@ -462,17 +627,83 @@ GNUNET_MQ_notify_sent (struct GNUNET_MQ_Message *mqm,
  * @param mq message queue to destroy
  */
 void
-GNUNET_MQ_destroy (struct GNUNET_MQ_MessageQueue *mq);
+GNUNET_MQ_destroy (struct GNUNET_MQ_Handle *mq);
 
 
 /**
- * Call the right callback for a message.
+ * Call the message message handler that was registered
+ * for the type of the given message in the given message queue.
+ *
+ * This function is indended to be used for the implementation
+ * of message queues.
  *
  * @param mq message queue with the handlers
  * @param mh message to dispatch
  */
 void
-GNUNET_MQ_dispatch (struct GNUNET_MQ_MessageQueue *mq,
-                    const struct GNUNET_MessageHeader *mh);
+GNUNET_MQ_inject_message (struct GNUNET_MQ_Handle *mq,
+                          const struct GNUNET_MessageHeader *mh);
+
+
+/**
+ * Call the error handler of a message queue with the given
+ * error code.  If there is no error handler, log a warning.
+ *
+ * This function is intended to be used for the implementation
+ * of message queues.
+ *
+ * @param mq message queue
+ * @param error the error type
+ */
+void
+GNUNET_MQ_inject_error (struct GNUNET_MQ_Handle *mq,
+                        enum GNUNET_MQ_Error error);
+
+
+/**
+ * Call the send implementation for the next queued message, if any.
+ * Only useful for implementing message queues, results in undefined
+ * behavior if not used carefully.
+ *
+ * @param mq message queue to send the next message with
+ */
+void
+GNUNET_MQ_impl_send_continue (struct GNUNET_MQ_Handle *mq);
+
+
+/**
+ * Get the message that should currently be sent.  The returned
+ * message is only valid until #GNUNET_MQ_impl_send_continue is
+ * called.  Fails if there is no current message.  Only useful for
+ * implementing message queues, results in undefined behavior if not
+ * used carefully.
+ *
+ * @param mq message queue with the current message, only valid
+ *        until #GNUNET_MQ_impl_send_continue() is called
+ * @return message to send, never NULL
+ */
+const struct GNUNET_MessageHeader *
+GNUNET_MQ_impl_current (struct GNUNET_MQ_Handle *mq);
+
+
+/**
+ * Get the implementation state associated with the
+ * message queue.
+ *
+ * While the GNUNET_MQ_Impl* callbacks receive the
+ * implementation state, continuations that are scheduled
+ * by the implementation function often only have one closure
+ * argument, with this function it is possible to get at the
+ * implementation state when only passing the `struct GNUNET_MQ_Handle`
+ * as closure.
+ *
+ * @param mq message queue with the current message
+ * @return message to send, never NULL
+ */
+void *
+GNUNET_MQ_impl_state (struct GNUNET_MQ_Handle *mq);
+
 
 #endif
+
+/** @} */ /* end of group mq */