-bringing copyright tags up to FSF standard
[oweals/gnunet.git] / src / include / gnunet_multicast_service.h
index f8d37fc54b1dc1059998187b9e980df7a50641c3..1dc43d07a1107b61e3eaa9664894e44ed98fc635 100644 (file)
@@ -1,6 +1,6 @@
 /*
      This file is part of GNUnet.
-     (C) 2012, 2013 Christian Grothoff (and other contributing authors)
+     Copyright (C) 2012, 2013 Christian Grothoff (and other contributing authors)
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
@@ -22,6 +22,7 @@
  * @file include/gnunet_multicast_service.h
  * @brief multicast service; establish tunnels to distant peers
  * @author Christian Grothoff
+ * @author Gabor X Toth
  */
 
 #ifndef GNUNET_MULTICAST_SERVICE_H
@@ -43,7 +44,6 @@ extern "C"
  */
 #define GNUNET_MULTICAST_VERSION 0x00000000
 
-
 /**
  * Opaque handle for a multicast group member.
  */
@@ -54,492 +54,819 @@ struct GNUNET_MULTICAST_Member;
  */
 struct GNUNET_MULTICAST_Origin;
 
-/**
- * Group membership policies.
- */
-enum GNUNET_MULTICAST_JoinPolicy
+
+enum GNUNET_MULTICAST_MessageFlags
 {
   /**
-   * Anyone can join the group, without announcing his presence; all
-   * messages are always public and can be distributed freely.  Joins
-   * may be announced, but this is not required.
+   * First fragment of a message.
    */
-  GNUNET_MULTICAST_JP_ANONYMOUS = 0,
+  GNUNET_MULTICAST_MESSAGE_FIRST_FRAGMENT = 1 << 0,
 
   /**
-   * Origin must approve membership to the group, messages must only be
-   * distributed to current group members.  This includes the group
-   * state as well as transient messages.
+   * Last fragment of a message.
    */
-  GNUNET_MULTICAST_JP_PRIVATE = 1
+  GNUNET_MULTICAST_MESSAGE_LAST_FRAGMENT = 1 << 1,
 
-#if IDEAS_FOR_FUTURE
   /**
-   * Anyone can freely join the group (no approval required); however,
-   * transient messages must only be distributed to current group
-   * members, so the origin must still acknowledge that the member
-   * joined before transient messages are delivered.  As approval is
-   * guaranteed, the presistent group state can de synchronized freely
-   * immediately, prior to origin confirmation
+   * OR'ed flags if message is not fragmented.
    */
-  GNUNET_MULTICAST_JP_OPEN = 2
-#endif
+  GNUNET_MULTICAST_MESSAGE_NOT_FRAGMENTED
+    = GNUNET_MULTICAST_MESSAGE_FIRST_FRAGMENT
+  | GNUNET_MULTICAST_MESSAGE_LAST_FRAGMENT,
 
-};
+  /**
+   * Historic message, used only locally when replaying messages from local
+   * storage.
+   */
+  GNUNET_MULTICAST_MESSAGE_HISTORIC = 1 << 30
 
+};
 
-/**
- * Opaque handle to a replay request from the multicast service.
- */
-struct GNUNET_MULTICAST_ReplayHandle;
 
+GNUNET_NETWORK_STRUCT_BEGIN
 
 /**
- * Functions with this signature are called whenever the multicast
- * service needs a message to be replayed.  Implementations of this
- * function MUST call 'GNUNET_MULTICAST_replay' ONCE (with a message
- * or an error); however, if the origin is destroyed or the group is
- * left, the replay handle must no longer be used.
+ * Header of a multicast message fragment.
  *
- * @param cls closure (set from GNUNET_MULTICAST_origin_start/join)
- * @param message_id which message should be replayed
- * @param rh handle to pass to message transmit function
+ * This format is public as the replay mechanism must replay message fragments using the
+ * same format.  This is needed as we want to integrity-check message fragments within
+ * the multicast layer to avoid multicasting mal-formed messages.
  */
-typedef void (*GNUNET_MULTICAST_ReplayCallback) (void *cls,
-                                                uint64_t message_id,
-                                                struct GNUNET_MULTICAST_ReplayHandle *rh);
+struct GNUNET_MULTICAST_MessageHeader
+{
 
+  /**
+   * Header for all multicast message fragments from the origin.
+   */
+  struct GNUNET_MessageHeader header;
 
-/**
- * Possible error codes during replay.
- */
-enum GNUNET_MULTICAST_ReplayErrorCode
-{
-  
   /**
-   * Everything is fine.
-   */ 
-  GNUNET_MULTICAST_REC_OK = 0,
+   * Number of hops this message fragment has taken since the origin.
+   *
+   * Helpful to determine shortest paths to the origin among honest peers for
+   * unicast requests from members.  Updated at each hop and thus not signed and
+   * not secure.
+   */
+  uint32_t hop_counter GNUNET_PACKED;
 
   /**
-   * Message has been discarded (likely transient message that was too old).
-   */ 
-  GNUNET_MULTICAST_REC_TRANSIENT_LOST = 1,
+   * ECC signature of the message fragment.
+   *
+   * Signature must match the public key of the multicast group.
+   */
+  struct GNUNET_CRYPTO_EddsaSignature signature;
 
   /**
-   * Message ID counter was larger than the highest counter this
-   * replay function has ever encountered; thus it is likely the
-   * origin never sent it and we're at the HEAD of the multicast
-   * stream as far as this node is concerned.
-   */ 
-  GNUNET_MULTICAST_REC_PAST_HEAD = 2,
+   * Purpose for the signature and size of the signed data.
+   */
+  struct GNUNET_CRYPTO_EccSignaturePurpose purpose;
 
   /**
-   * Internal error (i.e. database error).  Try some other peer.
-   */ 
-  GNUNET_MULTICAST_REC_INTERNAL_ERROR = 3
+   * Number of the message fragment, monotonically increasing starting from 1.
+   */
+  uint64_t fragment_id GNUNET_PACKED;
 
-};
+  /**
+   * Byte offset of this @e fragment of the @e message.
+   */
+  uint64_t fragment_offset GNUNET_PACKED;
 
+  /**
+   * Number of the message this fragment belongs to.
+   *
+   * Set in GNUNET_MULTICAST_origin_to_all().
+   */
+  uint64_t message_id GNUNET_PACKED;
+
+  /**
+   * Counter that monotonically increases whenever a member parts the group.
+   *
+   * Set in GNUNET_MULTICAST_origin_to_all().
+   *
+   * It has significance in case of replay requests: when a member has missed
+   * messages and gets a replay request: in this case if the @a group_generation
+   * is still the same before and after the missed messages, it means that no
+   * @e join or @e part operations happened during the missed messages.
+   */
+  uint64_t group_generation GNUNET_PACKED;
+
+  /**
+   * Flags for this message fragment.
+   *
+   * @see enum GNUNET_MULTICAST_MessageFlags
+   */
+  uint32_t flags GNUNET_PACKED;
+
+  /* Followed by message body. */
+};
 
-GNUNET_NETWORK_STRUCT_BEGIN
 
 /**
- * Header of a multicast message.  This format is public as the replay
- * mechanism must replay messages using the same format.  This is
- * needed as we want to integrity-check messages within the multicast
- * layer to avoid multicasting mal-formed messages.
+ * Header of a request from a member to the origin.
  */
-struct GNUNET_MULTICAST_MessageHeader
+struct GNUNET_MULTICAST_RequestHeader
 {
-
   /**
-   * Header for all multicast messages from the origin.
+   * Header for all requests from a member to the origin.
    */
   struct GNUNET_MessageHeader header;
 
   /**
-   * How many hops has this message taken since the origin?
-   * (helpful to determine shortest paths to the origin for responses
-   *  among honest peers; updated at each hop and thus not signed
-   *  and not secure)
+   * Public key of the sending member.
    */
-  uint32_t hop_counter GNUNET_PACKED;
+  struct GNUNET_CRYPTO_EcdsaPublicKey member_key;
 
   /**
-   * ECC signature of the message.  Signature must match the public
-   * key of the multicast group.
+   * ECC signature of the request fragment.
+   *
+   * Signature must match the public key of the multicast group.
    */
-  struct GNUNET_CRYPTO_EccSignature signature;
+  struct GNUNET_CRYPTO_EcdsaSignature signature;
 
   /**
-   * Signature of the multicast message.
+   * Purpose for the signature and size of the signed data.
    */
   struct GNUNET_CRYPTO_EccSignaturePurpose purpose;
 
   /**
-   * Number of the message, monotonically increasing.
+   * Number of the request fragment.
+   * Monotonically increasing from 1.
    */
-  uint64_t message_id GNUNET_PACKED;
+  uint64_t fragment_id GNUNET_PACKED;
 
   /**
-   * Counter that monotonically increases whenever a member
-   * leaves the group.
+   * Byte offset of this @e fragment of the @e request.
    */
-  uint64_t group_generation GNUNET_PACKED;
+  uint64_t fragment_offset GNUNET_PACKED;
 
   /**
-   * Difference between the current message_id and the message_id of
-   * the preceeding non-transient message.  Zero for transient
-   * messages, UINT64_MAX for the first message, or any other message
-   * creating a full state reset by the origin.  By subtracting
-   * 'state_delta' from 'message_id', it is possible to calculate the
-   * message ID of the preceeding non-transient message and thus
-   * quickly traverse all state changes up to the last full state
-   * reset by the origin.  This is useful as it allows joining clients
-   * to quickly reassemble the state while skipping over transient
-   * messages (and doing so without having to trust intermediaries to
-   * do it right, as the indices in the chain are signed).  If the
-   * state chain is getting too long, the origin can choose to
-   * originate a state message with a state_delta of UINT64_MAX,
-   * thereby starting a new chain.  The origin will then have to
-   * re-create the full state with state update messages following the
-   * state reset message.
+   * Number of the request this fragment belongs to.
+   *
+   * Set in GNUNET_MULTICAST_origin_to_all().
    */
-  uint64_t state_delta GNUNET_PACKED;
+  uint64_t request_id GNUNET_PACKED;
 
   /**
-   * Header for the message body.  Three message types are
-   * specifically understood by multicast, namely "peer join", "peer
-   * leave", and "group terminated".  Multicast will use those
-   * messages to update its list of candidates for content
-   * distribution.  All other message types are application-specific.
+   * Flags for this request.
    */
-  struct GNUNET_MessageHeader body;
+  enum GNUNET_MULTICAST_MessageFlags flags GNUNET_PACKED;
 
-  /* followed by message body */
+  /* Followed by request body. */
 };
 
 GNUNET_NETWORK_STRUCT_END
 
 
 /**
- * Replay a message from the multicast group.
- *
- * @param rh replay handle identifying which replay operation was requested
- * @param msg replayed message, NULL if unknown/error
- * @param ec error code
+ * Maximum size of a multicast message fragment.
  */
-void
-GNUNET_MULTICAST_replay (struct GNUNET_MULTICAST_ReplayHandle *rh,
-                        const struct GNUNET_MULTICAST_MessageHeader *msg,
-                        enum GNUNET_MULTICAST_ReplayErrorCode ec);
+#define GNUNET_MULTICAST_FRAGMENT_MAX_SIZE 63 * 1024
+
+#define GNUNET_MULTICAST_FRAGMENT_MAX_PAYLOAD           \
+  GNUNET_MULTICAST_FRAGMENT_MAX_SIZE                    \
+  - sizeof (struct GNUNET_MULTICAST_MessageHeader)
 
 
 /**
- * Handle that identifies a join request (to match calls to the
- * 'GNUNET_MULTICAST_MembershipChangeCallback' to the corresponding
- * calls to 'GNUNET_MULTICAST_join_decision').
+ * Handle that identifies a join request.
+ *
+ * Used to match calls to #GNUNET_MULTICAST_JoinRequestCallback to the
+ * corresponding calls to #GNUNET_MULTICAST_join_decision().
  */
-struct GNUNET_MULTICAST_JoinHande;
+struct GNUNET_MULTICAST_JoinHandle;
 
 
 /**
- * Function to call with the decision made for a membership change
- * request.  Must be called once and only once in response to an
- * invocation of the 'GNUNET_MULTICAST_MembershipChangeCallback'.
+ * Function to call with the decision made for a join request.
  *
- * @param jh join request handle
- * @param join_response message to send in response to the joining peer;
- *        can also be used to redirect the peer to a different group at the
- *        application layer; this response is to be transmitted to the
- *        peer that issued the request even if admission is denied.
- * @param is_admitted GNUNET_OK if joining is approved, GNUNET_SYSERR if it is disapproved;
- *         GNUNET_NO for peers leaving 
- * @param relay_count number of relays given
- * @param relays array of suggested peers that might be useful relays to use
+ * Must be called once and only once in response to an invocation of the
+ * #GNUNET_MULTICAST_JoinRequestCallback.
+ *
+ * @param jh Join request handle.
+ * @param is_admitted  #GNUNET_YES    if the join is approved,
+ *                     #GNUNET_NO     if it is disapproved,
+ *                     #GNUNET_SYSERR if we cannot answer the request.
+ * @param relay_count Number of relays given.
+ * @param relays Array of suggested peers that might be useful relays to use
  *        when joining the multicast group (essentially a list of peers that
  *        are already part of the multicast group and might thus be willing
  *        to help with routing).  If empty, only this local peer (which must
  *        be the multicast origin) is a good candidate for building the
  *        multicast tree.  Note that it is unnecessary to specify our own
  *        peer identity in this array.
+ * @param join_resp  Message to send in response to the joining peer;
+ *        can also be used to redirect the peer to a different group at the
+ *        application layer; this response is to be transmitted to the
+ *        peer that issued the request even if admission is denied.
  */
-void
+struct GNUNET_MULTICAST_ReplayHandle *
 GNUNET_MULTICAST_join_decision (struct GNUNET_MULTICAST_JoinHandle *jh,
-                               const struct GNUNET_MessageHeader *join_response,
-                               int is_admitted,
-                               unsigned int relay_count,
-                               const struct GNUNET_PeerIdentity *relays);
+                                int is_admitted,
+                                uint16_t relay_count,
+                                const struct GNUNET_PeerIdentity *relays,
+                                const struct GNUNET_MessageHeader *join_resp);
 
 
 /**
- * Method called whenever another peer wants to join or has left a 
- * multicast group.  Implementations of this function must call
- * 'GNUNET_MULTICAST_join_decision' with the decision.
+ * Method called whenever another peer wants to join the multicast group.
  *
- * @param cls closure
- * @param peer identity of the peer that wants to join or leave
- * @param join_req application-dependent join message from the new user
- *        (might, for example, contain a user 
- *        bind user identity/pseudonym to peer identity, application-level
- *        message to origin, etc.)
- * @param is_joining GNUNET_YES if the peer wants to join, GNUNET_NO if the peer left
- * @param jh join handle to pass to 'GNUNET_MULTICAST_join_decison'
+ * Implementations of this function must call GNUNET_MULTICAST_join_decision()
+ * with the decision.
+ *
+ * @param cls  Closure.
+ * @param member_key  Public key of the member requesting join.
+ * @param join_msg  Application-dependent join message from the new member.
+ * @param jh  Join handle to pass to GNUNET_MULTICAST_join_decison().
+ */
+typedef void
+(*GNUNET_MULTICAST_JoinRequestCallback) (void *cls,
+                                         const struct GNUNET_CRYPTO_EcdsaPublicKey *member_key,
+                                         const struct GNUNET_MessageHeader *join_msg,
+                                         struct GNUNET_MULTICAST_JoinHandle *jh);
+
+
+/**
+ * Method called to inform about the decision in response to a join request.
+ *
+ * If @a is_admitted is not #GNUNET_YES, then the multicast service disconnects
+ * the client and the multicast member handle returned by
+ * GNUNET_MULTICAST_member_join() is invalidated.
+ *
+ * @param cls  Closure.
+ * @param is_admitted  #GNUNET_YES or #GNUNET_NO or #GNUNET_SYSERR
+ * @param peer  The peer we are connected to and the join decision is from.
+ * @param relay_count  Number of peers in the @a relays array.
+ * @param relays  Peer identities of members of the group, which serve as relays
+ *        and can be used to join the group at.  If empty, only the origin can
+ *        be used to connect to the group.
+ * @param join_msg  Application-dependent join message from the origin.
+ */
+typedef void
+(*GNUNET_MULTICAST_JoinDecisionCallback) (void *cls,
+                                          int is_admitted,
+                                          const struct GNUNET_PeerIdentity *peer,
+                                          uint16_t relay_count,
+                                          const struct GNUNET_PeerIdentity *relays,
+                                          const struct GNUNET_MessageHeader *join_msg);
+
+
+/**
+ * Handle to pass back for the answer of a membership test.
  */
-typedef int (*GNUNET_MULTICAST_MembershipChangeCallback)(void *cls,
-                                                        const struct GNUNET_PeerIdentity *peer,
-                                                        const struct GNUNET_MessageHeader *join_req,
-                                                        int is_joining,
-                                                        struct GNUNET_MULTICAST_JoinHandle *jh);
+struct GNUNET_MULTICAST_MembershipTestHandle;
+
+
+/**
+ * Call informing multicast about the decision taken for a membership test.
+ *
+ * @param mth Handle that was given for the query.
+ * @param result #GNUNET_YES if peer was a member, #GNUNET_NO if peer was not a member,
+ *        #GNUNET_SYSERR if we cannot answer the membership test.
+ */
+void
+GNUNET_MULTICAST_membership_test_result (struct GNUNET_MULTICAST_MembershipTestHandle *mth,
+                                         int result);
 
 
 /**
  * Method called to test if a member was in the group at a particular time.
  *
- * @param cls closure
- * @param peer identity of the peer that we want to test
- * @param message_id message ID for which we want to do the test
- * @param group_generation the generation of the group for which we want to do the test
- * @return GNUNET_YES if peer was a member, GNUNET_NO if peer was not a member,
- *         GNUNET_SYSERR if we cannot answer the membership test
+ * It is called when a replay request is received to determine if the requested
+ * message can be replayed.
+ *
+ * @param cls Closure.
+ * @param member_key Identity of the member that we want to test.
+ * @param message_id Message ID for which to perform the test.
+ * @param group_generation Group generation of the message. It has relevance if
+ *        the message consists of multiple fragments with different group
+ *        generations.
+ * @param mth Handle to give to GNUNET_MULTICAST_membership_test_answer().
  */
-typedef int (*GNUNET_MULTICAST_MembershipTestCallback)(void *cls,
-                                                      const struct GNUNET_PeerIdentity *peer,
-                                                      uint64_t message_id,
-                                                      uint64_t group_generation);
+typedef void
+(*GNUNET_MULTICAST_MembershipTestCallback) (void *cls,
+                                            const struct GNUNET_CRYPTO_EcdsaPublicKey *member_key,
+                                            uint64_t message_id,
+                                            uint64_t group_generation,
+                                            struct GNUNET_MULTICAST_MembershipTestHandle *mth);
 
 
 /**
- * Function called whenever a group member has transmitted a message
+ * Function called whenever a group member has transmitted a request
  * to the origin (other than joining or leaving).
  *
- * @param cls closure (set from GNUNET_MULTICAST_origin_start)
- * @param sender identity of the sender
- * @param response_id unique counter for the response from this sender to this origin
- * @param msg message to the origin
+ * FIXME: need to distinguish between origin cancelling a message (some fragments
+ * were sent, then the rest 'discarded') and the case where we got disconnected;
+ * right now, both would mean 'msg' is NULL, but they could be quite different...
+ * So the semantics from the receiver side of
+ * GNUNET_MULTICAST_member_to_origin_cancel() are not clear here.   Maybe we
+ * should do something with the flags in this case?
+ *
+ * @param cls Closure (set from GNUNET_MULTICAST_origin_start).
+ * @param sender Identity of the sender.
+ * @param req Request to the origin.
+ * @param flags Flags for the request.
+ */
+typedef void
+(*GNUNET_MULTICAST_RequestCallback) (void *cls,
+                                     const struct GNUNET_MULTICAST_RequestHeader *req);
+
+
+/**
+ * Function called whenever a group member is receiving a message fragment from
+ * the origin.
+ *
+ * If admission to the group is denied, this function is called once with the
+ * response of the @e origin (as given to GNUNET_MULTICAST_join_decision()) and
+ * then a second time with NULL to indicate that the connection failed for good.
+ *
+ * FIXME: need to distinguish between origin cancelling a message (some fragments
+ * were sent, then the rest 'discarded') and the case where we got disconnected;
+ * right now, both would mean 'msg' is NULL, but they could be quite different...
+ * So the semantics from the receiver side of
+ * GNUNET_MULTICAST_origin_to_all_cancel() are not clear here.
+ *
+ * @param cls Closure (set from GNUNET_MULTICAST_member_join())
+ * @param msg Message from the origin, NULL if the origin shut down
+ *        (or we were kicked out, and we should thus call
+ *        GNUNET_MULTICAST_member_part() next)
  */
-typedef void (*GNUNET_MULTICAST_ResponseCallback) (void *cls,
-                                                  const struct GNUNET_PeerIdentity *sender,
-                                                  uint64_t response_id,
-                                                  const struct GNUNET_MessageHeader *msg);
+typedef void
+(*GNUNET_MULTICAST_MessageCallback) (void *cls,
+                                     const struct GNUNET_MULTICAST_MessageHeader *msg);
 
 
 /**
- * Function called whenever a group member is receiving a message from
- * the origin.  If admission to the group is denied, this function is
- * called once with the response of the 'origin' (as given to 
- * 'GNUNET_MULTICAST_join_decision') and then a second time with "NULL"
- * to indicate that the connection failed for good.
+ * Function called with the result of an asynchronous operation.
  *
- * @param cls closure (set from GNUNET_MULTICAST_member_join)
- * @param message_id unique number of the message
- * @param msg message from the origin, NULL if the origin shut down
- *        (or we were kicked out, and we should thus call GNUNET_MULTICAST_member_leave next)
+ * @see GNUNET_MULTICAST_replay_fragment()
+ *
+ * @param result Result of the operation.
  */
-typedef void (*GNUNET_MULTICAST_MessageCallback) (void *cls,
-                                                 uint64_t message_id,
-                                                 const struct GNUNET_MULTICAST_MessageHeader *msg);
+typedef void
+(*GNUNET_MULTICAST_ResultCallback) (void *cls,
+                                    int result);
 
 
 /**
- * Start a multicast group.  Will advertise the origin in the P2P
- * overlay network under the respective public key so that other peer
- * can find this peer to join it.  Peers that issue
- * 'GNUNET_MULTICAST_member_join' can then transmit a join request to
- * either an existing group member (if the 'join_policy' is
- * permissive) or to the origin.  If the joining is approved, the
- * member is cleared for 'replay' and will begin to receive messages
- * transmitted to the group.  If joining is disapproved, the failed
- * candidate will be given a response.  Members in the group can send
- * messages to the origin (one at a time).
+ * Opaque handle to a replay request from the multicast service.
+ */
+struct GNUNET_MULTICAST_ReplayHandle;
+
+
+/**
+ * Functions with this signature are called whenever the multicast service needs
+ * a message fragment to be replayed by fragment_id.
+ *
+ * Implementations of this function MUST call GNUNET_MULTICAST_replay() ONCE
+ * (with a message or an error); however, if the origin is destroyed or the
+ * group is left, the replay handle must no longer be used.
  *
- * @param cfg configuration to use
- * @param cls closure for the various callbacks that follow
+ * @param cls Closure (set from GNUNET_MULTICAST_origin_start()
+ *        or GNUNET_MULTICAST_member_join()).
+ * @param member_key The member requesting replay.
+ * @param fragment_id Which message fragment should be replayed.
+ * @param flags Flags for the replay.
+ * @param rh Handle to pass to message transmit function.
+ */
+typedef void
+(*GNUNET_MULTICAST_ReplayFragmentCallback) (void *cls,
+                                            const struct GNUNET_CRYPTO_EcdsaPublicKey *member_key,
+                                            uint64_t fragment_id,
+                                            uint64_t flags,
+                                            struct GNUNET_MULTICAST_ReplayHandle *rh);
+
+/**
+ * Functions with this signature are called whenever the multicast service needs
+ * a message fragment to be replayed by message_id and fragment_offset.
+ *
+ * Implementations of this function MUST call GNUNET_MULTICAST_replay() ONCE
+ * (with a message or an error); however, if the origin is destroyed or the
+ * group is left, the replay handle must no longer be used.
+ *
+ * @param cls Closure (set from GNUNET_MULTICAST_origin_start()
+ *        or GNUNET_MULTICAST_member_join()).
+ * @param member_key The member requesting replay.
+ * @param message_id Which message should be replayed.
+ * @param fragment_offset Offset of the fragment within of @a message_id to be replayed.
+ * @param flags Flags for the replay.
+ * @param rh Handle to pass to message transmit function.
+ */
+typedef void
+(*GNUNET_MULTICAST_ReplayMessageCallback) (void *cls,
+                                           const struct GNUNET_CRYPTO_EcdsaPublicKey *member_key,
+                                           uint64_t message_id,
+                                           uint64_t fragment_offset,
+                                           uint64_t flags,
+                                           struct GNUNET_MULTICAST_ReplayHandle *rh);
+
+
+/**
+ * Possible error codes during replay.
+ */
+enum GNUNET_MULTICAST_ReplayErrorCode
+{
+
+  /**
+   * Everything is fine.
+   */
+  GNUNET_MULTICAST_REC_OK = 0,
+
+  /**
+   * Message fragment not found in the message store.
+   *
+   * Either discarded if it is too old, or not arrived yet if this member has
+   * missed some messages.
+   */
+  GNUNET_MULTICAST_REC_NOT_FOUND = 1,
+
+  /**
+   * Fragment ID counter was larger than the highest counter this
+   * replay function has ever encountered; thus it is likely the
+   * origin never sent it and we're at the HEAD of the multicast
+   * stream as far as this node is concerned.
+   *
+   * FIXME: needed?
+   */
+  GNUNET_MULTICAST_REC_PAST_HEAD = 2,
+
+  /**
+   * Access is denied to the requested fragment, membership test did not pass.
+   */
+  GNUNET_MULTICAST_REC_ACCESS_DENIED = 3,
+
+  /**
+   * Internal error (i.e. database error).  Try some other peer.
+   */
+  GNUNET_MULTICAST_REC_INTERNAL_ERROR = 4
+
+};
+
+
+/**
+ * Replay a message fragment for the multicast group.
+ *
+ * @param rh Replay handle identifying which replay operation was requested.
+ * @param msg Replayed message fragment, NULL if unknown/error.
+ * @param ec Error code.
+ */
+void
+GNUNET_MULTICAST_replay_response (struct GNUNET_MULTICAST_ReplayHandle *rh,
+                                  const struct GNUNET_MessageHeader *msg,
+                                  enum GNUNET_MULTICAST_ReplayErrorCode ec);
+
+
+/**
+ * Indicate the end of the replay session.
+ *
+ * Invalidates the replay handle.
+ *
+ * @param rh Replay session to end.
+ */
+void
+GNUNET_MULTICAST_replay_response_end (struct GNUNET_MULTICAST_ReplayHandle *rh);
+
+
+/**
+ * Function called to provide data for a transmission for a replay.
+ *
+ * @see GNUNET_MULTICAST_replay2()
+ */
+typedef int
+(*GNUNET_MULTICAST_ReplayTransmitNotify) (void *cls,
+                                          size_t *data_size,
+                                          void *data);
+
+
+/**
+ * Replay a message for the multicast group.
+ *
+ * @param rh Replay handle identifying which replay operation was requested.
+ * @param notify Function to call to get the message.
+ * @param notify_cls Closure for @a notify.
+ */
+void
+GNUNET_MULTICAST_replay_response2 (struct GNUNET_MULTICAST_ReplayHandle *rh,
+                                   GNUNET_MULTICAST_ReplayTransmitNotify notify,
+                                   void *notify_cls);
+
+
+/**
+ * Start a multicast group.
+ *
+ * Will advertise the origin in the P2P overlay network under the respective
+ * public key so that other peer can find this peer to join it.  Peers that
+ * issue GNUNET_MULTICAST_member_join() can then transmit a join request to
+ * either an existing group member or to the origin.  If the joining is
+ * approved, the member is cleared for @e replay and will begin to receive
+ * messages transmitted to the group.  If joining is disapproved, the failed
+ * candidate will be given a response.  Members in the group can send messages
+ * to the origin (one at a time).
+ *
+ * @param cfg Configuration to use.
  * @param priv_key ECC key that will be used to sign messages for this
- *                 multicast session; public key is used to identify the
- *                 multicast group; FIXME: we'll likely want to use
- *                 NOT the p521 curve here, but a cheaper one in the future
- * @param join_policy what is the membership policy of the group?
- * @param replay_cb function that can be called to replay a message
- * @param test_cb function multicast can use to test group membership
- * @param join_cb function called to approve / disapprove joining of a peer
- * @param response_cb function called with messages from group members
- * @return handle for the origin, NULL on error 
+ *        multicast session; public key is used to identify the multicast group;
+ * @param max_fragment_id  Maximum fragment ID already sent to the group.
+ *        0 for a new group.
+ * @param join_request_cb Function called to approve / disapprove joining of a peer.
+ * @param member_test_cb Function multicast can use to test group membership.
+ * @param replay_frag_cb Function that can be called to replay a message fragment.
+ * @param replay_msg_cb Function that can be called to replay a message.
+ * @param request_cb Function called with message fragments from group members.
+ * @param message_cb Function called with the message fragments sent to the
+ *        network by GNUNET_MULTICAST_origin_to_all().  These message fragments
+ *        should be stored for answering replay requests later.
+ * @param cls Closure for the various callbacks that follow.
+ * @return Handle for the origin, NULL on error.
  */
 struct GNUNET_MULTICAST_Origin *
-GNUNET_MULTICAST_origin_start (const struct GNUNET_CONFIGURATION_Handle *cfg, 
-                              void *cls,
-                              const struct GNUNET_CRYPTO_EccPrivateKey *priv_key,
-                              enum GNUNET_MULTICAST_JoinPolicy join_policy,
-                              GNUNET_MULITCAST_ReplayCallback replay_cb,
-                              GNUNET_MULITCAST_MembershipTestCallback test_cb,
-                              GNUNET_MULTICAST_MembershipChangeCallback join_cb,
-                              GNUNET_MULTICAST_ResponseCallback response_cb);
+GNUNET_MULTICAST_origin_start (const struct GNUNET_CONFIGURATION_Handle *cfg,
+                               const struct GNUNET_CRYPTO_EddsaPrivateKey *priv_key,
+                               uint64_t max_fragment_id,
+                               GNUNET_MULTICAST_JoinRequestCallback join_request_cb,
+                               GNUNET_MULTICAST_MembershipTestCallback member_test_cb,
+                               GNUNET_MULTICAST_ReplayFragmentCallback replay_frag_cb,
+                               GNUNET_MULTICAST_ReplayMessageCallback replay_msg_cb,
+                               GNUNET_MULTICAST_RequestCallback request_cb,
+                               GNUNET_MULTICAST_MessageCallback message_cb,
+                               void *cls);
+
+/**
+ * Function called to provide data for a transmission from the origin to all
+ * members.
+ *
+ * Note that returning #GNUNET_OK or #GNUNET_SYSERR (but not #GNUNET_NO)
+ * invalidates the respective transmission handle.
+ *
+ * @param cls Closure.
+ * @param[in,out] data_size Initially set to the number of bytes available in
+ *        @a data, should be set to the number of bytes written to data.
+ * @param[out] data Where to write the body of the message to give to the
+ *         method. The function must copy at most @a data_size bytes to @a data.
+ * @return #GNUNET_SYSERR on error (fatal, aborts transmission)
+ *         #GNUNET_NO on success, if more data is to be transmitted later.
+ *         Should be used if @a data_size was not big enough to take all the
+ *         data.  If 0 is returned in @a data_size the transmission is paused,
+ *         and can be resumed with GNUNET_MULTICAST_origin_to_all_resume().
+ *         #GNUNET_YES if this completes the transmission (all data supplied)
+ */
+typedef int
+(*GNUNET_MULTICAST_OriginTransmitNotify) (void *cls,
+                                          size_t *data_size,
+                                          void *data);
 
 
 /**
  * Handle for a request to send a message to all multicast group members
  * (from the origin).
  */
-struct GNUNET_MULTICAST_MulticastRequest;
+struct GNUNET_MULTICAST_OriginTransmitHandle;
 
 
 /**
  * Send a message to the multicast group.
  *
- * @param origin handle to the multicast group
- * @param size number of bytes to transmit
- * @param cb function to call to get the message
- * @param cb_cls closure for 'cb'
- * @return NULL on error (i.e. request already pending)
+ * @param origin Handle to the multicast group.
+ * @param message_id Application layer ID for the message.  Opaque to multicast.
+ * @param group_generation Group generation of the message.  Documented in
+ *             GNUNET_MULTICAST_MessageHeader.
+ * @param notify Function to call to get the message.
+ * @param notify_cls Closure for @a notify.
+ * @return NULL on error (i.e. request already pending).
  */
-struct GNUNET_MULTICAST_MulticastRequest *
-GNUNET_MULTICAST_origin_send_to_all (struct GNUNET_MULTICAST_Origin *origin,
-                                    size_t size,
-                                    GNUNET_CONNECTION_TransmitReadyNotify cb,
-                                    void *cb_cls);
+struct GNUNET_MULTICAST_OriginTransmitHandle *
+GNUNET_MULTICAST_origin_to_all (struct GNUNET_MULTICAST_Origin *origin,
+                                uint64_t message_id,
+                                uint64_t group_generation,
+                                GNUNET_MULTICAST_OriginTransmitNotify notify,
+                                void *notify_cls);
+
+
+
+/**
+ * Resume message transmission to multicast group.
+ *
+ * @param th  Transmission to cancel.
+ */
+void
+GNUNET_MULTICAST_origin_to_all_resume (struct GNUNET_MULTICAST_OriginTransmitHandle *th);
 
 
 /**
  * Cancel request for message transmission to multicast group.
  *
- * @param mr request to cancel
+ * @param th  Transmission to cancel.
  */
 void
-GNUNET_MULTICAST_origin_send_to_all_cancel (struct GNUNET_MULTICAST_MulticastRequest *mr);
+GNUNET_MULTICAST_origin_to_all_cancel (struct GNUNET_MULTICAST_OriginTransmitHandle *th);
 
 
 /**
- * End a multicast group.
+ * Stop a multicast group.
  *
- * @param origin multicast group to terminate
+ * @param origin Multicast group to stop.
  */
 void
-GNUNET_MULTICAST_origin_end (struct GNUNET_MULTICAST_Origin *origin);
-
-
-/**
- * Join a multicast group.  The entity joining is always the local
- * peer.  Further information about the candidate can be provided in
- * the 'join_req' message.  If the join fails, the 'message_cb' is
- * invoked with a (failure) response and then with 'NULL'.  If the
- * join succeeds, outstanding (state) messages and ongoing multicast
- * messages will be given to the 'message_cb' until the member decides
- * to leave the group.  The 'test_cb' and 'replay_cb' functions may be
- * called at anytime by the multicast service to support relaying
- * messages to other members of the group.
- *
- * @param cfg configuration to use
- * @param cls closure for callbacks
- * @param pub_key ECC key that identifies the group
- * @param max_known_message_id largest known message ID to the replay service;
- *        all messages with IDs larger than this ID will be replayed if
- *        possible (lower IDs will be considered known and thus only
- *        be replayed upon explicit request)
- * @param max_known_state_message_id largest known message ID with a non-zero
- *                       value for the 'state_delta'; state messages with
- *        larger IDs than this value will be replayed with high priority
- *        (lower IDs will be considered known and thus only
- *        be replayed upon explicit request)
- * @param replay_cb function that can be called to replay messages
- *        this peer already knows from this group; NULL if this
- *        client is unable to support replay
- * @param test_cb function multicast can use to test group membership
- * @param message_cb function to be called for all messages we 
- *        receive from the group, excluding those our replay_cb
- *        already has
- * @param join_req application-dependent join message to be passed to origin
- *        (might, for example, contain a user 
- *        bind user identity/pseudonym to peer identity, application-level
- *        message to origin, etc.)
- * @return handle for the member, NULL on error 
+GNUNET_MULTICAST_origin_stop (struct GNUNET_MULTICAST_Origin *origin,
+                              GNUNET_ContinuationCallback stop_cb,
+                              void *stop_cls);
+
+
+/**
+ * Join a multicast group.
+ *
+ * The entity joining is always the local peer.  Further information about the
+ * candidate can be provided in @a join_msg.  If the join fails, the
+ * @a message_cb is invoked with a (failure) response and then with NULL.  If
+ * the join succeeds, outstanding (state) messages and ongoing multicast
+ * messages will be given to the @a message_cb until the member decides to part
+ * the group.  The @a mem_test_cb and @a replay_cb functions may be called at
+ * anytime by the multicast service to support relaying messages to other
+ * members of the group.
+ *
+ * @param cfg Configuration to use.
+ * @param group_key ECC public key that identifies the group to join.
+ * @param member_key ECC key that identifies the member and used to sign
+ *        requests sent to the origin.
+ * @param origin Peer ID of the origin to send unicast requsets to.  If NULL,
+ *        unicast requests are sent back via multiple hops on the reverse path
+ *        of multicast messages.
+ * @param relay_count Number of peers in the @a relays array.
+ * @param relays Peer identities of members of the group, which serve as relays
+ *        and can be used to join the group at and send the @a join_request to.
+ *        If empty, the @a join_request is sent directly to the @a origin.
+ * @param join_msg  Application-dependent join message to be passed to the
+ *        @a origin.
+ * @param join_request_cb Function called to approve / disapprove joining of a peer.
+ * @param join_decision_cb Function called to inform about the join decision.
+ * @param mem_test_cb Function multicast can use to test group membership.
+ * @param replay_frag_cb Function that can be called to replay message fragments
+ *        this peer already knows from this group. NULL if this
+ *        client is unable to support replay.
+ * @param replay_msg_cb Function that can be called to replay message fragments
+ *        this peer already knows from this group. NULL if this
+ *        client is unable to support replay.
+ * @param message_cb Function to be called for all message fragments we
+ *        receive from the group, excluding those our @a replay_cb
+ *        already has.
+ * @param cls Closure for callbacks.
+ * @return Handle for the member, NULL on error.
  */
 struct GNUNET_MULTICAST_Member *
-GNUNET_MULTICAST_member_join (const struct GNUNET_CONFIGURATION_Handle *cfg, 
-                             void *cls,
-                             const struct GNUNET_CRYPTO_EccPublicKey *pub_key,
-                             uint64_t max_known_message_id,
-                             uint64_t max_known_state_message_id,
-                             GNUNET_MULTICAST_ReplayCallback replay_cb,
-                             GNUNET_MULITCAST_MembershipTestCallback test_cb,
-                             GNUNET_MULTICAST_MessageCallback message_cb,
-                             const struct GNUNET_MessageHeader *join_req);
-
+GNUNET_MULTICAST_member_join (const struct GNUNET_CONFIGURATION_Handle *cfg,
+                              const struct GNUNET_CRYPTO_EddsaPublicKey *group_key,
+                              const struct GNUNET_CRYPTO_EcdsaPrivateKey *member_key,
+                              const struct GNUNET_PeerIdentity *origin,
+                              uint16_t relay_count,
+                              const struct GNUNET_PeerIdentity *relays,
+                              const struct GNUNET_MessageHeader *join_request,
+                              GNUNET_MULTICAST_JoinRequestCallback join_request_cb,
+                              GNUNET_MULTICAST_JoinDecisionCallback join_decision_cb,
+                              GNUNET_MULTICAST_MembershipTestCallback mem_test_cb,
+                              GNUNET_MULTICAST_ReplayFragmentCallback replay_frag_cb,
+                              GNUNET_MULTICAST_ReplayMessageCallback replay_msg_cb,
+                              GNUNET_MULTICAST_MessageCallback message_cb,
+                              void *cls);
 
 /**
  * Handle for a replay request.
  */
-struct GNUNET_MULTICAST_ReplayRequest;
+struct GNUNET_MULTICAST_MemberReplayHandle;
 
 
 /**
- * Request a message to be replayed.  Useful if messages below
- * the 'max_known_*_id's given when joining are needed and not
- * known to the client.
+ * Request a fragment to be replayed by fragment ID.
+ *
+ * Useful if messages below the @e max_known_fragment_id given when joining are
+ * needed and not known to the client.
  *
- * @param member membership handle
- * @param message_id ID of a message that this client would like to see replayed
- * @param message_cb function to be called for the replayed message
- * @param message_cb_cls closure for 'message_cb'
- * @return replay request handle, NULL on error
+ * @param member Membership handle.
+ * @param fragment_id ID of a message fragment that this client would like to
+          see replayed.
+ * @param flags Additional flags for the replay request.  It is used and defined
+ *        by the replay callback.  FIXME: which replay callback? FIXME: use enum?
+ *        FIXME: why not pass reply cb here?
+ * @return Replay request handle, NULL on error.
  */
-struct GNUNET_MULTICAST_ReplayRequest *
-GNUNET_MULTICAST_member_request_replay (struct GNUNET_MULTICAST_Member *member,
-                                       uint64_t message_id,
-                                       GNUNET_MULTICAST_MessageCallback message_cb,
-                                       void *message_cb_cls);
+struct GNUNET_MULTICAST_MemberReplayHandle *
+GNUNET_MULTICAST_member_replay_fragment (struct GNUNET_MULTICAST_Member *member,
+                                         uint64_t fragment_id,
+                                         uint64_t flags);
+
+
+/**
+ * Request a message fr to be replayed.
+ *
+ * Useful if messages below the @e max_known_fragment_id given when joining are
+ * needed and not known to the client.
+ *
+ * @param member Membership handle.
+ * @param message_id ID of the message this client would like to see replayed.
+ * @param fragment_offset Offset of the fragment within the message to replay.
+ * @param flags Additional flags for the replay request.  It is used & defined
+ *        by the replay callback.
+ * @param result_cb Function to be called for the replayed message.
+ * @param result_cb_cls Closure for @a result_cb.
+ * @return Replay request handle, NULL on error.
+ */
+struct GNUNET_MULTICAST_MemberReplayHandle *
+GNUNET_MULTICAST_member_replay_message (struct GNUNET_MULTICAST_Member *member,
+                                        uint64_t message_id,
+                                        uint64_t fragment_offset,
+                                        uint64_t flags,
+                                        GNUNET_MULTICAST_ResultCallback result_cb,
+                                        void *result_cb_cls);
 
 
 /**
  * Cancel a replay request.
  *
- * @param rr request to cancel
+ * @param rh Request to cancel.
  */
 void
-GNUNET_MULTICAST_member_request_replay_cancel (struct GNUNET_MULTICAST_ReplayRequest *rr);
+GNUNET_MULTICAST_member_replay_cancel (struct GNUNET_MULTICAST_MemberReplayHandle *rh);
 
 
 /**
- * Leave a mutlicast group.
+ * Part a multicast group.
+ *
+ * Disconnects from all group members and invalidates the @a member handle.
+ *
+ * An application-dependent part message can be transmitted beforehand using
+ * #GNUNET_MULTICAST_member_to_origin())
  *
- * @param member membership handle
+ * @param member Membership handle.
  */
 void
-GNUNET_MULTICAST_member_leave (struct GNUNET_MULTICAST_Member *member);
+GNUNET_MULTICAST_member_part (struct GNUNET_MULTICAST_Member *member,
+                              GNUNET_ContinuationCallback part_cb,
+                              void *part_cls);
+
+
+/**
+ * Function called to provide data for a transmission from a member to the origin.
+ *
+ * Note that returning #GNUNET_OK or #GNUNET_SYSERR (but not #GNUNET_NO)
+ * invalidates the respective transmission handle.
+ *
+ * @param cls Closure.
+ * @param[in,out] data_size Initially set to the number of bytes available in
+ *        @a data, should be set to the number of bytes written to data.
+ * @param[out] data Where to write the body of the message to give to the
+ *         method. The function must copy at most @a data_size bytes to @a data.
+ *
+ * @return #GNUNET_SYSERR on error (fatal, aborts transmission)
+ *         #GNUNET_NO on success, if more data is to be transmitted later.
+ *         Should be used if @a data_size was not big enough to take all the
+ *         data.  If 0 is returned in @a data_size the transmission is paused,
+ *         and can be resumed with GNUNET_MULTICAST_member_to_origin_resume().
+ *         #GNUNET_YES if this completes the transmission (all data supplied)
+ */
+typedef int
+(*GNUNET_MULTICAST_MemberTransmitNotify) (void *cls,
+                                          size_t *data_size,
+                                          void *data);
 
 
 /**
- * Handle for a message to be delivered to the origin.
+ * Handle for a message to be delivered from a member to the origin.
  */
-struct GNUNET_MULTICAST_ResponseRequest;
+struct GNUNET_MULTICAST_MemberTransmitHandle;
 
 
 /**
- * Send a message to the origin of the multicast group.  
- * 
- * @param member membership handle
- * @param size number of bytes we want to send to origin
- * @param cb callback to call to get the message
- * @param cb_cls closure for 'cb'
- * @return handle to cancel request, NULL on error (i.e. request already pending)
+ * Send a message to the origin of the multicast group.
+ *
+ * @param member Membership handle.
+ * @param request_id Application layer ID for the request.  Opaque to multicast.
+ * @param notify Callback to call to get the message.
+ * @param notify_cls Closure for @a notify.
+ *
+ * @return Handle to cancel request, NULL on error (i.e. request already pending).
  */
-struct GNUNET_MULTICAST_ResponseRequest *
-GNUNET_MULTICAST_member_message_to_origin (struct GNUNET_MULTICAST_Member *member,
-                                          size_t size,
-                                          GNUNET_CONNECTION_TransmitReadyNotify cb,
-                                          void *cb_cls);
+struct GNUNET_MULTICAST_MemberTransmitHandle *
+GNUNET_MULTICAST_member_to_origin (struct GNUNET_MULTICAST_Member *member,
+                                   uint64_t request_id,
+                                   GNUNET_MULTICAST_MemberTransmitNotify notify,
+                                   void *notify_cls);
 
 
 /**
- * Cancel request for message transmission to origin.
+ * Resume message transmission to origin.
  *
- * @param rr request to cancel
+ * @param th  Transmission to cancel.
  */
 void
-GNUNET_MULTICAST_member_message_to_origin_cancel (struct GNUNET_MULTICAST_ResponseRequest *rr);
+GNUNET_MULTICAST_member_to_origin_resume (struct GNUNET_MULTICAST_MemberTransmitHandle *th);
 
 
+/**
+ * Cancel request for message transmission to origin.
+ *
+ * @param th  Transmission to cancel.
+ */
+void
+GNUNET_MULTICAST_member_to_origin_cancel (struct GNUNET_MULTICAST_MemberTransmitHandle *th);
+
 
 #if 0                           /* keep Emacsens' auto-indent happy */
 {