-remove trailing whitespace
[oweals/gnunet.git] / src / include / gnunet_multicast_service.h
index a5d7411c387b18906487694a5a156dfb03ae8797..7a2421b4b26450d4ba496c15f07b3d567cdde781 100644 (file)
@@ -18,7 +18,7 @@
      Boston, MA 02111-1307, USA.
 */
 
-/** 
+/**
  * @file include/gnunet_multicast_service.h
  * @brief multicast service; establish tunnels to distant peers
  * @author Christian Grothoff
@@ -39,60 +39,26 @@ extern "C"
 #include "gnunet_util_lib.h"
 #include "gnunet_transport_service.h"
 
-/** 
+/**
  * Version number of GNUnet-multicast API.
  */
 #define GNUNET_MULTICAST_VERSION 0x00000000
 
+/**
+ * Maximum size of a multicast message fragment.
+ */
+#define GNUNET_MULTICAST_FRAGMENT_MAX_SIZE 63 * 1024
 
-/** 
+/**
  * Opaque handle for a multicast group member.
  */
 struct GNUNET_MULTICAST_Member;
 
-/** 
+/**
  * Handle for the origin of a multicast group.
  */
 struct GNUNET_MULTICAST_Origin;
 
-/** 
- * Group membership policies.
- */
-enum GNUNET_MULTICAST_JoinPolicy
-{
-  /**
-   * Anyone can join the group, without announcing his presence;
-   * all messages are always public and can be distributed freely.
-   * Joins may be announced, but this is not required.
-   */
-  GNUNET_MULTICAST_JP_ANONYMOUS = 0,
-
-  /** 
-   * Origin must approve membership to the group, messages must only be
-   * distributed to current group members.  This includes the group
-   * state as well as transient messages.
-   */
-  GNUNET_MULTICAST_JP_PRIVATE = 1,
-
-#if IDEAS_FOR_FUTURE
-  /** 
-   * Anyone can freely join the group (no approval required); however,
-   * transient messages must only be distributed to current group
-   * members, so the origin must still acknowledge that the member
-   * joined before transient messages are delivered.  As approval is
-   * guaranteed, the presistent group state can be synchronized freely
-   * immediately, prior to origin confirmation.
-   */
-  GNUNET_MULTICAST_JP_OPEN = 2,
-
-  /**
-   * Origin must approve membership to the group, but past messages can be
-   * freely distributed to members.
-   */
-  GNUNET_MULTICAST_JP_CLOSED = 3,
-#endif
-
-};
 
 enum GNUNET_MULTICAST_MessageFlags
 {
@@ -106,7 +72,7 @@ enum GNUNET_MULTICAST_MessageFlags
    */
   GNUNET_MULTICAST_MESSAGE_LAST_FRAGMENT = 1 << 1,
 
-  /** 
+  /**
    * OR'ed flags if message is not fragmented.
    */
   GNUNET_MULTICAST_MESSAGE_NOT_FRAGMENTED
@@ -117,7 +83,7 @@ enum GNUNET_MULTICAST_MessageFlags
 
 GNUNET_NETWORK_STRUCT_BEGIN
 
-/** 
+/**
  * Header of a multicast message fragment.
  *
  * This format is public as the replay mechanism must replay message fragments using the
@@ -127,57 +93,54 @@ GNUNET_NETWORK_STRUCT_BEGIN
 struct GNUNET_MULTICAST_MessageHeader
 {
 
-  /** 
+  /**
    * Header for all multicast message fragments from the origin.
    */
   struct GNUNET_MessageHeader header;
 
-  /** 
+  /**
    * Number of hops this message fragment has taken since the origin.
    *
-   * Helpful to determine shortest paths to the origin for responses among
-   * honest peers; updated at each hop and thus not signed and not secure.
+   * Helpful to determine shortest paths to the origin among honest peers for
+   * unicast requests from members.  Updated at each hop and thus not signed and
+   * not secure.
    */
   uint32_t hop_counter GNUNET_PACKED;
 
-  /** 
+  /**
    * ECC signature of the message fragment.
    *
    * Signature must match the public key of the multicast group.
    */
   struct GNUNET_CRYPTO_EccSignature signature;
 
-  /** 
-   * Signature of the multicast message fragment.
+  /**
+   * Purpose for the signature and size of the signed data.
    */
   struct GNUNET_CRYPTO_EccSignaturePurpose purpose;
 
-  /** 
+  /**
    * Number of the message fragment, monotonically increasing.
    */
   uint64_t fragment_id GNUNET_PACKED;
 
-  /** 
-   * Number of the message this fragment belongs to.
+  /**
+   * Byte offset of this @e fragment of the @e message.
    */
-  uint64_t message_id GNUNET_PACKED;
+  uint64_t fragment_offset GNUNET_PACKED;
 
-  /** 
-   * Number of fragments before the current one that has the same @a message_id.
+  /**
+   * Number of the message this fragment belongs to.
    *
-   * 0 for the first fragment of a message.
-   * This allows replaying a message with all of its fragments.
-   */
-  uint64_t fragment_delta GNUNET_PACKED;
-
-  /** 
-   * Byte offset of this @e fragment of the @e message.
+   * Set in GNUNET_MULTICAST_origin_to_all().
    */
-  uint64_t fragment_offset GNUNET_PACKED;
+  uint64_t message_id GNUNET_PACKED;
 
-  /** 
+  /**
    * Counter that monotonically increases whenever a member parts the group.
    *
+   * Set in GNUNET_MULTICAST_origin_to_all().
+   *
    * It has significance in case of replay requests: when a member has missed
    * messages and gets a replay request: in this case if the @a group_generation
    * is still the same before and after the missed messages, it means that no
@@ -185,106 +148,33 @@ struct GNUNET_MULTICAST_MessageHeader
    */
   uint64_t group_generation GNUNET_PACKED;
 
-  /** 
-   * Difference between the current @a fragment_id and the @a fragment_id of the
-   * preceeding non-transient message.
-   * 
-   * Zero for transient messages, @c UINT64_MAX for the first message, or any
-   * other message creating a full state reset by the origin.  By subtracting
-   * @a state_delta from @a fragment_id, it is possible to calculate the message
-   * ID of the preceeding non-transient message and thus quickly traverse all
-   * state changes up to the last full state reset by the origin.  This is
-   * useful as it allows joining clients to quickly reassemble the state while
-   * skipping over transient messages (and doing so without having to trust
-   * intermediaries to do it right, as the indices in the chain are signed).  If
-   * the state chain is getting too long, the origin can choose to originate a
-   * state message with a state_delta of UINT64_MAX, thereby starting a new
-   * chain.  The origin will then have to re-create the full state with state
-   * update messages following the state reset message.
-   *
-   * Open question: needed in multicast, or just have this in PSYC; still might
-   * be useful for selective fetching of messages.  Still, that again should
-   * that not be done by PSYC?
-   */
-  uint64_t state_delta GNUNET_PACKED;
-
   /**
    * Flags for this message fragment.
    */
-  enum GNUNET_MULTICAST_MessageFlags flags GNUNET_PACKED;
-
-  /** 
-   * Header for the message body.
-   *
-   * Three message types are specifically understood by multicast, namely "peer
-   * join", "peer part", and "group terminated".  Multicast will use those
-   * messages to update its list of candidates for content distribution.  All
-   * other message types are application-specific.
-   */
-  struct GNUNET_MessageHeader body;
+  uint32_t flags GNUNET_PACKED;
 
   /* Followed by message body. */
 };
 
-
-/** 
- * Header of a request from a member to the origin.
- *
- * FIXME: this is going to be internal.
- */
-struct GNUNET_MULTICAST_RequestHeader
-{
-  /** 
-   * Header for all requests from a member to the origin.
-   */
-  struct GNUNET_MessageHeader header;
-
-  /**
-   * Public key of the group.
-   */
-  struct GNUNET_CRYPTO_ECCPublicKey pub_key;
-
-  /**
-   * Flags for this request.
-   */
-  enum GNUNET_MULTICAST_MessageFlags flags GNUNET_PACKED;
-
-  /** 
-   * Header for the request body.
-   *
-   * Two request types are specifically understood by multicast, namely "peer
-   * join", "peer part".  Multicast will use those messages to update its list
-   * of candidates for content distribution.  All other message types are
-   * application-specific.
-   */
-  struct GNUNET_MessageHeader body;
-
-  /* Followed by request body. */
-};
-
 GNUNET_NETWORK_STRUCT_END
 
 
-/** 
+/**
  * Handle that identifies a join request.
  *
  * Used to match calls to #GNUNET_MULTICAST_JoinCallback to the
- * corresponding calls to GNUNET_MULTICAST_join_decision().
+ * corresponding calls to #GNUNET_MULTICAST_join_decision().
  */
 struct GNUNET_MULTICAST_JoinHandle;
 
 
-/** 
+/**
  * Function to call with the decision made for a join request.
  *
  * Must be called once and only once in response to an invocation of the
  * #GNUNET_MULTICAST_JoinCallback.
  *
  * @param jh Join request handle.
- * @param join_response Message to send in response to the joining peer;
- *        can also be used to redirect the peer to a different group at the
- *        application layer; this response is to be transmitted to the
- *        peer that issued the request even if admission is denied.
  * @param is_admitted #GNUNET_YES if joining is approved,
  *        #GNUNET_NO if it is disapproved
  * @param relay_count Number of relays given.
@@ -295,86 +185,104 @@ struct GNUNET_MULTICAST_JoinHandle;
  *        be the multicast origin) is a good candidate for building the
  *        multicast tree.  Note that it is unnecessary to specify our own
  *        peer identity in this array.
+ * @param join_response Message to send in response to the joining peer;
+ *        can also be used to redirect the peer to a different group at the
+ *        application layer; this response is to be transmitted to the
+ *        peer that issued the request even if admission is denied.
  */
-void
+struct GNUNET_MULTICAST_ReplayHandle *
 GNUNET_MULTICAST_join_decision (struct GNUNET_MULTICAST_JoinHandle *jh,
-                                const struct GNUNET_MessageHeader *join_response,
                                 int is_admitted,
                                 unsigned int relay_count,
-                                const struct GNUNET_PeerIdentity *relays);
+                                const struct GNUNET_PeerIdentity *relays,
+                                const struct GNUNET_MessageHeader *join_response);
 
 
-/** 
+/**
  * Method called whenever another peer wants to join the multicast group.
  *
  * Implementations of this function must call GNUNET_MULTICAST_join_decision()
  * with the decision.
  *
  * @param cls Closure.
- * @param peer Identity of the peer that wants to join.
- * @param msg Application-dependent join message from the new user
+ * @param peer Identity of the member that wants to join.
+ * @param join_req Application-dependent join message from the new member
  *        (might, for example, contain a user,
  *        bind user identity/pseudonym to peer identity, application-level
  *        message to origin, etc.).
  * @param jh Join handle to pass to GNUNET_MULTICAST_join_decison().
  */
-typedef void (*GNUNET_MULTICAST_JoinCallback)(void *cls,
-                                              const struct GNUNET_PeerIdentity *peer,
-                                              const struct GNUNET_MessageHeader *msg,
-                                              struct GNUNET_MULTICAST_JoinHandle *jh);
+typedef void
+(*GNUNET_MULTICAST_JoinCallback) (void *cls,
+                                  const struct GNUNET_CRYPTO_EccPublicSignKey *member_key,
+                                  const struct GNUNET_MessageHeader *join_req,
+                                  struct GNUNET_MULTICAST_JoinHandle *jh);
 
 
-/** 
+/**
  * Handle to pass back for the answer of a membership test.
  */
 struct GNUNET_MULTICAST_MembershipTestHandle;
 
 
-/** 
- * Call informing multicast about the decision taken for membership test.
+/**
+ * Call informing multicast about the decision taken for membership test.
  *
  * @param mth Handle that was given for the query.
- * @param decision #GNUNET_YES if peer was a member, #GNUNET_NO if peer was not a member,
- *         #GNUNET_SYSERR if we cannot answer the membership test.
+ * @param result #GNUNET_YES if peer was a member, #GNUNET_NO if peer was not a member,
+ *        #GNUNET_SYSERR if we cannot answer the membership test.
  */
 void
-GNUNET_MULTICAST_membership_test_answer (struct GNUNET_MULTICAST_MembershipTestHandle *mth,
-                                         int decision);
+GNUNET_MULTICAST_membership_test_result (struct GNUNET_MULTICAST_MembershipTestHandle *mth,
+                                         int result);
 
 
-/** 
+/**
  * Method called to test if a member was in the group at a particular time.
  *
  * It is called when a replay request is received to determine if the requested
  * message can be replayed.
  *
  * @param cls Closure.
- * @param peer Identity of the peer that we want to test.
- * @param fragment_id Message fragment ID for which we want to do the test.
+ * @param member_key Identity of the member that we want to test.
+ * @param message_id Message ID for which to perform the test.
+ * @param group_generation Group generation of the message. It has relevance if
+ *        the message consists of multiple fragments with different group
+ *        generations.
  * @param mth Handle to give to GNUNET_MULTICAST_membership_test_answer().
  */
-typedef void (*GNUNET_MULTICAST_MembershipTestCallback)(void *cls,
-                                                        const struct GNUNET_PeerIdentity *peer,
-                                                        uint64_t fragment_id,
-                                                        struct GNUNET_MULTICAST_MembershipTestHandle *mth);
+typedef void
+(*GNUNET_MULTICAST_MembershipTestCallback) (void *cls,
+                                            const struct GNUNET_CRYPTO_EccPublicSignKey *member_key,
+                                            uint64_t message_id,
+                                            uint64_t group_generation,
+                                            struct GNUNET_MULTICAST_MembershipTestHandle *mth);
 
 
-/** 
+/**
  * Function called whenever a group member has transmitted a request
  * to the origin (other than joining or leaving).
  *
+ * FIXME: need to distinguish between origin cancelling a message (some fragments
+ * were sent, then the rest 'discarded') and the case where we got disconnected;
+ * right now, both would mean 'msg' is NULL, but they could be quite different...
+ * So the semantics from the receiver side of
+ * GNUNET_MULTICAST_member_to_origin_cancel() are not clear here.   Maybe we
+ * should do something with the flags in this case?
+ *
  * @param cls Closure (set from GNUNET_MULTICAST_origin_start).
  * @param sender Identity of the sender.
  * @param req Request to the origin.
  * @param flags Flags for the request.
  */
-typedef void (*GNUNET_MULTICAST_RequestCallback) (void *cls,
-                                                  const struct GNUNET_PeerIdentity *sender,
-                                                  const struct GNUNET_MessageHeader *req,
-                                                  enum GNUNET_MULTICAST_MessageFlags flags);
+typedef void
+(*GNUNET_MULTICAST_RequestCallback) (void *cls,
+                                     const struct GNUNET_CRYPTO_EccPublicSignKey *member_key,
+                                     const struct GNUNET_MessageHeader *req,
+                                     enum GNUNET_MULTICAST_MessageFlags flags);
 
 
-/** 
+/**
  * Function called whenever a group member is receiving a message fragment from
  * the origin.
  *
@@ -382,151 +290,279 @@ typedef void (*GNUNET_MULTICAST_RequestCallback) (void *cls,
  * response of the @e origin (as given to GNUNET_MULTICAST_join_decision()) and
  * then a second time with NULL to indicate that the connection failed for good.
  *
+ * FIXME: need to distinguish between origin cancelling a message (some fragments
+ * were sent, then the rest 'discarded') and the case where we got disconnected;
+ * right now, both would mean 'msg' is NULL, but they could be quite different...
+ * So the semantics from the receiver side of
+ * GNUNET_MULTICAST_origin_to_all_cancel() are not clear here.
+ *
  * @param cls Closure (set from GNUNET_MULTICAST_member_join())
  * @param msg Message from the origin, NULL if the origin shut down
  *        (or we were kicked out, and we should thus call
  *        GNUNET_MULTICAST_member_part() next)
  */
-typedef void (*GNUNET_MULTICAST_MessageCallback) (void *cls,
-                                                  const struct GNUNET_MULTICAST_MessageHeader *msg);
+typedef void
+(*GNUNET_MULTICAST_MessageCallback) (void *cls,
+                                     const struct GNUNET_MessageHeader *msg);
+
+
+/**
+ * Function called with the result of an asynchronous operation.
+ *
+ * @see GNUNET_MULTICAST_replay_fragment()
+ *
+ * @param result Result of the operation.
+ */
+typedef void
+(*GNUNET_MULTICAST_ResultCallback) (void *cls,
+                                    int result);
 
 
-/** 
+/**
  * Opaque handle to a replay request from the multicast service.
  */
 struct GNUNET_MULTICAST_ReplayHandle;
 
 
-/** 
+/**
  * Functions with this signature are called whenever the multicast service needs
- * a message to be replayed.
+ * a message fragment to be replayed by fragment_id.
  *
  * Implementations of this function MUST call GNUNET_MULTICAST_replay() ONCE
  * (with a message or an error); however, if the origin is destroyed or the
  * group is left, the replay handle must no longer be used.
  *
  * @param cls Closure (set from GNUNET_MULTICAST_origin_start()
- *            or GNUNET_MULTICAST_member_join()).
+ *        or GNUNET_MULTICAST_member_join()).
+ * @param member_key The member requesting replay.
  * @param fragment_id Which message fragment should be replayed.
+ * @param flags Flags for the replay.
+ * @param rh Handle to pass to message transmit function.
+ */
+typedef void
+(*GNUNET_MULTICAST_ReplayFragmentCallback) (void *cls,
+                                            const struct GNUNET_CRYPTO_EccPublicSignKey *member_key,
+                                            uint64_t fragment_id,
+                                            uint64_t flags,
+                                            struct GNUNET_MULTICAST_ReplayHandle *rh);
+
+/**
+ * Functions with this signature are called whenever the multicast service needs
+ * a message fragment to be replayed by message_id and fragment_offset.
+ *
+ * Implementations of this function MUST call GNUNET_MULTICAST_replay() ONCE
+ * (with a message or an error); however, if the origin is destroyed or the
+ * group is left, the replay handle must no longer be used.
+ *
+ * @param cls Closure (set from GNUNET_MULTICAST_origin_start()
+ *        or GNUNET_MULTICAST_member_join()).
+ * @param member_key The member requesting replay.
+ * @param message_id Which message should be replayed.
+ * @param fragment_offset Offset of the fragment within of @a message_id to be replayed.
+ * @param flags Flags for the replay.
  * @param rh Handle to pass to message transmit function.
  */
-typedef void (*GNUNET_MULTICAST_ReplayCallback) (void *cls,
-                                                 uint64_t fragment_id,
-                                                 struct GNUNET_MULTICAST_ReplayHandle *rh);
+typedef void
+(*GNUNET_MULTICAST_ReplayMessageCallback) (void *cls,
+                                           const struct GNUNET_CRYPTO_EccPublicSignKey *member_key,
+                                           uint64_t message_id,
+                                           uint64_t fragment_offset,
+                                           uint64_t flags,
+                                           struct GNUNET_MULTICAST_ReplayHandle *rh);
 
 
-/** 
+/**
  * Possible error codes during replay.
  */
 enum GNUNET_MULTICAST_ReplayErrorCode
 {
 
-  /** 
+  /**
    * Everything is fine.
    */
   GNUNET_MULTICAST_REC_OK = 0,
 
-  /** 
-   * Message fragment has been discarded (likely transient message that was too old).
+  /**
+   * Message fragment not found in the message store.
+   *
+   * Either discarded if it is too old, or not arrived yet if this member has
+   * missed some messages.
    */
-  GNUNET_MULTICAST_REC_TRANSIENT_LOST = 1,
+  GNUNET_MULTICAST_REC_NOT_FOUND = 1,
 
-  /** 
+  /**
    * Fragment ID counter was larger than the highest counter this
    * replay function has ever encountered; thus it is likely the
    * origin never sent it and we're at the HEAD of the multicast
    * stream as far as this node is concerned.
+   *
+   * FIXME: needed?
    */
   GNUNET_MULTICAST_REC_PAST_HEAD = 2,
 
-  /** 
+  /**
+   * Access is denied to the requested fragment, membership test did not pass.
+   */
+  GNUNET_MULTICAST_REC_ACCESS_DENIED = 3,
+
+  /**
    * Internal error (i.e. database error).  Try some other peer.
    */
-  GNUNET_MULTICAST_REC_INTERNAL_ERROR = 3
+  GNUNET_MULTICAST_REC_INTERNAL_ERROR = 4
 
 };
 
 
-/** 
- * Replay a message from the multicast group.
+/**
+ * Replay a message fragment for the multicast group.
  *
  * @param rh Replay handle identifying which replay operation was requested.
  * @param msg Replayed message fragment, NULL if unknown/error.
  * @param ec Error code.
  */
 void
-GNUNET_MULTICAST_replay (struct GNUNET_MULTICAST_ReplayHandle *rh,
-                         const struct GNUNET_MULTICAST_MessageHeader *msg,
-                         enum GNUNET_MULTICAST_ReplayErrorCode ec);
+GNUNET_MULTICAST_replay_response (struct GNUNET_MULTICAST_ReplayHandle *rh,
+                                  const struct GNUNET_MessageHeader *msg,
+                                  enum GNUNET_MULTICAST_ReplayErrorCode ec);
+
+
+/**
+ * Indicate the end of the replay session.
+ *
+ * Invalidates the replay handle.
+ *
+ * @param rh Replay session to end.
+ */
+void
+GNUNET_MULTICAST_replay_response_end (struct GNUNET_MULTICAST_ReplayHandle *rh);
+
+
+/**
+ * Function called to provide data for a transmission for a replay.
+ *
+ * @see GNUNET_MULTICAST_replay2()
+ */
+typedef int
+(*GNUNET_MULTICAST_ReplayTransmitNotify) (void *cls,
+                                          size_t *data_size,
+                                          void *data);
+
+
+/**
+ * Replay a message for the multicast group.
+ *
+ * @param rh Replay handle identifying which replay operation was requested.
+ * @param notify Function to call to get the message.
+ * @param notify_cls Closure for @a notify.
+ */
+void
+GNUNET_MULTICAST_replay_response2 (struct GNUNET_MULTICAST_ReplayHandle *rh,
+                                   GNUNET_MULTICAST_ReplayTransmitNotify notify,
+                                   void *notify_cls);
 
 
-/** 
+/**
  * Start a multicast group.
  *
  * Will advertise the origin in the P2P overlay network under the respective
  * public key so that other peer can find this peer to join it.  Peers that
  * issue GNUNET_MULTICAST_member_join() can then transmit a join request to
- * either an existing group member (if the @a join_policy is permissive) or to
- * the origin.  If the joining is approved, the member is cleared for @e replay
- * and will begin to receive messages transmitted to the group.  If joining is
- * disapproved, the failed candidate will be given a response.  Members in the
- * group can send messages to the origin (one at a time).
+ * either an existing group member or to the origin.  If the joining is
+ * approved, the member is cleared for @e replay and will begin to receive
+ * messages transmitted to the group.  If joining is disapproved, the failed
+ * candidate will be given a response.  Members in the group can send messages
+ * to the origin (one at a time).
  *
  * @param cfg Configuration to use.
- * @param cls Closure for the various callbacks that follow.
  * @param priv_key ECC key that will be used to sign messages for this
- *                 multicast session; public key is used to identify the
- *                 multicast group; FIXME: we'll likely want to use
- *                 NOT the p521 curve here, but a cheaper one in the future.
- * @param join_policy What is the membership policy of the group?
- * @param last_fragment_id Last fragment ID to continue counting fragments from
- *            when restarting the origin.  0 for a new group.
- * @param replay_cb Function that can be called to replay a message.
- * @param test_cb Function multicast can use to test group membership.
+ *        multicast session; public key is used to identify the multicast group;
+ * @param next_fragment_id Next fragment ID to continue counting fragments from
+ *        when restarting the origin.  1 for a new group.
  * @param join_cb Function called to approve / disapprove joining of a peer.
+ * @param mem_test_cb Function multicast can use to test group membership.
+ * @param replay_frag_cb Function that can be called to replay a message fragment.
+ * @param replay_msg_cb Function that can be called to replay a message.
  * @param request_cb Function called with message fragments from group members.
  * @param message_cb Function called with the message fragments sent to the
- *               network by GNUNET_MULTICAST_origin_to_all().  These message
- *               fragments should be stored for answering replay requests later.
+ *        network by GNUNET_MULTICAST_origin_to_all().  These message fragments
+ *        should be stored for answering replay requests later.
+ * @param cls Closure for the various callbacks that follow.
  * @return Handle for the origin, NULL on error.
  */
 struct GNUNET_MULTICAST_Origin *
 GNUNET_MULTICAST_origin_start (const struct GNUNET_CONFIGURATION_Handle *cfg,
-                               void *cls,
                                const struct GNUNET_CRYPTO_EccPrivateKey *priv_key,
-                               enum GNUNET_MULTICAST_JoinPolicy join_policy,
-                               uint64_t last_fragment_id,
-                               GNUNET_MULITCAST_ReplayCallback replay_cb,
-                               GNUNET_MULITCAST_MembershipTestCallback test_cb,
+                               uint64_t next_fragment_id,
                                GNUNET_MULTICAST_JoinCallback join_cb,
+                               GNUNET_MULTICAST_MembershipTestCallback mem_test_cb,
+                               GNUNET_MULTICAST_ReplayFragmentCallback replay_frag_cb,
+                               GNUNET_MULTICAST_ReplayMessageCallback replay_msg_cb,
                                GNUNET_MULTICAST_RequestCallback request_cb,
-                               GNUNET_MULTICAST_MessageCallback message_cb);
+                               GNUNET_MULTICAST_MessageCallback message_cb,
+                               void *cls);
+
+/**
+ * Function called to provide data for a transmission from the origin to all
+ * members.
+ *
+ * Note that returning #GNUNET_OK or #GNUNET_SYSERR (but not #GNUNET_NO)
+ * invalidates the respective transmission handle.
+ *
+ * @param cls Closure.
+ * @param[in,out] data_size Initially set to the number of bytes available in
+ *        @a data, should be set to the number of bytes written to data.
+ * @param[out] data Where to write the body of the message to give to the
+ *         method. The function must copy at most @a data_size bytes to @a data.
+ * @return #GNUNET_SYSERR on error (fatal, aborts transmission)
+ *         #GNUNET_NO on success, if more data is to be transmitted later.
+ *         Should be used if @a data_size was not big enough to take all the
+ *         data.  If 0 is returned in @a data_size the transmission is paused,
+ *         and can be resumed with GNUNET_MULTICAST_origin_to_all_resume().
+ *         #GNUNET_YES if this completes the transmission (all data supplied)
+ */
+typedef int
+(*GNUNET_MULTICAST_OriginTransmitNotify) (void *cls,
+                                          size_t *data_size,
+                                          void *data);
 
 
-/** 
+/**
  * Handle for a request to send a message to all multicast group members
  * (from the origin).
  */
 struct GNUNET_MULTICAST_OriginMessageHandle;
 
 
-/** 
+/**
  * Send a message to the multicast group.
  *
  * @param origin Handle to the multicast group.
- * @param size Number of bytes to transmit.
- * @param cb Function to call to get the message.
- * @param cb_cls Closure for @a cb.
+ * @param message_id Application layer ID for the message.  Opaque to multicast.
+ * @param group_generation Group generation of the message.  Documented in
+ *             GNUNET_MULTICAST_MessageHeader.
+ * @param notify Function to call to get the message.
+ * @param notify_cls Closure for @a notify.
  * @return NULL on error (i.e. request already pending).
  */
 struct GNUNET_MULTICAST_OriginMessageHandle *
 GNUNET_MULTICAST_origin_to_all (struct GNUNET_MULTICAST_Origin *origin,
-                                size_t size,
-                                GNUNET_CONNECTION_TransmitReadyNotify cb,
-                                void *cb_cls);
+                                uint64_t message_id,
+                                uint64_t group_generation,
+                                GNUNET_MULTICAST_OriginTransmitNotify notify,
+                                void *notify_cls);
+
 
 
-/** 
+/**
+ * Resume message transmission to multicast group.
+ *
+ * @param mh Request to cancel.
+ */
+void
+GNUNET_MULTICAST_origin_to_all_resume (struct GNUNET_MULTICAST_OriginMessageHandle *mh);
+
+
+/**
  * Cancel request for message transmission to multicast group.
  *
  * @param mh Request to cancel.
@@ -535,7 +571,7 @@ void
 GNUNET_MULTICAST_origin_to_all_cancel (struct GNUNET_MULTICAST_OriginMessageHandle *mh);
 
 
-/** 
+/**
  * Stop a multicast group.
  *
  * @param origin Multicast group to stop.
@@ -544,98 +580,128 @@ void
 GNUNET_MULTICAST_origin_stop (struct GNUNET_MULTICAST_Origin *origin);
 
 
-/** 
+/**
  * Join a multicast group.
  *
  * The entity joining is always the local peer.  Further information about the
- * candidate can be provided in the @a join_req message.  If the join fails, the
+ * candidate can be provided in the @a join_request message.  If the join fails, the
  * @a message_cb is invoked with a (failure) response and then with NULL.  If
  * the join succeeds, outstanding (state) messages and ongoing multicast
  * messages will be given to the @a message_cb until the member decides to part
- * the group.  The @a test_cb and @a replay_cb functions may be called at
+ * the group.  The @a mem_test_cb and @a replay_cb functions may be called at
  * anytime by the multicast service to support relaying messages to other
  * members of the group.
  *
  * @param cfg Configuration to use.
- * @param pub_key ECC key that identifies the group.
- * @param origin Peer identity of the origin.
- * @param max_known_fragment_id Largest known message fragment ID to the replay
- *        service; all messages with IDs larger than this ID will be replayed if
- *        possible (lower IDs will be considered known and thus only
- *        be replayed upon explicit request).
- * @param max_known_state_fragment_id Largest known message fragment ID with a
- *        non-zero value for the @e state_delta; state messages with
- *        larger IDs than this value will be replayed with high priority
- *        (lower IDs will be considered known and thus only
- *        be replayed upon explicit request).
- * @param replay_cb Function that can be called to replay messages
- *        this peer already knows from this group; NULL if this
+ * @param group_key ECC public key that identifies the group to join.
+ * @param member_key ECC key that identifies the member and used to sign
+ *        requests sent to the origin.
+ * @param origin Peer ID of the origin to send unicast requsets to.  If NULL,
+ *        unicast requests are sent back via multiple hops on the reverse path
+ *        of multicast messages.
+ * @param relay_count Number of peers in the @a relays array.
+ * @param relays Peer identities of members of the group, which serve as relays
+ *        and can be used to join the group at. and send the @a join_request to.
+ *        If empty, the @a join_request is sent directly to the @a origin.
+ * @param join_request  Application-dependent join request to be passed to the peer
+ *        @a relay (might, for example, contain a user, bind user
+ *        identity/pseudonym to peer identity, application-level message to
+ *        origin, etc.).
+ * @param join_cb Function called to approve / disapprove joining of a peer.
+ * @param mem_test_cb Function multicast can use to test group membership.
+ * @param replay_frag_cb Function that can be called to replay message fragments
+ *        this peer already knows from this group. NULL if this
+ *        client is unable to support replay.
+ * @param replay_msg_cb Function that can be called to replay message fragments
+ *        this peer already knows from this group. NULL if this
  *        client is unable to support replay.
- * @param test_cb Function multicast can use to test group membership.
  * @param message_cb Function to be called for all message fragments we
  *        receive from the group, excluding those our @a replay_cb
  *        already has.
  * @param cls Closure for callbacks.
- * @param join_req Application-dependent join message to be passed to origin
- *        (might, for example, contain a user
- *        bind user identity/pseudonym to peer identity, application-level
- *        message to origin, etc.).
  * @return Handle for the member, NULL on error.
  */
 struct GNUNET_MULTICAST_Member *
 GNUNET_MULTICAST_member_join (const struct GNUNET_CONFIGURATION_Handle *cfg,
-                              const struct GNUNET_CRYPTO_EccPublicKey *pub_key,
+                              const struct GNUNET_CRYPTO_EccPublicSignKey *group_key,
+                              const struct GNUNET_CRYPTO_EccPrivateKey *member_key,
                               const struct GNUNET_PeerIdentity *origin,
-                              uint64_t max_known_fragment_id,
-                              uint64_t max_known_state_fragment_id,
-                              GNUNET_MULTICAST_ReplayCallback replay_cb,
-                              GNUNET_MULITCAST_MembershipTestCallback test_cb,
+                              uint32_t relay_count,
+                              const struct GNUNET_PeerIdentity *relays,
+                              const struct GNUNET_MessageHeader *join_request,
+                              GNUNET_MULTICAST_JoinCallback join_cb,
+                              GNUNET_MULTICAST_MembershipTestCallback mem_test_cb,
+                              GNUNET_MULTICAST_ReplayFragmentCallback replay_frag_cb,
+                              GNUNET_MULTICAST_ReplayMessageCallback replay_msg_cb,
                               GNUNET_MULTICAST_MessageCallback message_cb,
-                              void *cls,
-                              const struct GNUNET_MessageHeader *join_req);
-
+                              void *cls);
 
-/** 
+/**
  * Handle for a replay request.
  */
 struct GNUNET_MULTICAST_MemberReplayHandle;
 
 
-/** 
- * Request a message to be replayed.
+/**
+ * Request a fragment to be replayed by fragment ID.
  *
- * Useful if messages below the @e max_known_*_id's given when joining are
+ * Useful if messages below the @e max_known_fragment_id given when joining are
  * needed and not known to the client.
  *
  * @param member Membership handle.
- * @param message_id ID of a message that this client would like to see replayed.
- * @param message_cb Function to be called for the replayed message.
- * @param message_cb_cls Closure for @a message_cb.
+ * @param fragment_id ID of a message fragment that this client would like to
+          see replayed.
+ * @param flags Additional flags for the replay request.  It is used and defined
+ *        by the replay callback.  FIXME: which replay callback? FIXME: use enum?
+ *        FIXME: why not pass reply cb here?
  * @return Replay request handle, NULL on error.
  */
 struct GNUNET_MULTICAST_MemberReplayHandle *
-GNUNET_MULTICAST_member_request_replay (struct GNUNET_MULTICAST_Member *member,
+GNUNET_MULTICAST_member_replay_fragment (struct GNUNET_MULTICAST_Member *member,
+                                         uint64_t fragment_id,
+                                         uint64_t flags);
+
+
+/**
+ * Request a message fr to be replayed.
+ *
+ * Useful if messages below the @e max_known_fragment_id given when joining are
+ * needed and not known to the client.
+ *
+ * @param member Membership handle.
+ * @param message_id ID of the message this client would like to see replayed.
+ * @param fragment_offset Offset of the fragment within the message to replay.
+ * @param flags Additional flags for the replay request.  It is used & defined
+ *        by the replay callback.
+ * @param result_cb Function to be called for the replayed message.
+ * @param result_cb_cls Closure for @a result_cb.
+ * @return Replay request handle, NULL on error.
+ */
+struct GNUNET_MULTICAST_MemberReplayHandle *
+GNUNET_MULTICAST_member_replay_message (struct GNUNET_MULTICAST_Member *member,
                                         uint64_t message_id,
-                                        GNUNET_MULTICAST_MessageCallback message_cb,
-                                        void *message_cb_cls);
+                                        uint64_t fragment_offset,
+                                        uint64_t flags,
+                                        GNUNET_MULTICAST_ResultCallback result_cb,
+                                        void *result_cb_cls);
 
 
-/** 
+/**
  * Cancel a replay request.
  *
  * @param rh Request to cancel.
  */
 void
-GNUNET_MULTICAST_member_request_replay_cancel (struct GNUNET_MULTICAST_MemberReplayHandle *rh);
+GNUNET_MULTICAST_member_replay_cancel (struct GNUNET_MULTICAST_MemberReplayHandle *rh);
 
 
-/** 
+/**
  * Part a multicast group.
  *
  * Disconnects from all group members and invalidates the @a member handle.
  *
  * An application-dependent part message can be transmitted beforehand using
- * GNUNET_MULTICAST_member_to_origin())
+ * #GNUNET_MULTICAST_member_to_origin())
  *
  * @param member Membership handle.
  */
@@ -643,75 +709,68 @@ void
 GNUNET_MULTICAST_member_part (struct GNUNET_MULTICAST_Member *member);
 
 
-/** 
+/**
+ * Function called to provide data for a transmission from a member to the origin.
+ *
+ * Note that returning #GNUNET_OK or #GNUNET_SYSERR (but not #GNUNET_NO)
+ * invalidates the respective transmission handle.
+ *
+ * @param cls Closure.
+ * @param[in,out] data_size Initially set to the number of bytes available in
+ *        @a data, should be set to the number of bytes written to data.
+ * @param[out] data Where to write the body of the message to give to the
+ *         method. The function must copy at most @a data_size bytes to @a data.
+ * @return #GNUNET_SYSERR on error (fatal, aborts transmission)
+ *         #GNUNET_NO on success, if more data is to be transmitted later.
+ *         Should be used if @a data_size was not big enough to take all the
+ *         data.  If 0 is returned in @a data_size the transmission is paused,
+ *         and can be resumed with GNUNET_MULTICAST_member_to_origin_resume().
+ *         #GNUNET_YES if this completes the transmission (all data supplied)
+ */
+typedef int
+(*GNUNET_MULTICAST_MemberTransmitNotify) (void *cls,
+                                          size_t *data_size,
+                                          void *data);
+
+
+/**
  * Handle for a message to be delivered from a member to the origin.
  */
 struct GNUNET_MULTICAST_MemberRequestHandle;
 
 
-/** 
+/**
  * Send a message to the origin of the multicast group.
- * 
+ *
  * @param member Membership handle.
- * @param size Number of bytes we want to send to origin.
- * @param cb Callback to call to get the message.
- * @param cb_cls Closure for @a cb.
+ * @param message_id Application layer ID for the message.  Opaque to multicast.
+ * @param notify Callback to call to get the message.
+ * @param notify_cls Closure for @a notify.
  * @return Handle to cancel request, NULL on error (i.e. request already pending).
  */
 struct GNUNET_MULTICAST_MemberRequestHandle *
 GNUNET_MULTICAST_member_to_origin (struct GNUNET_MULTICAST_Member *member,
-                                   size_t size,
-                                   GNUNET_CONNECTION_TransmitReadyNotify cb,
-                                   void *cb_cls);
+                                   uint64_t message_id,
+                                   GNUNET_MULTICAST_MemberTransmitNotify notify,
+                                   void *notify_cls);
 
 
-/** 
- * Cancel request for message transmission to origin.
+/**
+ * Resume message transmission to origin.
  *
  * @param rh Request to cancel.
  */
 void
-GNUNET_MULTICAST_member_to_origin_cancel (struct GNUNET_MULTICAST_MemberRequestHandle *rh);
-
-
-/** 
- * Handle to access multicast group operations for both the origin and members.
- */
-struct GNUNET_MULTICAST_Group;
-
-
-/** 
- * Convert a group @a origin to a @e group handle to access the @e group APIs.
- *
- * @param origin Group origin handle.
- * @return Group handle, valid for as long as @a origin is valid.
- */
-struct GNUNET_MULTICAST_Group *
-GNUNET_MULTICAST_origin_get_group (struct GNUNET_MULTICAST_Origin *origin);
-
-
-/** 
- * Convert @a member to a @e group handle to access the @e group APIs.
- *
- * @param member Member handle.
- * @return Group handle, valid for as long as @a member is valid.
- */
-struct GNUNET_MULTICAST_Group *
-GNUNET_MULTICAST_member_get_group (struct GNUNET_MULTICAST_Member *member);
+GNUNET_MULTICAST_member_to_origin_resume (struct GNUNET_MULTICAST_MemberRequestHandle *rh);
 
 
 /**
- * Remove a peer from the group.
+ * Cancel request for message transmission to origin.
  *
- * After a message was received notifying about a leaving member, remove the
- * member from the multicast group.  Fragments with a greater @a message_id than
- * the specified one won't be transmitted to the member anymore, but the
- * transmission of lower or equal ones will still be performed.
+ * @param rh Request to cancel.
  */
 void
-GNUNET_MULTICAST_group_member_remove (struct GNUNET_MULTICAST_Group *group,
-                                      const struct GNUNET_PeerIdentity *peer,
-                                      uint64_t message_id);
+GNUNET_MULTICAST_member_to_origin_cancel (struct GNUNET_MULTICAST_MemberRequestHandle *rh);
 
 
 #if 0                           /* keep Emacsens' auto-indent happy */