-more datacache integration work
[oweals/gnunet.git] / src / testbed / gnunet-service-testbed.h
index 7d399458186bbcecf23b5dbb42221cdfc1da1ae7..b6300aeb93325b3e0e760259f7f814824d09a9ec 100644 (file)
@@ -1,10 +1,10 @@
 /*
   This file is part of GNUnet.
-  (C) 2012 Christian Grothoff (and other contributing authors)
+  Copyright (C) 2008--2013 Christian Grothoff (and other contributing authors)
 
   GNUnet is free software; you can redistribute it and/or modify
   it under the terms of the GNU General Public License as published
-  by the Free Software Foundation; either version 2, or (at your
+  by the Free Software Foundation; either version 3, or (at your
   option) any later version.
 
   GNUnet is distributed in the hope that it will be useful, but
@@ -35,6 +35,7 @@
 #include "testbed_api_operations.h"
 #include "testbed_api_hosts.h"
 #include "gnunet_testing_lib.h"
+#include "gnunet-service-testbed_links.h"
 
 
 /**
  */
 #define LIST_GROW_STEP 10
 
-/**
- * Default timeout for operations which may take some time
- */
-#define TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 15)
-
 
 /**
  * A routing entry
@@ -91,7 +87,7 @@ struct ForwardedOperationContext
    * The prev pointer for DLL
    */
   struct ForwardedOperationContext *prev;
-  
+
   /**
    * The generated operation context
    */
@@ -110,7 +106,7 @@ struct ForwardedOperationContext
   /**
    * Task ID for the timeout task
    */
-  GNUNET_SCHEDULER_TaskIdentifier timeout_task;
+  struct GNUNET_SCHEDULER_Task * timeout_task;
 
   /**
    * The id of the operation that has been forwarded
@@ -175,67 +171,13 @@ struct LinkControllersContext
 };
 
 
-/**
- * Structure representing a connected(directly-linked) controller
- */
-struct Slave
-{
-  /**
-   * The controller process handle if we had started the controller
-   */
-  struct GNUNET_TESTBED_ControllerProc *controller_proc;
-
-  /**
-   * The controller handle
-   */
-  struct GNUNET_TESTBED_Controller *controller;
-
-  /**
-   * The configuration of the slave. Cannot be NULL
-   */
-  struct GNUNET_CONFIGURATION_Handle *cfg;
-
-  /**
-   * handle to lcc which is associated with this slave startup. Should be set to
-   * NULL when the slave has successfully started up
-   */
-  struct LinkControllersContext *lcc;
-
-  /**
-   * Head of the host registration DLL
-   */
-  struct HostRegistration *hr_dll_head;
-
-  /**
-   * Tail of the host registration DLL
-   */
-  struct HostRegistration *hr_dll_tail;
-
-  /**
-   * The current host registration handle
-   */
-  struct GNUNET_TESTBED_HostRegistrationHandle *rhandle;
-
-  /**
-   * Hashmap to hold Registered host contexts
-   */
-  struct GNUNET_CONTAINER_MultiHashMap *reghost_map;
-
-  /**
-   * The id of the host this controller is running on
-   */
-  uint32_t host_id;
-
-};
-
-
 /**
  * A peer
  */
 
 struct Peer
 {
-  
+
   union
   {
     struct
@@ -250,7 +192,7 @@ struct Peer
        * peer is configured with
        */
       struct GNUNET_CONFIGURATION_Handle *cfg;
-      
+
       /**
        * Is the peer running
        */
@@ -324,7 +266,7 @@ struct Context
    * The TESTING system handle for starting peers locally
    */
   struct GNUNET_TESTING_System *system;
-  
+
   /**
    * Our host id according to this context
    */
@@ -375,6 +317,11 @@ struct ForwardedOverlayConnectContext
    */
   struct GNUNET_MessageHeader *orig_msg;
 
+  /**
+   * The client handle
+   */
+  struct GNUNET_SERVER_Client *client;
+
   /**
    * The id of the operation which created this context information
    */
@@ -384,12 +331,12 @@ struct ForwardedOverlayConnectContext
    * the id of peer 1
    */
   uint32_t peer1;
-  
+
   /**
    * The id of peer 2
    */
   uint32_t peer2;
-  
+
   /**
    * Id of the host where peer2 is running
    */
@@ -413,26 +360,6 @@ struct RegisteredHostContext
    */
   struct GNUNET_TESTBED_Host *host;
 
-  /**
-   * The gateway to which this operation is forwarded to
-   */
-  struct Slave *gateway;
-
-  /**
-   * The gateway through which peer2's controller can be reached
-   */
-  struct Slave *gateway2;
-
-  /**
-   * Handle for sub-operations
-   */
-  struct GNUNET_TESTBED_Operation *sub_op;
-
-  /**
-   * The client which initiated the link controller operation
-   */
-  struct GNUNET_SERVER_Client *client;
-
   /**
    * Head of the ForwardedOverlayConnectContext DLL
    */
@@ -442,138 +369,50 @@ struct RegisteredHostContext
    * Tail of the ForwardedOverlayConnectContext DLL
    */
   struct ForwardedOverlayConnectContext *focc_dll_tail;
-  
+
   /**
    * Enumeration of states for this context
    */
-  enum RHCState {
+  enum RHCState
+  {
 
     /**
      * The initial state
      */
     RHC_INIT = 0,
 
-    /**
-     * State where we attempt to get peer2's controller configuration
-     */
-    RHC_GET_CFG,
-
-    /**
-     * State where we attempt to link the controller of peer 1 to the controller
-     * of peer2
-     */
-    RHC_LINK,
-
     /**
      * State where we attempt to do the overlay connection again
      */
-    RHC_OL_CONNECT
-    
+    RHC_DONE
   } state;
 
 };
 
 
 /**
- * States of LCFContext
+ * Context data for GNUNET_MESSAGE_TYPE_TESTBED_SHUTDOWN_PEERS handler
  */
-enum LCFContextState
+struct HandlerContext_ShutdownPeers
 {
   /**
-   * The Context has been initialized; Nothing has been done on it
+   * The number of slave we expect to hear from since we forwarded the
+   * GNUNET_MESSAGE_TYPE_TESTBED_SHUTDOWN_PEERS message to them
    */
-  INIT,
+  unsigned int nslaves;
 
   /**
-   * Delegated host has been registered at the forwarding controller
+   * Did we observe a timeout with respect to this operation at any of the
+   * slaves
    */
-  DELEGATED_HOST_REGISTERED,
-  
-  /**
-   * The slave host has been registred at the forwarding controller
-   */
-  SLAVE_HOST_REGISTERED,
-  
-  /**
-   * The context has been finished (may have error)
-   */
-  FINISHED
+  int timeout;
 };
 
 
-/**
- * Link controllers request forwarding context
- */
-struct LCFContext
-{
-  /**
-   * The gateway which will pass the link message to delegated host
-   */
-  struct Slave *gateway;
-
-  /**
-   * The controller link message that has to be forwarded to
-   */
-  struct GNUNET_TESTBED_ControllerLinkMessage *msg;
-
-  /**
-   * The client which has asked to perform this operation
-   */
-  struct GNUNET_SERVER_Client *client;
-
-  /**
-   * Handle for operations which are forwarded while linking controllers
-   */
-  struct ForwardedOperationContext *fopc;
-
-  /**
-   * The id of the operation which created this context
-   */
-  uint64_t operation_id;
-
-  /**
-   * The state of this context
-   */
-  enum LCFContextState state;
-
-  /**
-   * The delegated host
-   */
-  uint32_t delegated_host_id;
-
-  /**
-   * The slave host
-   */
-  uint32_t slave_host_id;
-
-};
-
-
-/**
- * Structure of a queue entry in LCFContext request queue
- */
-struct LCFContextQueue
-{
-  /**
-   * The LCFContext
-   */
-  struct LCFContext *lcf;
-
-  /**
-   * Head prt for DLL
-   */
-  struct LCFContextQueue *next;
-
-  /**
-   * Tail ptr for DLL
-   */
-  struct LCFContextQueue *prev;
-};
-
 /**
  * Our configuration
  */
-struct GNUNET_CONFIGURATION_Handle *our_config;
+extern struct GNUNET_CONFIGURATION_Handle *GST_config;
 
 /**
  * The master context; generated with the first INIT message
@@ -601,81 +440,97 @@ extern struct Peer **GST_peer_list;
 extern struct GNUNET_TESTBED_Host **GST_host_list;
 
 /**
- * A list of directly linked neighbours
+ * Operation queue for open file descriptors
+ */
+extern struct OperationQueue *GST_opq_openfds;
+
+/**
+ * Timeout for operations which may take some time
  */
-extern struct Slave **GST_slave_list;
+const extern struct GNUNET_TIME_Relative GST_timeout;
 
 /**
  * The size of the peer list
  */
 extern unsigned int GST_peer_list_size;
 
+/**
+ * The current number of peers running locally under this controller
+ */
+extern unsigned int GST_num_local_peers;
+
 /**
  * The size of the host list
  */
 extern unsigned int GST_host_list_size;
 
 /**
- * The size of directly linked neighbours list
+ * The directory where to store load statistics data
  */
-extern unsigned int GST_slave_list_size;
-
+extern char *GST_stats_dir;
 
 /**
- * Queues a message in send queue for sending to the service
- *
- * @param client the client to whom the queued message has to be sent
- * @param msg the message to queue
+ * Condition to check if host id is valid
  */
-void
-GST_queue_message (struct GNUNET_SERVER_Client *client,
-                       struct GNUNET_MessageHeader *msg);
-
+#define VALID_HOST_ID(id) \
+  ( ((id) < GST_host_list_size) && (NULL != GST_host_list[id]) )
 
 /**
- * Function to destroy a peer
- *
- * @param peer the peer structure to destroy
+ * Condition to check if peer id is valid
  */
-void
-GST_destroy_peer (struct Peer *peer);
+#define VALID_PEER_ID(id) \
+  ( ((id) < GST_peer_list_size) && (NULL != GST_peer_list[id]) )
 
 
 /**
- * Looks up in the hello cache and returns the HELLO of the given peer
+ * Similar to GNUNET_array_grow(); however instead of calling GNUNET_array_grow()
+ * several times we call it only once. The array is also made to grow in steps
+ * of LIST_GROW_STEP.
  *
- * @param id the peer identity of the peer whose HELLO has to be looked up
- * @return the HELLO message; NULL if not found
- */
-const struct GNUNET_MessageHeader *
-GST_hello_cache_lookup (const struct GNUNET_PeerIdentity *id);
+ * @param ptr the array pointer to grow
+ * @param size the size of array
+ * @param accommodate_size the size which the array has to accommdate; after
+ *          this call the array will be big enough to accommdate sizes upto
+ *          accommodate_size
+ */
+#define GST_array_grow_large_enough(ptr, size, accommodate_size) \
+  do                                                                    \
+  {                                                                     \
+    unsigned int growth_size;                                           \
+    GNUNET_assert (size <= accommodate_size);                            \
+    growth_size = size;                                                 \
+    while (growth_size <= accommodate_size)                             \
+      growth_size += LIST_GROW_STEP;                                    \
+    GNUNET_array_grow (ptr, size, growth_size);                         \
+    GNUNET_assert (size > accommodate_size);                            \
+  } while (0)
+
 
 /**
- * Caches the HELLO of the given peer. Updates the HELLO if it was already
- * cached before
+ * Queues a message in send queue for sending to the service
  *
- * @param id the peer identity of the peer whose HELLO has to be cached
- * @param hello the HELLO message
+ * @param client the client to whom the queued message has to be sent
+ * @param msg the message to queue
  */
 void
-GST_hello_cache_add (const struct GNUNET_PeerIdentity *id,
-                         const struct GNUNET_MessageHeader *hello);
+GST_queue_message (struct GNUNET_SERVER_Client *client,
+                   struct GNUNET_MessageHeader *msg);
 
 
 /**
- * Initializes the cache
+ * Function to destroy a peer
  *
- * @param size the size of the cache
+ * @param peer the peer structure to destroy
  */
 void
-GST_cache_init (unsigned int size);
+GST_destroy_peer (struct Peer *peer);
 
 
 /**
- * Clear cache
+ * Stops and destroys all peers
  */
 void
-GST_cache_clear ();
+GST_destroy_peers ();
 
 
 /**
@@ -699,23 +554,22 @@ GST_find_dest_route (uint32_t host_id);
  */
 void
 GST_handle_overlay_connect (void *cls, struct GNUNET_SERVER_Client *client,
-                                const struct GNUNET_MessageHeader *message);
+                            const struct GNUNET_MessageHeader *message);
 
 
 /**
  * Adds a host registration's request to a slave's registration queue
  *
  * @param slave the slave controller at which the given host has to be
- *          registered 
+ *          registered
  * @param cb the host registration completion callback
  * @param cb_cls the closure for the host registration completion callback
  * @param host the host which has to be registered
  */
 void
 GST_queue_host_registration (struct Slave *slave,
-                                 GNUNET_TESTBED_HostRegistrationCompletion cb,
-                                 void *cb_cls,
-                                 struct GNUNET_TESTBED_Host *host);
+                             GNUNET_TESTBED_HostRegistrationCompletion cb,
+                             void *cb_cls, struct GNUNET_TESTBED_Host *host);
 
 
 /**
@@ -726,7 +580,7 @@ GST_queue_host_registration (struct Slave *slave,
  */
 void
 GST_forwarded_operation_reply_relay (void *cls,
-                                         const struct GNUNET_MessageHeader *msg);
+                                     const struct GNUNET_MessageHeader *msg);
 
 
 /**
@@ -737,7 +591,14 @@ GST_forwarded_operation_reply_relay (void *cls,
  */
 void
 GST_forwarded_operation_timeout (void *cls,
-                                     const struct GNUNET_SCHEDULER_TaskContext *tc);
+                                 const struct GNUNET_SCHEDULER_TaskContext *tc);
+
+
+/**
+ * Clears the forwarded operations queue
+ */
+void
+GST_clear_fopcq ();
 
 
 /**
@@ -749,7 +610,18 @@ GST_forwarded_operation_timeout (void *cls,
  */
 void
 GST_send_operation_fail_msg (struct GNUNET_SERVER_Client *client,
-                                 uint64_t operation_id, const char *emsg);
+                             uint64_t operation_id, const char *emsg);
+
+
+/**
+ * Function to send generic operation success message to given client
+ *
+ * @param client the client to send the message to
+ * @param operation_id the id of the operation which was successful
+ */
+void
+GST_send_operation_success_msg (struct GNUNET_SERVER_Client *client,
+                                uint64_t operation_id);
 
 
 /**
@@ -760,10 +632,128 @@ GST_send_operation_fail_msg (struct GNUNET_SERVER_Client *client,
  * @param message the actual message
  */
 void
-GST_handle_overlay_request_connect (void *cls,
-                                        struct GNUNET_SERVER_Client *client, 
-                                        const struct GNUNET_MessageHeader
-                                        *message);
+GST_handle_remote_overlay_connect (void *cls,
+                                   struct GNUNET_SERVER_Client *client,
+                                   const struct GNUNET_MessageHeader *message);
+
+
+/**
+ * Handler for GNUNET_MESSAGE_TYPE_TESTBED_CREATEPEER messages
+ *
+ * @param cls NULL
+ * @param client identification of the client
+ * @param message the actual message
+ */
+void
+GST_handle_peer_create (void *cls, struct GNUNET_SERVER_Client *client,
+                        const struct GNUNET_MessageHeader *message);
+
+
+/**
+ * Message handler for GNUNET_MESSAGE_TYPE_TESTBED_DESTROYPEER messages
+ *
+ * @param cls NULL
+ * @param client identification of the client
+ * @param message the actual message
+ */
+void
+GST_handle_peer_destroy (void *cls, struct GNUNET_SERVER_Client *client,
+                         const struct GNUNET_MessageHeader *message);
+
+
+/**
+ * Message handler for GNUNET_MESSAGE_TYPE_TESTBED_DESTROYPEER messages
+ *
+ * @param cls NULL
+ * @param client identification of the client
+ * @param message the actual message
+ */
+void
+GST_handle_peer_start (void *cls, struct GNUNET_SERVER_Client *client,
+                       const struct GNUNET_MessageHeader *message);
+
+
+/**
+ * Message handler for GNUNET_MESSAGE_TYPE_TESTBED_DESTROYPEER messages
+ *
+ * @param cls NULL
+ * @param client identification of the client
+ * @param message the actual message
+ */
+void
+GST_handle_peer_stop (void *cls, struct GNUNET_SERVER_Client *client,
+                      const struct GNUNET_MessageHeader *message);
+
+
+/**
+ * Handler for GNUNET_MESSAGE_TYPE_TESTBED_GETPEERCONFIG messages
+ *
+ * @param cls NULL
+ * @param client identification of the client
+ * @param message the actual message
+ */
+void
+GST_handle_peer_get_config (void *cls, struct GNUNET_SERVER_Client *client,
+                            const struct GNUNET_MessageHeader *message);
+
+
+/**
+ * Handler for GNUNET_MESSAGE_TYPE_TESTBED_SHUTDOWN_PEERS messages
+ *
+ * @param cls NULL
+ * @param client identification of the client
+ * @param message the actual message
+ */
+void
+GST_handle_shutdown_peers (void *cls, struct GNUNET_SERVER_Client *client,
+                           const struct GNUNET_MessageHeader *message);
+
+
+/**
+ * Handler for GNUNET_TESTBED_ManagePeerServiceMessage message
+ *
+ * @param cls NULL
+ * @param client identification of client
+ * @param message the actual message
+ */
+void
+GST_handle_manage_peer_service (void *cls, struct GNUNET_SERVER_Client *client,
+                                const struct GNUNET_MessageHeader *message);
+
+
+/**
+ * Handler for GNUNET_MESSAGE_TYPDE_TESTBED_RECONFIGURE_PEER type messages.
+ * Should stop the peer asyncronously, destroy it and create it again with the
+ * new configuration.
+ *
+ * @param cls NULL
+ * @param client identification of the client
+ * @param message the actual message
+ */
+void
+GST_handle_peer_reconfigure (void *cls, struct GNUNET_SERVER_Client *client,
+                             const struct GNUNET_MessageHeader *message);
+
+
+/**
+ * Frees the ManageServiceContext queue
+ */
+void
+GST_free_mctxq ();
+
+
+/**
+ * Cleans up the queue used for forwarding link controllers requests
+ */
+void
+GST_free_lcfq ();
+
+
+/**
+ * Cleans up the route list
+ */
+void
+GST_route_list_clear ();
 
 
 /**
@@ -798,5 +788,64 @@ void
 GST_free_roccq ();
 
 
+/**
+ * Cleans up the Peer reconfigure context list
+ */
+void
+GST_free_prcq ();
+
+
+/**
+ * Initializes the cache
+ *
+ * @param size the size of the cache
+ */
+void
+GST_cache_init (unsigned int size);
+
+
+/**
+ * Clear cache
+ */
+void
+GST_cache_clear ();
+
+
+/**
+ * Looks up in the hello cache and returns the HELLO of the given peer
+ *
+ * @param peer_id the index of the peer whose HELLO has to be looked up
+ * @return the HELLO message; NULL if not found
+ */
+const struct GNUNET_MessageHeader *
+GST_cache_lookup_hello (const unsigned int peer_id);
+
+
+/**
+ * Caches the HELLO of the given peer. Updates the HELLO if it was already
+ * cached before
+ *
+ * @param peer_id the peer identity of the peer whose HELLO has to be cached
+ * @param hello the HELLO message
+ */
+void
+GST_cache_add_hello (const unsigned int peer_id,
+                     const struct GNUNET_MessageHeader *hello);
+
+
+/**
+ * Initialize logging CPU and IO statisticfs.  Checks the configuration for
+ * "STATS_DIR" and logs to a file in that directory.  The file is name is
+ * generated from the hostname and the process's PID.
+ */
+void
+GST_stats_init (const struct GNUNET_CONFIGURATION_Handle *cfg);
+
+
+/**
+ * Shutdown the status calls module.
+ */
+void
+GST_stats_destroy ();
 
 /* End of gnunet-service-testbed.h */