-need to do mkdir before testing UNIXPATH, not sure how this worked before
[oweals/gnunet.git] / src / ats / libgnunet_plugin_ats_ril.c
index 5f03d17d7386b02f4c1ff2a5f45ff62b5fbc1e73..2a35007f3b175161afdd3a894d2a677f0b549544 100755 (executable)
@@ -151,7 +151,7 @@ struct RIL_Peer_Agent
   /**
    * Whether the agent is active or not
    */
-  int active; //TODO? rename into something better. It reflects the state whether get_preferred_address() has been called for the according peer or not
+  int active;
 
   /**
    * Number of performed time-steps
@@ -301,6 +301,7 @@ struct GAS_RIL_Handle
 
 /**
  * Estimate the current action-value for state s and action a
+ *
  * @param agent agent performing the estimation
  * @param state s
  * @param action a
@@ -323,6 +324,7 @@ agent_estimate_q (struct RIL_Peer_Agent *agent, double *state, int action)
 /**
  * Decide whether to do exploration (i.e. taking a new action) or exploitation (i.e. taking the
  * currently estimated best action) in the current step
+ *
  * @param agent agent performing the step
  * @return yes, if exploring
  */
@@ -345,6 +347,7 @@ if  (r < RIL_EXPLORE_RATIO)
 
   /**
    * Get the index of the address in the agent's list.
+   *
    * @param agent agent handle
    * @param address address handle
    * @return the index, starting with zero
@@ -370,6 +373,7 @@ agent_address_get_index (struct RIL_Peer_Agent *agent, struct ATS_Address *addre
 
 /**
  * Gets the wrapped address from the agent's list
+ *
  * @param agent agent handle
  * @param address address handle
  * @return wrapped address
@@ -393,6 +397,7 @@ agent_address_get (struct RIL_Peer_Agent *agent, struct ATS_Address *address)
 /**
  * Gets the action, with the maximal estimated Q-value (i.e. the one currently estimated to bring the
  * most reward in the future)
+ *
  * @param agent agent performing the calculation
  * @param state the state from which to take the action
  * @return the action promising most future reward
@@ -422,6 +427,7 @@ agent_get_action_best (struct RIL_Peer_Agent *agent, double *state)
 
 /**
  * Gets any action, to explore the action space from that state
+ *
  * @param agent agent performing the calculation
  * @param state the state from which to take the action
  * @return any action
@@ -435,6 +441,7 @@ agent_get_action_explore (struct RIL_Peer_Agent *agent, double *state)
 
 /**
  * Updates the weights (i.e. coefficients) of the weight vector in matrix W for action a
+ *
  * @param agent the agent performing the update
  * @param reward the reward received for the last action
  * @param s_next the new state, the last step got the agent into
@@ -461,8 +468,9 @@ agent_update_weights (struct RIL_Peer_Agent *agent, double reward, double *s_nex
  * RIL_E_REPLACE - resets each component to 1 as in replacing traces
  * RIL_E_SET - multiplies e with gamma and lambda as in the update rule
  * RIL_E_ZERO - sets e to 0 as in Watkin's Q-learning algorithm when exploring and when initializing
- * @param agent
- * @param mod
+ *
+ * @param agent the agent handle
+ * @param mod the kind of modification
  */
 static void
 agent_modify_eligibility (struct RIL_Peer_Agent *agent, enum RIL_E_Modification mod)
@@ -494,7 +502,8 @@ agent_modify_eligibility (struct RIL_Peer_Agent *agent, enum RIL_E_Modification
 
 /**
  * Changes the active assignment suggestion of the handler and invokes the bw_changed callback to
- * notify ATS of its new decision.
+ * notify ATS of its new decision
+ *
  * @param solver solver handle
  * @param agent agent handle
  * @param new_address the address which is to be used
@@ -563,7 +572,7 @@ envi_set_active_suggestion (struct GAS_RIL_Handle *solver,
       solver->plugin_envi->bandwidth_changed_cb (solver->plugin_envi->bw_changed_cb_cls,
           new_address);
     }
-    else
+    else if (agent->address_inuse)
     {
       GNUNET_assert(0 == ntohl (agent->address_inuse->assigned_bw_in.value__));
       GNUNET_assert(0 == ntohl (agent->address_inuse->assigned_bw_out.value__));
@@ -579,6 +588,7 @@ envi_set_active_suggestion (struct GAS_RIL_Handle *solver,
 
 /**
  * Allocates a state vector and fills it with the features present
+ *
  * @param solver the solver handle
  * @return pointer to the state vector
  */
@@ -622,6 +632,7 @@ envi_get_state (struct GAS_RIL_Handle *solver, struct RIL_Peer_Agent *agent)
 /**
  * For all networks a peer has an address in, this gets the maximum bandwidth which could
  * theoretically be available in one of the networks. This is used for bandwidth normalization.
+ *
  * @param solver the solver handle
  * @param agent the agent handle
  * @param direction_in whether the inbound bandwidth should be considered. Returns the maximum outbound bandwidth if GNUNET_NO
@@ -660,6 +671,7 @@ ril_get_max_bw (struct RIL_Peer_Agent *agent, int direction_in)
 
 /**
  * Get the index of the quality-property in question
+ *
  * @param type the quality property type
  * @return the index
  */
@@ -675,7 +687,8 @@ ril_find_property_index (uint32_t type)
 }
 
 /**
- * Gets the reward of the last performed step
+ * Gets the reward for the last performed step
+ *
  * @param solver solver handle
  * @return the reward
  */
@@ -683,7 +696,8 @@ static double
 envi_get_reward (struct GAS_RIL_Handle *solver, struct RIL_Peer_Agent *agent)
 {
   /*
-   * Match the preferences of the peer with the current assignment.
+   * - Match the preferences of the peer with the current assignment
+   * - Validity of the solution
    */
   const double *preferences;
   const double *properties;
@@ -697,7 +711,7 @@ envi_get_reward (struct GAS_RIL_Handle *solver, struct RIL_Peer_Agent *agent)
   properties = solver->plugin_envi->get_property (solver->plugin_envi->get_property_cls,
       agent->address_inuse);
   prop_index = ril_find_property_index (GNUNET_ATS_QUALITY_NET_DELAY);
-  pref_match += preferences[GNUNET_ATS_PREFERENCE_LATENCY] * properties[prop_index];
+  pref_match += preferences[GNUNET_ATS_PREFERENCE_LATENCY] * (3 - properties[prop_index]); //invert property as we want to maximize for lower latencies
   bw_norm = GNUNET_MAX(2, (((
                   ((double) agent->bw_in / (double) ril_get_max_bw(agent, GNUNET_YES)) +
                   ((double) agent->bw_out / (double) ril_get_max_bw(agent, GNUNET_NO))
@@ -706,7 +720,7 @@ envi_get_reward (struct GAS_RIL_Handle *solver, struct RIL_Peer_Agent *agent)
   pref_match += preferences[GNUNET_ATS_PREFERENCE_BANDWIDTH] * bw_norm;
 
   net = agent->address_inuse->solver_information;
-  if ((net->bw_in_assigned > net->bw_in_available) || net->bw_out_assigned > net->bw_out_available)
+  if ((net->bw_in_assigned > net->bw_in_available) || (net->bw_out_assigned > net->bw_out_available))
   {
     return -1;
   }
@@ -716,6 +730,7 @@ envi_get_reward (struct GAS_RIL_Handle *solver, struct RIL_Peer_Agent *agent)
 
 /**
  * Doubles the bandwidth for the active address
+ *
  * @param solver solver handle
  * @param agent agent handle
  * @param direction_in if GNUNET_YES, change inbound bandwidth, otherwise the outbound bandwidth
@@ -740,6 +755,7 @@ envi_action_bw_double (struct GAS_RIL_Handle *solver,
 /**
  * Cuts the bandwidth for the active address in half. The least amount of bandwidth suggested, is
  * the minimum bandwidth for a peer, in order to not invoke a disconnect.
+ *
  * @param solver solver handle
  * @param agent agent handle
  * @param direction_in if GNUNET_YES, change inbound bandwidth, otherwise change the outbound
@@ -773,6 +789,7 @@ envi_action_bw_halven (struct GAS_RIL_Handle *solver,
 
 /**
  * Increases the bandwidth by 5 times the minimum bandwidth for the active address.
+ *
  * @param solver solver handle
  * @param agent agent handle
  * @param direction_in if GNUNET_YES, change inbound bandwidth, otherwise change the outbound
@@ -798,6 +815,7 @@ envi_action_bw_inc (struct GAS_RIL_Handle *solver, struct RIL_Peer_Agent *agent,
 /**
  * Decreases the bandwidth by 5 times the minimum bandwidth for the active address. The least amount
  * of bandwidth suggested, is the minimum bandwidth for a peer, in order to not invoke a disconnect.
+ *
  * @param solver solver handle
  * @param agent agent handle
  * @param direction_in if GNUNET_YES, change inbound bandwidth, otherwise change the outbound
@@ -829,6 +847,7 @@ envi_action_bw_dec (struct GAS_RIL_Handle *solver, struct RIL_Peer_Agent *agent,
 
 /**
  * Switches to the address given by its index
+ *
  * @param solver solver handle
  * @param agent agent handle
  * @param address_index index of the address as it is saved in the agent's list, starting with zero
@@ -859,13 +878,14 @@ envi_action_address_switch (struct GAS_RIL_Handle *solver,
 
 /**
  * Puts the action into effect by calling the according function
+ *
  * @param solver solver handle
  * @param action action to perform by the solver
  */
 static void
 envi_do_action (struct GAS_RIL_Handle *solver, struct RIL_Peer_Agent *agent, int action)
 {
-  unsigned int address_index;
+  int address_index;
 
   switch (action)
   {
@@ -917,6 +937,7 @@ envi_do_action (struct GAS_RIL_Handle *solver, struct RIL_Peer_Agent *agent, int
  * after having done the last action a_old. It observes the new state s_next and the reward
  * received. Then the coefficient update is done according to the SARSA or Q-learning method. The
  * next action is put into effect.
+ *
  * @param agent the agent performing the step
  */
 static void
@@ -986,6 +1007,7 @@ agent_step (struct RIL_Peer_Agent *agent)
 
 /**
  * Cycles through all agents and lets the active ones do a step. Schedules the next step.
+ *
  * @param solver the solver handle
  * @param tc task context for the scheduler
  */
@@ -1011,6 +1033,7 @@ ril_periodic_step (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 
 /**
  * Initialize an agent without addresses and its knowledge base
+ *
  * @param s ril solver
  * @param peer the one in question
  * @return handle to the new agent
@@ -1028,7 +1051,7 @@ agent_init (void *s, const struct GNUNET_PeerIdentity *peer)
   agent->active = GNUNET_NO;
   agent->n = RIL_ACTION_TYPE_NUM;
   agent->m = solver->networks_count * RIL_FEATURES_NETWORK_COUNT;
-  agent->W = (double **) GNUNET_malloc (sizeof (double) * agent->n);
+  agent->W = (double **) GNUNET_malloc (sizeof (double *) * agent->n);
   for (i = 0; i < agent->n; i++)
   {
     agent->W[i] = (double *) GNUNET_malloc (sizeof (double) * agent->m);
@@ -1045,6 +1068,7 @@ agent_init (void *s, const struct GNUNET_PeerIdentity *peer)
 
 /**
  * Deallocate agent
+ *
  * @param s solver handle
  * @param agent the agent to retire
  */
@@ -1065,6 +1089,7 @@ agent_die (struct GAS_RIL_Handle *solver, struct RIL_Peer_Agent *agent)
 
 /**
  * Returns the agent for a peer
+ *
  * @param s solver handle
  * @param peer identity of the peer
  * @param create whether to create an agent if none is allocated yet
@@ -1115,9 +1140,10 @@ ril_get_network (struct GAS_RIL_Handle *s, uint32_t type)
 /**
  * Determine whether at least the minimum bandwidth is set for the network. Otherwise the network is
  * considered inactive and not used. Addresses in an inactive network are ignored.
+ *
  * @param solver solver handle
  * @param network the network type
- * @return
+ * @return whether or not the network is considered active
  */
 static int
 ril_network_is_active (struct GAS_RIL_Handle *solver, enum GNUNET_ATS_Network_Type network)
@@ -1135,6 +1161,7 @@ ril_network_is_active (struct GAS_RIL_Handle *solver, enum GNUNET_ATS_Network_Ty
  * Cuts a slice out of a vector of elements. This is used to decrease the size of the matrix storing
  * the reward function approximation. It copies the memory, which is not cut, to the new vector,
  * frees the memory of the old vector, and redirects the pointer to the new one.
+ *
  * @param old pointer to the pointer to the first element of the vector
  * @param element_size byte size of the vector elements
  * @param hole_start the first element to cut out
@@ -1187,7 +1214,7 @@ ril_cut_from_vector (void **old,
  */
 
 /**
- * Changes the preferences for a peer in the problem
+ * Change relative preference for quality in solver
  *
  * @param solver the solver handle
  * @param peer the peer to change the preference for
@@ -1208,7 +1235,11 @@ GAS_ril_address_change_preference (void *s,
    */
 }
 
-//TODO doxygen
+/**
+ * Entry point for the plugin
+ *
+ * @param cls pointer to the 'struct GNUNET_ATS_PluginEnvironment'
+ */
 void *
 libgnunet_plugin_ats_ril_init (void *cls)
 {
@@ -1304,7 +1335,11 @@ libgnunet_plugin_ats_ril_init (void *cls)
   return solver;
 }
 
-//TODO doxygen
+/**
+ * Exit point for the plugin
+ *
+ * @param cls the solver handle
+ */
 void *
 libgnunet_plugin_ats_ril_done (void *cls)
 {
@@ -1331,7 +1366,9 @@ libgnunet_plugin_ats_ril_done (void *cls)
 }
 
 /**
- * Add a single address within a network to the solver
+ * Add a new address for a peer to the solver
+ *
+ * The address is already contained in the addresses hashmap!
  *
  * @param solver the solver Handle
  * @param address the address to add
@@ -1393,7 +1430,7 @@ GAS_ril_address_add (void *solver, struct ATS_Address *address, uint32_t network
 
   //increase size of old state vector
   agent->m = m_old;
-  GNUNET_array_grow(agent->s_old, agent->m, m_new); //TODO random instead of zero-initialization of state features
+  GNUNET_array_grow(agent->s_old, agent->m, m_new);
 
   agent->m = m_old;
   GNUNET_array_grow(agent->e, agent->m, m_new);
@@ -1411,7 +1448,9 @@ GAS_ril_address_add (void *solver, struct ATS_Address *address, uint32_t network
 }
 
 /**
- * Remove an address from the solver
+ * Delete an address in the solver
+ *
+ * The address is not contained in the address hashmap anymore!
  *
  * @param solver the solver handle
  * @param address the address to remove
@@ -1523,7 +1562,7 @@ GAS_ril_address_delete (void *solver, struct ATS_Address *address, int session_o
 }
 
 /**
- * Transport properties for this address have changed
+ * Update the properties of an address in the solver
  *
  * @param solver solver handle
  * @param address the address
@@ -1548,7 +1587,7 @@ GAS_ril_address_property_changed (void *solver,
 }
 
 /**
- * Transport session for this address has changed
+ * Update the session of an address in the solver
  *
  * NOTE: values in addresses are already updated
  *
@@ -1570,7 +1609,8 @@ GAS_ril_address_session_changed (void *solver,
 }
 
 /**
- * Usage for this address has changed
+ * Notify the solver that an address is (not) actively used by transport
+ * to communicate with a remote peer
  *
  * NOTE: values in addresses are already updated
  *
@@ -1581,14 +1621,16 @@ GAS_ril_address_session_changed (void *solver,
 void
 GAS_ril_address_inuse_changed (void *solver, struct ATS_Address *address, int in_use)
 {
-  /* Nothing to do here */
+  /* Nothing to do here.
+   * Possible TODO? Future Work: Use usage as state vector
+   */
   LOG(GNUNET_ERROR_TYPE_DEBUG,
       "API_address_inuse_changed() Usage for %s address of peer '%s' changed to %s\n",
       address->plugin, GNUNET_i2s (&address->peer), (GNUNET_YES == in_use) ? "USED" : "UNUSED");
 }
 
 /**
- * Network scope for this address has changed
+ * Notify solver that the network an address is located in has changed
  *
  * NOTE: values in addresses are already updated
  *
@@ -1639,7 +1681,7 @@ GAS_ril_address_change_network (void *solver,
 }
 
 /**
- * Get application feedback for a peer
+ * Give feedback about the current assignment
  *
  * @param solver the solver handle
  * @param application the application
@@ -1656,7 +1698,6 @@ GAS_ril_address_preference_feedback (void *solver,
     enum GNUNET_ATS_PreferenceKind kind,
     double score)
 {
-  //TODO! collect feedback
   LOG(GNUNET_ERROR_TYPE_DEBUG,
       "API_address_preference_feedback() Peer '%s' got a feedback of %+.3f from application %s for "
           "preference %s for %d seconds\n", GNUNET_i2s (peer), "UNKNOWN",
@@ -1666,31 +1707,37 @@ GAS_ril_address_preference_feedback (void *solver,
 /**
  * Start a bulk operation
  *
+ * Since new calculations of the assignment are not triggered by a change of preferences, as it
+ * happens in the proportional and the mlp solver, there is no need to block this solver.
+ *
  * @param solver the solver
  */
 void
 GAS_ril_bulk_start (void *solver)
 {
-  /*
-   * Since new calculations of the assignment are not triggered by a change of preferences, as it
-   * happens in the proportional and the mlp solver, there is no need to block this solver.
-   */
+  /* nop */
 }
 
 /**
  * Bulk operation done
+ *
+ * Since new calculations of the assignment are not triggered by a change of preferences, as it
+ * happens in the proportional and the mlp solver, there is no need to block this solver.
+ *
+ * @param solver the solver handle
  */
 void
 GAS_ril_bulk_stop (void *solver)
 {
-  /*
-   * Since new calculations of the assignment are not triggered by a change of preferences, as it
-   * happens in the proportional and the mlp solver, there is no need to block this solver.
-   */
+  /* nop */
 }
 
 /**
- * Get the preferred address for a specific peer
+ * Tell solver to notify ATS if the address to use changes for a specific
+ * peer using the bandwidth changed callback
+ *
+ * The solver must only notify about changes for peers with pending address
+ * requests!
  *
  * @param solver the solver handle
  * @param peer the identity of the peer
@@ -1703,11 +1750,18 @@ GAS_ril_get_preferred_address (void *solver, const struct GNUNET_PeerIdentity *p
    */
   struct GAS_RIL_Handle *s = solver;
   struct RIL_Peer_Agent *agent;
+  struct RIL_Network *net;
 
   agent = ril_get_agent (s, peer, GNUNET_YES);
 
   agent->active = GNUNET_YES;
 
+  if (agent->address_inuse)
+  {
+    net = agent->address_inuse->solver_information;
+    net->bw_in_assigned += agent->bw_in;
+    net->bw_out_assigned += agent->bw_out;
+  }
   envi_set_active_suggestion (s, agent, agent->address_inuse, agent->bw_in, agent->bw_out,
       GNUNET_YES);
 
@@ -1728,7 +1782,10 @@ GAS_ril_get_preferred_address (void *solver, const struct GNUNET_PeerIdentity *p
 }
 
 /**
- * Stop notifying about address and bandwidth changes for this peer
+ * Tell solver stop notifying ATS about changes for this peers
+ *
+ * The solver must only notify about changes for peers with pending address
+ * requests!
  *
  * @param solver the solver handle
  * @param peer the peer
@@ -1738,6 +1795,7 @@ GAS_ril_stop_get_preferred_address (void *solver, const struct GNUNET_PeerIdenti
 {
   struct GAS_RIL_Handle *s = solver;
   struct RIL_Peer_Agent *agent;
+  struct RIL_Network *net;
 
   agent = ril_get_agent (s, peer, GNUNET_NO);
 
@@ -1753,6 +1811,12 @@ GAS_ril_stop_get_preferred_address (void *solver, const struct GNUNET_PeerIdenti
   }
 
   agent->active = GNUNET_NO;
+  if (agent->address_inuse)
+  {
+    net = agent->address_inuse->solver_information;
+    net->bw_in_assigned -= agent->bw_in;
+    net->bw_out_assigned -= agent->bw_out;
+  }
   envi_set_active_suggestion (s, agent, agent->address_inuse, agent->bw_in, agent->bw_out,
       GNUNET_YES);