src/fs/gnunet-service-fs_cadet_client.c

   1 /*
   2      This file is part of GNUnet.
   3      Copyright (C) 2012, 2013 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20
  21 /**
  22  * @file fs/gnunet-service-fs_cadet_client.c
  23  * @brief non-anonymous file-transfer
  24  * @author Christian Grothoff
  25  *
  26  * TODO:
  27  * - PORT is set to old application type, unsure if we should keep
  28  *   it that way (fine for now)
  29  */
  30 #include "platform.h"
  31 #include "gnunet_constants.h"
  32 #include "gnunet_util_lib.h"
  33 #include "gnunet_cadet_service.h"
  34 #include "gnunet_protocols.h"
  35 #include "gnunet_applications.h"
  36 #include "gnunet-service-fs.h"
  37 #include "gnunet-service-fs_indexing.h"
  38 #include "gnunet-service-fs_cadet.h"
  39
  40
  41 /**
  42  * After how long do we reset connections without replies?
  43  */
  44 #define CLIENT_RETRY_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 30)
  45
  46
  47 /**
  48  * Handle for a cadet to another peer.
  49  */
  50 struct CadetHandle;
  51
  52
  53 /**
  54  * Handle for a request that is going out via cadet API.
  55  */
  56 struct GSF_CadetRequest
  57 {
  58
  59   /**
  60    * DLL.
  61    */
  62   struct GSF_CadetRequest *next;
  63
  64   /**
  65    * DLL.
  66    */
  67   struct GSF_CadetRequest *prev;
  68
  69   /**
  70    * Which cadet is this request associated with?
  71    */
  72   struct CadetHandle *mh;
  73
  74   /**
  75    * Function to call with the result.
  76    */
  77   GSF_CadetReplyProcessor proc;
  78
  79   /**
  80    * Closure for 'proc'
  81    */
  82   void *proc_cls;
  83
  84   /**
  85    * Query to transmit to the other peer.
  86    */
  87   struct GNUNET_HashCode query;
  88
  89   /**
  90    * Desired type for the reply.
  91    */
  92   enum GNUNET_BLOCK_Type type;
  93
  94   /**
  95    * Did we transmit this request already? #GNUNET_YES if we are
  96    * in the 'waiting_map', #GNUNET_NO if we are in the 'pending' DLL.
  97    */
  98   int was_transmitted;
  99 };
 100
 101
 102 /**
 103  * Handle for a cadet to another peer.
 104  */
 105 struct CadetHandle
 106 {
 107   /**
 108    * Head of DLL of pending requests on this cadet.
 109    */
 110   struct GSF_CadetRequest *pending_head;
 111
 112   /**
 113    * Tail of DLL of pending requests on this cadet.
 114    */
 115   struct GSF_CadetRequest *pending_tail;
 116
 117   /**
 118    * Map from query to `struct GSF_CadetRequest`s waiting for
 119    * a reply.
 120    */
 121   struct GNUNET_CONTAINER_MultiHashMap *waiting_map;
 122
 123   /**
 124    * Channel to the other peer.
 125    */
 126   struct GNUNET_CADET_Channel *channel;
 127
 128   /**
 129    * Handle for active write operation, or NULL.
 130    */
 131   struct GNUNET_CADET_TransmitHandle *wh;
 132
 133   /**
 134    * Which peer does this cadet go to?
 135    */
 136   struct GNUNET_PeerIdentity target;
 137
 138   /**
 139    * Task to kill inactive cadets (we keep them around for
 140    * a few seconds to give the application a chance to give
 141    * us another query).
 142    */
 143   struct GNUNET_SCHEDULER_Task * timeout_task;
 144
 145   /**
 146    * Task to reset cadets that had errors (asynchronously,
 147    * as we may not be able to do it immediately during a
 148    * callback from the cadet API).
 149    */
 150   struct GNUNET_SCHEDULER_Task * reset_task;
 151
 152 };
 153
 154
 155 /**
 156  * Cadet channel for creating outbound channels.
 157  */
 158 static struct GNUNET_CADET_Handle *cadet_handle;
 159
 160 /**
 161  * Map from peer identities to 'struct CadetHandles' with cadet
 162  * channels to those peers.
 163  */
 164 static struct GNUNET_CONTAINER_MultiPeerMap *cadet_map;
 165
 166
 167 /* ********************* client-side code ************************* */
 168
 169
 170 /**
 171  * Transmit pending requests via the cadet.
 172  *
 173  * @param mh cadet to process
 174  */
 175 static void
 176 transmit_pending (struct CadetHandle *mh);
 177
 178
 179 /**
 180  * Iterator called on each entry in a waiting map to
 181  * move it back to the pending list.
 182  *
 183  * @param cls the `struct CadetHandle`
 184  * @param key the key of the entry in the map (the query)
 185  * @param value the `struct GSF_CadetRequest` to move to pending
 186  * @return #GNUNET_YES (continue to iterate)
 187  */
 188 static int
 189 move_to_pending (void *cls,
 190                  const struct GNUNET_HashCode *key,
 191                  void *value)
 192 {
 193   struct CadetHandle *mh = cls;
 194   struct GSF_CadetRequest *sr = value;
 195
 196   GNUNET_assert (GNUNET_YES ==
 197                  GNUNET_CONTAINER_multihashmap_remove (mh->waiting_map,
 198                                                        key,
 199                                                        value));
 200   GNUNET_CONTAINER_DLL_insert (mh->pending_head,
 201                                mh->pending_tail,
 202                                sr);
 203   sr->was_transmitted = GNUNET_NO;
 204   return GNUNET_YES;
 205 }
 206
 207
 208 /**
 209  * We had a serious error, tear down and re-create cadet from scratch.
 210  *
 211  * @param mh cadet to reset
 212  */
 213 static void
 214 reset_cadet (struct CadetHandle *mh)
 215 {
 216   struct GNUNET_CADET_Channel *channel = mh->channel;
 217
 218   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 219               "Resetting cadet channel to %s\n",
 220               GNUNET_i2s (&mh->target));
 221   mh->channel = NULL;
 222
 223   if (NULL != channel)
 224   {
 225     /* Avoid loop */
 226     if (NULL != mh->wh)
 227     {
 228       GNUNET_CADET_notify_transmit_ready_cancel (mh->wh);
 229       mh->wh = NULL;
 230     }
 231     GNUNET_CADET_channel_destroy (channel);
 232   }
 233   GNUNET_CONTAINER_multihashmap_iterate (mh->waiting_map,
 234                                          &move_to_pending,
 235                                          mh);
 236   mh->channel = GNUNET_CADET_channel_create (cadet_handle,
 237                                           mh,
 238                                           &mh->target,
 239                                           GNUNET_APPLICATION_TYPE_FS_BLOCK_TRANSFER,
 240                                           GNUNET_CADET_OPTION_RELIABLE);
 241   transmit_pending (mh);
 242 }
 243
 244
 245 /**
 246  * Task called when it is time to destroy an inactive cadet channel.
 247  *
 248  * @param cls the `struct CadetHandle` to tear down
 249  * @param tc scheduler context, unused
 250  */
 251 static void
 252 cadet_timeout (void *cls,
 253               const struct GNUNET_SCHEDULER_TaskContext *tc)
 254 {
 255   struct CadetHandle *mh = cls;
 256   struct GNUNET_CADET_Channel *tun;
 257
 258   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 259               "Timeout on cadet channel to %s\n",
 260               GNUNET_i2s (&mh->target));
 261   mh->timeout_task = NULL;
 262   tun = mh->channel;
 263   mh->channel = NULL;
 264   if(NULL != tun)
 265         GNUNET_CADET_channel_destroy (tun);
 266 }
 267
 268
 269 /**
 270  * Task called when it is time to reset an cadet.
 271  *
 272  * @param cls the `struct CadetHandle` to tear down
 273  * @param tc scheduler context, unused
 274  */
 275 static void
 276 reset_cadet_task (void *cls,
 277                  const struct GNUNET_SCHEDULER_TaskContext *tc)
 278 {
 279   struct CadetHandle *mh = cls;
 280
 281   mh->reset_task = NULL;
 282   reset_cadet (mh);
 283 }
 284
 285
 286 /**
 287  * We had a serious error, tear down and re-create cadet from scratch,
 288  * but do so asynchronously.
 289  *
 290  * @param mh cadet to reset
 291  */
 292 static void
 293 reset_cadet_async (struct CadetHandle *mh)
 294 {
 295   if (NULL != mh->reset_task)
 296     GNUNET_SCHEDULER_cancel (mh->reset_task);
 297   mh->reset_task = GNUNET_SCHEDULER_add_now (&reset_cadet_task,
 298                                              mh);
 299 }
 300
 301
 302 /**
 303  * Functions of this signature are called whenever we are ready to transmit
 304  * query via a cadet.
 305  *
 306  * @param cls the struct CadetHandle for which we did the write call
 307  * @param size the number of bytes that can be written to @a buf
 308  * @param buf where to write the message
 309  * @return number of bytes written to @a buf
 310  */
 311 static size_t
 312 transmit_sqm (void *cls,
 313               size_t size,
 314               void *buf)
 315 {
 316   struct CadetHandle *mh = cls;
 317   struct CadetQueryMessage sqm;
 318   struct GSF_CadetRequest *sr;
 319
 320   mh->wh = NULL;
 321   if (NULL == buf)
 322   {
 323     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 324                 "Cadet channel to %s failed during transmission attempt, rebuilding\n",
 325                 GNUNET_i2s (&mh->target));
 326     reset_cadet_async (mh);
 327     return 0;
 328   }
 329   sr = mh->pending_head;
 330   if (NULL == sr)
 331     return 0;
 332   GNUNET_assert (size >= sizeof (struct CadetQueryMessage));
 333   GNUNET_CONTAINER_DLL_remove (mh->pending_head,
 334                                mh->pending_tail,
 335                                sr);
 336   GNUNET_assert (GNUNET_OK ==
 337                  GNUNET_CONTAINER_multihashmap_put (mh->waiting_map,
 338                                                     &sr->query,
 339                                                     sr,
 340                                                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE));
 341   sr->was_transmitted = GNUNET_YES;
 342   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 343               "Sending query for %s via cadet to %s\n",
 344               GNUNET_h2s (&sr->query),
 345               GNUNET_i2s (&mh->target));
 346   sqm.header.size = htons (sizeof (sqm));
 347   sqm.header.type = htons (GNUNET_MESSAGE_TYPE_FS_CADET_QUERY);
 348   sqm.type = htonl (sr->type);
 349   sqm.query = sr->query;
 350   memcpy (buf, &sqm, sizeof (sqm));
 351   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 352               "Successfully transmitted %u bytes via cadet to %s\n",
 353               (unsigned int) size,
 354               GNUNET_i2s (&mh->target));
 355   transmit_pending (mh);
 356   return sizeof (sqm);
 357 }
 358
 359
 360 /**
 361  * Transmit pending requests via the cadet.
 362  *
 363  * @param mh cadet to process
 364  */
 365 static void
 366 transmit_pending (struct CadetHandle *mh)
 367 {
 368   if (NULL == mh->channel)
 369     return;
 370   if (NULL != mh->wh)
 371     return;
 372   mh->wh = GNUNET_CADET_notify_transmit_ready (mh->channel, GNUNET_YES /* allow cork */,
 373                                               GNUNET_TIME_UNIT_FOREVER_REL,
 374                                               sizeof (struct CadetQueryMessage),
 375                                               &transmit_sqm, mh);
 376 }
 377
 378
 379 /**
 380  * Closure for handle_reply().
 381  */
 382 struct HandleReplyClosure
 383 {
 384
 385   /**
 386    * Reply payload.
 387    */
 388   const void *data;
 389
 390   /**
 391    * Expiration time for the block.
 392    */
 393   struct GNUNET_TIME_Absolute expiration;
 394
 395   /**
 396    * Number of bytes in 'data'.
 397    */
 398   size_t data_size;
 399
 400   /**
 401    * Type of the block.
 402    */
 403   enum GNUNET_BLOCK_Type type;
 404
 405   /**
 406    * Did we have a matching query?
 407    */
 408   int found;
 409 };
 410
 411
 412 /**
 413  * Iterator called on each entry in a waiting map to
 414  * process a result.
 415  *
 416  * @param cls the `struct HandleReplyClosure`
 417  * @param key the key of the entry in the map (the query)
 418  * @param value the `struct GSF_CadetRequest` to handle result for
 419  * @return #GNUNET_YES (continue to iterate)
 420  */
 421 static int
 422 handle_reply (void *cls,
 423               const struct GNUNET_HashCode *key,
 424               void *value)
 425 {
 426   struct HandleReplyClosure *hrc = cls;
 427   struct GSF_CadetRequest *sr = value;
 428
 429   sr->proc (sr->proc_cls,
 430             hrc->type,
 431             hrc->expiration,
 432             hrc->data_size,
 433             hrc->data);
 434   sr->proc = NULL;
 435   GSF_cadet_query_cancel (sr);
 436   hrc->found = GNUNET_YES;
 437   return GNUNET_YES;
 438 }
 439
 440
 441 /**
 442  * Functions with this signature are called whenever a complete reply
 443  * is received.
 444  *
 445  * @param cls closure with the `struct CadetHandle`
 446  * @param channel channel handle
 447  * @param channel_ctx channel context
 448  * @param message the actual message
 449  * @return #GNUNET_OK on success, #GNUNET_SYSERR to stop further processing
 450  */
 451 static int
 452 reply_cb (void *cls,
 453           struct GNUNET_CADET_Channel *channel,
 454           void **channel_ctx,
 455           const struct GNUNET_MessageHeader *message)
 456 {
 457   struct CadetHandle *mh = *channel_ctx;
 458   const struct CadetReplyMessage *srm;
 459   struct HandleReplyClosure hrc;
 460   uint16_t msize;
 461   enum GNUNET_BLOCK_Type type;
 462   struct GNUNET_HashCode query;
 463
 464   msize = ntohs (message->size);
 465   if (sizeof (struct CadetReplyMessage) > msize)
 466   {
 467     GNUNET_break_op (0);
 468     reset_cadet_async (mh);
 469     return GNUNET_SYSERR;
 470   }
 471   srm = (const struct CadetReplyMessage *) message;
 472   msize -= sizeof (struct CadetReplyMessage);
 473   type = (enum GNUNET_BLOCK_Type) ntohl (srm->type);
 474   if (GNUNET_YES !=
 475       GNUNET_BLOCK_get_key (GSF_block_ctx,
 476                             type,
 477                             &srm[1], msize, &query))
 478   {
 479     GNUNET_break_op (0);
 480     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 481                 "Received bogus reply of type %u with %u bytes via cadet from peer %s\n",
 482                 type,
 483                 msize,
 484                 GNUNET_i2s (&mh->target));
 485     reset_cadet_async (mh);
 486     return GNUNET_SYSERR;
 487   }
 488   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 489               "Received reply `%s' via cadet from peer %s\n",
 490               GNUNET_h2s (&query),
 491               GNUNET_i2s (&mh->target));
 492   GNUNET_CADET_receive_done (channel);
 493   GNUNET_STATISTICS_update (GSF_stats,
 494                             gettext_noop ("# replies received via cadet"), 1,
 495                             GNUNET_NO);
 496   hrc.data = &srm[1];
 497   hrc.data_size = msize;
 498   hrc.expiration = GNUNET_TIME_absolute_ntoh (srm->expiration);
 499   hrc.type = type;
 500   hrc.found = GNUNET_NO;
 501   GNUNET_CONTAINER_multihashmap_get_multiple (mh->waiting_map,
 502                                               &query,
 503                                               &handle_reply,
 504                                               &hrc);
 505   if (GNUNET_NO == hrc.found)
 506   {
 507     GNUNET_STATISTICS_update (GSF_stats,
 508                               gettext_noop ("# replies received via cadet dropped"), 1,
 509                               GNUNET_NO);
 510     return GNUNET_OK;
 511   }
 512   return GNUNET_OK;
 513 }
 514
 515
 516 /**
 517  * Get (or create) a cadet to talk to the given peer.
 518  *
 519  * @param target peer we want to communicate with
 520  */
 521 static struct CadetHandle *
 522 get_cadet (const struct GNUNET_PeerIdentity *target)
 523 {
 524   struct CadetHandle *mh;
 525
 526   mh = GNUNET_CONTAINER_multipeermap_get (cadet_map,
 527                                           target);
 528   if (NULL != mh)
 529   {
 530     if (NULL != mh->timeout_task)
 531     {
 532       GNUNET_SCHEDULER_cancel (mh->timeout_task);
 533       mh->timeout_task = NULL;
 534     }
 535     return mh;
 536   }
 537   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 538               "Creating cadet channel to %s\n",
 539               GNUNET_i2s (target));
 540   mh = GNUNET_new (struct CadetHandle);
 541   mh->reset_task = GNUNET_SCHEDULER_add_delayed (CLIENT_RETRY_TIMEOUT,
 542                                                  &reset_cadet_task,
 543                                                  mh);
 544   mh->waiting_map = GNUNET_CONTAINER_multihashmap_create (16, GNUNET_YES);
 545   mh->target = *target;
 546   GNUNET_assert (GNUNET_OK ==
 547                  GNUNET_CONTAINER_multipeermap_put (cadet_map,
 548                                                     &mh->target,
 549                                                     mh,
 550                                                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
 551   mh->channel = GNUNET_CADET_channel_create (cadet_handle,
 552                                             mh,
 553                                             &mh->target,
 554                                             GNUNET_APPLICATION_TYPE_FS_BLOCK_TRANSFER,
 555                                             GNUNET_CADET_OPTION_RELIABLE);
 556   GNUNET_assert (mh ==
 557                  GNUNET_CONTAINER_multipeermap_get (cadet_map,
 558                                                     target));
 559   return mh;
 560 }
 561
 562
 563 /**
 564  * Look for a block by directly contacting a particular peer.
 565  *
 566  * @param target peer that should have the block
 567  * @param query hash to query for the block
 568  * @param type desired type for the block
 569  * @param proc function to call with result
 570  * @param proc_cls closure for @a proc
 571  * @return handle to cancel the operation
 572  */
 573 struct GSF_CadetRequest *
 574 GSF_cadet_query (const struct GNUNET_PeerIdentity *target,
 575                 const struct GNUNET_HashCode *query,
 576                 enum GNUNET_BLOCK_Type type,
 577                 GSF_CadetReplyProcessor proc, void *proc_cls)
 578 {
 579   struct CadetHandle *mh;
 580   struct GSF_CadetRequest *sr;
 581
 582   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 583               "Preparing to send query for %s via cadet to %s\n",
 584               GNUNET_h2s (query),
 585               GNUNET_i2s (target));
 586   mh = get_cadet (target);
 587   sr = GNUNET_new (struct GSF_CadetRequest);
 588   sr->mh = mh;
 589   sr->proc = proc;
 590   sr->proc_cls = proc_cls;
 591   sr->type = type;
 592   sr->query = *query;
 593   GNUNET_CONTAINER_DLL_insert (mh->pending_head,
 594                                mh->pending_tail,
 595                                sr);
 596   transmit_pending (mh);
 597   return sr;
 598 }
 599
 600
 601 /**
 602  * Cancel an active request; must not be called after 'proc'
 603  * was calld.
 604  *
 605  * @param sr request to cancel
 606  */
 607 void
 608 GSF_cadet_query_cancel (struct GSF_CadetRequest *sr)
 609 {
 610   struct CadetHandle *mh = sr->mh;
 611   GSF_CadetReplyProcessor p;
 612
 613   p = sr->proc;
 614   sr->proc = NULL;
 615   if (NULL != p)
 616   {
 617     /* signal failure / cancellation to callback */
 618     p (sr->proc_cls, GNUNET_BLOCK_TYPE_ANY,
 619        GNUNET_TIME_UNIT_ZERO_ABS,
 620        0, NULL);
 621   }
 622   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 623               "Cancelled query for %s via cadet to %s\n",
 624               GNUNET_h2s (&sr->query),
 625               GNUNET_i2s (&sr->mh->target));
 626   if (GNUNET_YES == sr->was_transmitted)
 627     GNUNET_assert (GNUNET_OK ==
 628                    GNUNET_CONTAINER_multihashmap_remove (mh->waiting_map,
 629                                                          &sr->query,
 630                                                          sr));
 631   else
 632     GNUNET_CONTAINER_DLL_remove (mh->pending_head,
 633                                  mh->pending_tail,
 634                                  sr);
 635   GNUNET_free (sr);
 636   if ( (0 == GNUNET_CONTAINER_multihashmap_size (mh->waiting_map)) &&
 637        (NULL == mh->pending_head) )
 638     mh->timeout_task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
 639                                                      &cadet_timeout,
 640                                                      mh);
 641 }
 642
 643
 644 /**
 645  * Iterator called on each entry in a waiting map to
 646  * call the 'proc' continuation and release associated
 647  * resources.
 648  *
 649  * @param cls the `struct CadetHandle`
 650  * @param key the key of the entry in the map (the query)
 651  * @param value the `struct GSF_CadetRequest` to clean up
 652  * @return #GNUNET_YES (continue to iterate)
 653  */
 654 static int
 655 free_waiting_entry (void *cls,
 656                     const struct GNUNET_HashCode *key,
 657                     void *value)
 658 {
 659   struct GSF_CadetRequest *sr = value;
 660
 661   GSF_cadet_query_cancel (sr);
 662   return GNUNET_YES;
 663 }
 664
 665
 666 /**
 667  * Function called by cadet when a client disconnects.
 668  * Cleans up our `struct CadetClient` of that channel.
 669  *
 670  * @param cls NULL
 671  * @param channel channel of the disconnecting client
 672  * @param channel_ctx our `struct CadetClient`
 673  */
 674 static void
 675 cleaner_cb (void *cls,
 676             const struct GNUNET_CADET_Channel *channel,
 677             void *channel_ctx)
 678 {
 679   struct CadetHandle *mh = channel_ctx;
 680   struct GSF_CadetRequest *sr;
 681
 682   if (NULL == mh->channel)
 683     return; /* being destroyed elsewhere */
 684   GNUNET_assert (channel == mh->channel);
 685   mh->channel = NULL;
 686   while (NULL != (sr = mh->pending_head))
 687     GSF_cadet_query_cancel (sr);
 688   /* first remove `mh` from the `cadet_map`, so that if the
 689      callback from `free_waiting_entry()` happens to re-issue
 690      the request, we don't immediately have it back in the
 691      `waiting_map`. */
 692   GNUNET_assert (GNUNET_OK ==
 693                  GNUNET_CONTAINER_multipeermap_remove (cadet_map,
 694                                                        &mh->target,
 695                                                        mh));
 696   GNUNET_CONTAINER_multihashmap_iterate (mh->waiting_map,
 697                                          &free_waiting_entry,
 698                                          mh);
 699   if (NULL != mh->wh)
 700     GNUNET_CADET_notify_transmit_ready_cancel (mh->wh);
 701   if (NULL != mh->timeout_task)
 702     GNUNET_SCHEDULER_cancel (mh->timeout_task);
 703   if (NULL != mh->reset_task)
 704     GNUNET_SCHEDULER_cancel (mh->reset_task);
 705   GNUNET_assert (0 ==
 706                  GNUNET_CONTAINER_multihashmap_size (mh->waiting_map));
 707   GNUNET_CONTAINER_multihashmap_destroy (mh->waiting_map);
 708   GNUNET_free (mh);
 709 }
 710
 711
 712 /**
 713  * Initialize subsystem for non-anonymous file-sharing.
 714  */
 715 void
 716 GSF_cadet_start_client ()
 717 {
 718   static const struct GNUNET_CADET_MessageHandler handlers[] = {
 719     { &reply_cb, GNUNET_MESSAGE_TYPE_FS_CADET_REPLY, 0 },
 720     { NULL, 0, 0 }
 721   };
 722
 723   cadet_map = GNUNET_CONTAINER_multipeermap_create (16, GNUNET_YES);
 724   cadet_handle = GNUNET_CADET_connect (GSF_cfg,
 725                                      NULL,
 726                                      NULL,
 727                                      &cleaner_cb,
 728                                      handlers,
 729                                      NULL);
 730 }
 731
 732
 733 /**
 734  * Function called on each active cadets to shut them down.
 735  *
 736  * @param cls NULL
 737  * @param key target peer, unused
 738  * @param value the `struct CadetHandle` to destroy
 739  * @return #GNUNET_YES (continue to iterate)
 740  */
 741 static int
 742 release_cadets (void *cls,
 743                const struct GNUNET_PeerIdentity *key,
 744                void *value)
 745 {
 746   struct CadetHandle *mh = value;
 747
 748   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 749               "Timeout on cadet channel to %s\n",
 750               GNUNET_i2s (&mh->target));
 751   if (NULL != mh->channel)
 752     GNUNET_CADET_channel_destroy (mh->channel);
 753   return GNUNET_YES;
 754 }
 755
 756
 757 /**
 758  * Shutdown subsystem for non-anonymous file-sharing.
 759  */
 760 void
 761 GSF_cadet_stop_client ()
 762 {
 763   GNUNET_CONTAINER_multipeermap_iterate (cadet_map,
 764                                          &release_cadets,
 765                                          NULL);
 766   GNUNET_CONTAINER_multipeermap_destroy (cadet_map);
 767   cadet_map = NULL;
 768   if (NULL != cadet_handle)
 769   {
 770     GNUNET_CADET_disconnect (cadet_handle);
 771     cadet_handle = NULL;
 772   }
 773 }
 774
 775
 776 /* end of gnunet-service-fs_cadet_client.c */