src/transport/plugin_transport_http.c

   1 /*
   2      This file is part of GNUnet
   3      (C) 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 2, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20
  21 /**
  22  * @file transport/plugin_transport_http.c
  23  * @brief http transport service plugin
  24  * @author Matthias Wachs
  25  */
  26
  27 #include "platform.h"
  28 #include "gnunet_constants.h"
  29 #include "gnunet_protocols.h"
  30 #include "gnunet_connection_lib.h"
  31 #include "gnunet_server_lib.h"
  32 #include "gnunet_service_lib.h"
  33 #include "gnunet_statistics_service.h"
  34 #include "gnunet_transport_service.h"
  35 #include "gnunet_resolver_service.h"
  36 #include "gnunet_server_lib.h"
  37 #include "gnunet_container_lib.h"
  38 #include "plugin_transport.h"
  39 #include "gnunet_os_lib.h"
  40 #include "microhttpd.h"
  41 #include <curl/curl.h>
  42
  43
  44 #define DEBUG_CURL GNUNET_NO
  45 #define DEBUG_HTTP GNUNET_NO
  46 #define HTTP_CONNECT_TIMEOUT_DBG 10
  47
  48 /**
  49  * Text of the response sent back after the last bytes of a PUT
  50  * request have been received (just to formally obey the HTTP
  51  * protocol).
  52  */
  53 #define HTTP_PUT_RESPONSE "Thank you!"
  54
  55 /**
  56  * After how long do we expire an address that we
  57  * learned from another peer if it is not reconfirmed
  58  * by anyone?
  59  */
  60 #define LEARNED_ADDRESS_EXPIRATION GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_HOURS, 6)
  61
  62 /**
  63  * Page returned if request invalid
  64  */
  65 #define HTTP_ERROR_RESPONSE "<!DOCTYPE HTML PUBLIC \"-//IETF//DTD HTML 2.0//EN\"><HTML><HEAD><TITLE>404 Not Found</TITLE></HEAD><BODY><H1>Not Found</H1>The requested URL was not found on this server.<P><HR><ADDRESS></ADDRESS></BODY></HTML>"
  66
  67 /**
  68  * Timeout for a http connect
  69  */
  70 #define HTTP_CONNECT_TIMEOUT 30
  71
  72 /**
  73  * Network format for IPv4 addresses.
  74  */
  75 struct IPv4HttpAddress
  76 {
  77   /**
  78    * IPv4 address, in network byte order.
  79    */
  80   uint32_t ipv4_addr GNUNET_PACKED;
  81
  82   /**
  83    * Port number, in network byte order.
  84    */
  85   uint16_t u_port GNUNET_PACKED;
  86
  87 };
  88
  89
  90 /**
  91  * Network format for IPv6 addresses.
  92  */
  93 struct IPv6HttpAddress
  94 {
  95   /**
  96    * IPv6 address.
  97    */
  98   struct in6_addr ipv6_addr GNUNET_PACKED;
  99
 100   /**
 101    * Port number, in network byte order.
 102    */
 103   uint16_t u6_port GNUNET_PACKED;
 104
 105 };
 106
 107
 108 /**
 109  *  Message to send using http
 110  */
 111 struct HTTP_Message
 112 {
 113   /**
 114    * next pointer for double linked list
 115    */
 116   struct HTTP_Message * next;
 117
 118   /**
 119    * previous pointer for double linked list
 120    */
 121   struct HTTP_Message * prev;
 122
 123   /**
 124    * buffer containing data to send
 125    */
 126   char *buf;
 127
 128   /**
 129    * amount of data already sent
 130    */
 131   size_t pos;
 132
 133   /**
 134    * buffer length
 135    */
 136   size_t size;
 137
 138   /**
 139    * Continuation function to call once the transmission buffer
 140    * has again space available.  NULL if there is no
 141    * continuation to call.
 142    */
 143   GNUNET_TRANSPORT_TransmitContinuation transmit_cont;
 144
 145   /**
 146    * Closure for transmit_cont.
 147    */
 148   void *transmit_cont_cls;
 149 };
 150
 151
 152 struct HTTP_Connection_out
 153 {
 154   struct HTTP_Connection_out * next;
 155
 156   struct HTTP_Connection_out * prev;
 157
 158   void * addr;
 159   size_t addrlen;
 160
 161   struct HTTP_Message * pending_msgs_head;
 162   struct HTTP_Message * pending_msgs_tail;
 163
 164   char * url;
 165   unsigned int connected;
 166   unsigned int send_paused;
 167
 168   /**
 169    * curl handle for this ransmission
 170    */
 171   CURL *curl_handle;
 172   struct Session * session;
 173 };
 174
 175 struct HTTP_Connection_in
 176 {
 177   struct HTTP_Connection_in * next;
 178
 179   struct HTTP_Connection_in * prev;
 180
 181   void * addr;
 182   size_t addrlen;
 183
 184   unsigned int connected;
 185   unsigned int send_paused;
 186
 187   struct GNUNET_SERVER_MessageStreamTokenizer * msgtok;
 188
 189   struct Session * session;
 190
 191   /**
 192    * Is there a HTTP/PUT in progress?
 193    */
 194   int is_put_in_progress;
 195
 196   /**
 197    * Is the http request invalid?
 198    */
 199   int is_bad_request;
 200 };
 201
 202
 203 /**
 204  * Session handle for connections.
 205  */
 206 struct Session
 207 {
 208
 209   /**
 210    * API requirement.
 211    */
 212   struct SessionHeader header;
 213
 214   /**
 215    * Stored in a linked list.
 216    */
 217   struct Session *next;
 218
 219   /**
 220    * Pointer to the global plugin struct.
 221    */
 222   struct Plugin *plugin;
 223
 224   /**
 225    * To whom are we talking to (set to our identity
 226    * if we are still waiting for the welcome message)
 227    */
 228   struct GNUNET_PeerIdentity identity;
 229
 230   /**
 231    * Sender's ip address to distinguish between incoming connections
 232    */
 233   void * addr_in;
 234
 235   size_t addr_in_len;
 236
 237   void * addr_out;
 238
 239   size_t addr_out_len;
 240
 241   /**
 242    * Did we initiate the connection (GNUNET_YES) or the other peer (GNUNET_NO)?
 243    */
 244   int is_client;
 245
 246   /**
 247    * At what time did we reset last_received last?
 248    */
 249   struct GNUNET_TIME_Absolute last_quota_update;
 250
 251   /**
 252    * How many bytes have we received since the "last_quota_update"
 253    * timestamp?
 254    */
 255   uint64_t last_received;
 256
 257   /**
 258    * Number of bytes per ms that this peer is allowed
 259    * to send to us.
 260    */
 261   uint32_t quota;
 262
 263   /**
 264    * Encoded hash
 265    */
 266   struct GNUNET_CRYPTO_HashAsciiEncoded hash;
 267
 268   /**
 269    * curl handle for outbound transmissions
 270    */
 271   CURL *curl_handle;
 272
 273   /**
 274    * Message tokenizer for incoming data
 275    */
 276   //struct GNUNET_SERVER_MessageStreamTokenizer * msgtok;
 277
 278   struct HTTP_Connection_out *outbound_connections_head;
 279   struct HTTP_Connection_out *outbound_connections_tail;
 280
 281   struct HTTP_Connection_in *inbound_connections_head;
 282   struct HTTP_Connection_in *inbound_connections_tail;
 283 };
 284
 285 /**
 286  * Encapsulation of all of the state of the plugin.
 287  */
 288 struct Plugin
 289 {
 290   /**
 291    * Our environment.
 292    */
 293   struct GNUNET_TRANSPORT_PluginEnvironment *env;
 294
 295   unsigned int port_inbound;
 296
 297   /**
 298    * Hashmap for all existing sessions.
 299    */
 300   struct GNUNET_CONTAINER_MultiHashMap *sessions;
 301
 302   /**
 303    * Daemon for listening for new IPv4 connections.
 304    */
 305   struct MHD_Daemon *http_server_daemon_v4;
 306
 307   /**
 308    * Daemon for listening for new IPv6connections.
 309    */
 310   struct MHD_Daemon *http_server_daemon_v6;
 311
 312   /**
 313    * Our primary task for http daemon handling IPv4 connections
 314    */
 315   GNUNET_SCHEDULER_TaskIdentifier http_server_task_v4;
 316
 317   /**
 318    * Our primary task for http daemon handling IPv6 connections
 319    */
 320   GNUNET_SCHEDULER_TaskIdentifier http_server_task_v6;
 321
 322   /**
 323    * The task sending data
 324    */
 325   GNUNET_SCHEDULER_TaskIdentifier http_server_task_send;
 326
 327   /**
 328    * cURL Multihandle
 329    */
 330   CURLM * multi_handle;
 331
 332   /**
 333    * Our ASCII encoded, hashed peer identity
 334    * This string is used to distinguish between connections and is added to the urls
 335    */
 336   struct GNUNET_CRYPTO_HashAsciiEncoded my_ascii_hash_ident;
 337 };
 338
 339
 340 /**
 341  * Function called for a quick conversion of the binary address to
 342  * a numeric address.  Note that the caller must not free the
 343  * address and that the next call to this function is allowed
 344  * to override the address again.
 345  *
 346  * @param cls closure
 347  * @param addr binary address
 348  * @param addrlen length of the address
 349  * @return string representing the same address
 350  */
 351 static const char*
 352 http_plugin_address_to_string (void *cls,
 353                                    const void *addr,
 354                                    size_t addrlen);
 355
 356 /**
 357  * Create a new session
 358  * @param cls plugin as closure
 359  * @param addr_in address the peer is using inbound
 360  * @param addr_len_in address length
 361  * @param addr_out address the peer is using outbound
 362  * @param addr_len_out address length
 363  * @param peer identity
 364  * @return created session object
 365  */
 366 static struct Session *
 367 create_session (void * cls,
 368                 char * addr_in,
 369                 size_t addrlen_in,
 370                 char * addr_out,
 371                 size_t addrlen_out,
 372                 const struct GNUNET_PeerIdentity *peer)
 373 {
 374   struct Plugin *plugin = cls;
 375   struct Session * cs = GNUNET_malloc ( sizeof( struct Session) );
 376
 377   GNUNET_assert(cls !=NULL);
 378   if (addrlen_in != 0)
 379   {
 380     cs->addr_in = GNUNET_malloc (addrlen_in);
 381     cs->addr_in_len = addrlen_in;
 382     memcpy(cs->addr_in,addr_in,addrlen_in);
 383   }
 384
 385   if (addrlen_out != 0)
 386   {
 387     cs->addr_out = GNUNET_malloc (addrlen_out);
 388     cs->addr_out_len = addrlen_out;
 389     memcpy(cs->addr_out,addr_out,addrlen_out);
 390   }
 391   cs->plugin = plugin;
 392   memcpy(&cs->identity, peer, sizeof (struct GNUNET_PeerIdentity));
 393   GNUNET_CRYPTO_hash_to_enc(&cs->identity.hashPubKey,&(cs->hash));
 394   cs->outbound_connections_head = NULL;
 395   cs->outbound_connections_tail = NULL;
 396   return cs;
 397 }
 398
 399 /**
 400  * Check if session for this peer is already existing, otherwise create it
 401  * @param cls the plugin used
 402  * @param p peer to get session for
 403  * @return session found or created
 404  */
 405 static struct Session * session_get (void * cls, const struct GNUNET_PeerIdentity *p)
 406 {
 407   struct Plugin *plugin = cls;
 408   struct Session *cs;
 409   unsigned int res;
 410
 411   cs = GNUNET_CONTAINER_multihashmap_get (plugin->sessions, &p->hashPubKey);
 412   if (cs == NULL)
 413   {
 414     cs = create_session(plugin, NULL, 0, NULL, 0, p);
 415     res = GNUNET_CONTAINER_multihashmap_put ( plugin->sessions,
 416                                         &cs->identity.hashPubKey,
 417                                         cs,
 418                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
 419     if (res == GNUNET_OK)
 420       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 421                   "New Session `%s' inserted\n", GNUNET_i2s(p));
 422   }
 423   return cs;
 424 }
 425
 426 static char * create_url(void * cls, const void * addr, size_t addrlen)
 427 {
 428   struct Plugin *plugin = cls;
 429   char *url = NULL;
 430
 431   GNUNET_assert ((addr!=NULL) && (addrlen != 0));
 432   GNUNET_asprintf(&url,
 433                   "http://%s/%s",
 434                   http_plugin_address_to_string(NULL, addr, addrlen),
 435                   (char *) (&plugin->my_ascii_hash_ident));
 436
 437   return url;
 438 }
 439
 440 /**
 441  * Check if session already knows this address for a outbound connection to this peer
 442  * If address not in session, add it to the session
 443  * @param cls the plugin used
 444  * @param cs the session
 445  * @param addr address
 446  * @param addr_len address length
 447  * @return the found or created address
 448  */
 449 static struct HTTP_Connection_out * session_check_outbound_address (void * cls, struct Session *cs, const void * addr, size_t addr_len)
 450 {
 451   struct Plugin *plugin = cls;
 452   struct HTTP_Connection_out * cc = cs->outbound_connections_head;
 453   struct HTTP_Connection_out * con = NULL;
 454
 455   GNUNET_assert((addr_len == sizeof (struct IPv4HttpAddress)) || (addr_len == sizeof (struct IPv6HttpAddress)));
 456
 457   while (cc!=NULL)
 458   {
 459     if (addr_len == cc->addrlen)
 460     {
 461       if (0 == memcmp(cc->addr, addr, addr_len))
 462       {
 463         con = cc;
 464         break;
 465       }
 466     }
 467     cc=cc->next;
 468   }
 469
 470   if (con==NULL)
 471   {
 472     con = GNUNET_malloc(sizeof(struct HTTP_Connection_out) + addr_len);
 473     con->addrlen = addr_len;
 474     con->addr=&con[1];
 475     con->url=create_url(plugin, addr, addr_len);
 476     con->connected = GNUNET_NO;
 477     con->session = cs;
 478     memcpy(con->addr, addr, addr_len);
 479     GNUNET_CONTAINER_DLL_insert(cs->outbound_connections_head,cs->outbound_connections_tail,con);
 480     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Created new connection %X to peer `%s'\n",con,GNUNET_i2s(&cs->identity));
 481   }
 482   return con;
 483 }
 484
 485
 486 /**
 487  * Check if session already knows this address for a inbound connection to this peer
 488  * If address not in session, add it to the session
 489  * @param cls not needed, can be NULL
 490  * @param cs the session
 491  * @param addr address
 492  * @param addr_len address length
 493  * @return the found or created address
 494  */
 495 static struct HTTP_Connection_in * session_check_inbound_address (void * cls, struct Session *cs, const void * addr, size_t addr_len)
 496 {
 497   struct HTTP_Connection_in * cc = cs->inbound_connections_head;
 498   struct HTTP_Connection_in * con = NULL;
 499
 500   GNUNET_assert((addr_len == sizeof (struct IPv4HttpAddress)) || (addr_len == sizeof (struct IPv6HttpAddress)));
 501
 502   while (cc!=NULL)
 503   {
 504     if (addr_len == cc->addrlen)
 505     {
 506       if (0 == memcmp(cc->addr, addr, addr_len))
 507       {
 508         con = cc;
 509         break;
 510       }
 511     }
 512     cc=cc->next;
 513   }
 514
 515
 516   if (con==NULL)
 517   {
 518     con = GNUNET_malloc(sizeof(struct HTTP_Connection_in) + addr_len);
 519     con->addrlen = addr_len;
 520     con->addr=&con[1];
 521     con->connected = GNUNET_NO;
 522     con->session = cs;
 523     memcpy(con->addr, addr, addr_len);
 524     GNUNET_CONTAINER_DLL_insert(cs->inbound_connections_head,cs->inbound_connections_tail,con);
 525   }
 526
 527   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Connection %X for inbound address %s (%s) was found\n",
 528               con,
 529               GNUNET_i2s(&cs->identity),
 530               http_plugin_address_to_string(NULL,con->addr,con->addrlen));
 531   return con;
 532 }
 533
 534
 535 /**
 536  * Callback called by MHD when a connection is terminated
 537  */
 538 static void requestCompletedCallback (void *cls, struct MHD_Connection * connection, void **httpSessionCache)
 539 {
 540   struct HTTP_Connection_in * con;
 541
 542   con = *httpSessionCache;
 543   if (con == NULL)
 544     return;
 545   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Connection from peer `%s' was terminated\n",GNUNET_i2s(&con->session->identity));
 546   /* session set to inactive */
 547   con->is_put_in_progress = GNUNET_NO;
 548   con->is_bad_request = GNUNET_NO;
 549 }
 550
 551 static void messageTokenizerCallback (void *cls,
 552                                       void *client,
 553                                       const struct GNUNET_MessageHeader *message)
 554 {
 555   struct HTTP_Connection_in * con = cls;
 556   GNUNET_assert(con != NULL);
 557
 558   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 559               "Forwarding message to transport service, type %u and size %u from `%s' (`%s')\n",
 560               ntohs(message->type),
 561               ntohs(message->size),
 562               GNUNET_i2s(&(con->session->identity)),http_plugin_address_to_string(NULL,con->addr,con->addrlen));
 563
 564   con->session->plugin->env->receive (con->session->plugin->env->cls,
 565                             &con->session->identity,
 566                             message, 1, con->session,
 567                             con->addr,
 568                             con->addrlen);
 569 }
 570
 571 /**
 572  * Check if ip is allowed to connect.
 573  */
 574 static int
 575 acceptPolicyCallback (void *cls,
 576                       const struct sockaddr *addr, socklen_t addr_len)
 577 {
 578 #if 0
 579   struct Plugin *plugin = cls;
 580 #endif
 581   /* Every connection is accepted, nothing more to do here */
 582   return MHD_YES;
 583 }
 584
 585 int server_read_callback (void *cls, uint64_t pos, char *buf, int max)
 586 {
 587   int bytes_read = -1;
 588   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "server_read_callback\n");
 589   return bytes_read;
 590 }
 591
 592 /**
 593  * Process GET or PUT request received via MHD.  For
 594  * GET, queue response that will send back our pending
 595  * messages.  For PUT, process incoming data and send
 596  * to GNUnet core.  In either case, check if a session
 597  * already exists and create a new one if not.
 598  */
 599 static int
 600 accessHandlerCallback (void *cls,
 601                        struct MHD_Connection *mhd_connection,
 602                        const char *url,
 603                        const char *method,
 604                        const char *version,
 605                        const char *upload_data,
 606                        size_t * upload_data_size, void **httpSessionCache)
 607 {
 608   struct Plugin *plugin = cls;
 609   struct MHD_Response *response;
 610   struct Session * cs;
 611   struct HTTP_Connection_in * con;
 612   const union MHD_ConnectionInfo * conn_info;
 613   struct sockaddr_in  *addrin;
 614   struct sockaddr_in6 *addrin6;
 615   char address[INET6_ADDRSTRLEN+14];
 616   struct GNUNET_PeerIdentity pi_in;
 617   int res = GNUNET_NO;
 618   int send_error_to_client;
 619   struct IPv4HttpAddress ipv4addr;
 620   struct IPv6HttpAddress ipv6addr;
 621
 622   GNUNET_assert(cls !=NULL);
 623   send_error_to_client = GNUNET_NO;
 624   if (NULL == *httpSessionCache)
 625   {
 626     /* check url for peer identity , if invalid send HTTP 404*/
 627     res = GNUNET_CRYPTO_hash_from_string ( &url[1], &(pi_in.hashPubKey));
 628     if ( GNUNET_SYSERR == res )
 629     {
 630       response = MHD_create_response_from_data (strlen (HTTP_ERROR_RESPONSE),HTTP_ERROR_RESPONSE, MHD_NO, MHD_NO);
 631       res = MHD_queue_response (mhd_connection, MHD_HTTP_NOT_FOUND, response);
 632       MHD_destroy_response (response);
 633       if (res == MHD_YES)
 634         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Peer has no valid ident, sent HTTP 1.1/404\n");
 635       else
 636         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Peer has no valid ident, could not send error\n");
 637       return res;
 638     }
 639   }
 640   else
 641   {
 642     con = *httpSessionCache;
 643     cs = con->session;
 644   }
 645
 646   /* Is it a PUT or a GET request */
 647   if (0 == strcmp (MHD_HTTP_METHOD_PUT, method))
 648   {
 649     if (NULL == *httpSessionCache)
 650     {
 651       /* get session for peer identity */
 652       cs = session_get (plugin ,&pi_in);
 653
 654       conn_info = MHD_get_connection_info(mhd_connection, MHD_CONNECTION_INFO_CLIENT_ADDRESS );
 655       /* Incoming IPv4 connection */
 656       if ( AF_INET == conn_info->client_addr->sin_family)
 657       {
 658         addrin = conn_info->client_addr;
 659         inet_ntop(addrin->sin_family, &(addrin->sin_addr),address,INET_ADDRSTRLEN);
 660         memcpy(&ipv4addr.ipv4_addr,&(addrin->sin_addr),sizeof(struct in_addr));
 661         ipv4addr.u_port = addrin->sin_port;
 662         con = session_check_inbound_address (plugin, cs, (const void *) &ipv4addr, sizeof (struct IPv4HttpAddress));
 663       }
 664       /* Incoming IPv6 connection */
 665       if ( AF_INET6 == conn_info->client_addr->sin_family)
 666       {
 667         addrin6 = (struct sockaddr_in6 *) conn_info->client_addr;
 668         inet_ntop(addrin6->sin6_family, &(addrin6->sin6_addr),address,INET6_ADDRSTRLEN);
 669         memcpy(&ipv6addr.ipv6_addr,&(addrin6->sin6_addr),sizeof(struct in6_addr));
 670         ipv6addr.u6_port = addrin6->sin6_port;
 671         con = session_check_inbound_address (plugin, cs, &ipv6addr, sizeof (struct IPv6HttpAddress));
 672       }
 673       /* Set closure and update current session*/
 674
 675       *httpSessionCache = con;
 676       if (con->msgtok==NULL)
 677         con->msgtok = GNUNET_SERVER_mst_create (GNUNET_SERVER_MAX_MESSAGE_SIZE - 1, &messageTokenizerCallback, con);
 678
 679       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"HTTP Daemon has new an incoming `%s' request from peer `%s' (`%s')\n",
 680                   method,
 681                   GNUNET_i2s(&cs->identity),
 682                   http_plugin_address_to_string(NULL, con->addr, con->addrlen));
 683     }
 684
 685     if ((*upload_data_size == 0) && (con->is_put_in_progress==GNUNET_NO))
 686     {
 687       con->is_put_in_progress = GNUNET_YES;
 688       return MHD_YES;
 689     }
 690
 691     /* Transmission of all data complete */
 692     if ((*upload_data_size == 0) && (con->is_put_in_progress == GNUNET_YES))
 693     {
 694         response = MHD_create_response_from_data (strlen (HTTP_PUT_RESPONSE),HTTP_PUT_RESPONSE, MHD_NO, MHD_NO);
 695         res = MHD_queue_response (mhd_connection, MHD_HTTP_OK, response);
 696         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Sent HTTP/1.1: 200 OK as PUT Response\n",HTTP_PUT_RESPONSE, strlen (HTTP_PUT_RESPONSE), res );
 697         MHD_destroy_response (response);
 698         return MHD_YES;
 699
 700       con->is_put_in_progress = GNUNET_NO;
 701       con->is_bad_request = GNUNET_NO;
 702       return res;
 703     }
 704
 705     /* Recieving data */
 706     if ((*upload_data_size > 0) && (con->is_put_in_progress == GNUNET_YES))
 707     {
 708       res = GNUNET_SERVER_mst_receive(con->msgtok, con, upload_data,*upload_data_size, GNUNET_NO, GNUNET_NO);
 709       (*upload_data_size) = 0;
 710       return MHD_YES;
 711     }
 712     else
 713       return MHD_NO;
 714   }
 715   if ( 0 == strcmp (MHD_HTTP_METHOD_GET, method) )
 716   {
 717     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Got GET Request\n");
 718     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"URL: `%s'\n",url);
 719
 720     /* check url for peer identity , if invalid send HTTP 404*/
 721     res = GNUNET_CRYPTO_hash_from_string ( &url[1], &(pi_in.hashPubKey));
 722
 723     if ( GNUNET_SYSERR == res )
 724     {
 725       response = MHD_create_response_from_data (strlen (HTTP_ERROR_RESPONSE),HTTP_ERROR_RESPONSE, MHD_NO, MHD_NO);
 726       res = MHD_queue_response (mhd_connection, MHD_HTTP_NOT_FOUND, response);
 727       MHD_destroy_response (response);
 728       if (res == MHD_YES)
 729         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Peer has no valid ident, sent HTTP 1.1/404\n");
 730       else
 731         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Peer has no valid ident, could not send error\n");
 732       return res;
 733     }
 734
 735     response = MHD_create_response_from_callback(-1,32 * 1024, &server_read_callback, cs, NULL);
 736     res = MHD_queue_response (mhd_connection, MHD_HTTP_NOT_FOUND, response);
 737     MHD_destroy_response (response);
 738
 739     return res;
 740
 741   }
 742   return MHD_NO;
 743 }
 744
 745
 746 /**
 747  * Call MHD to process pending ipv4 requests and then go back
 748  * and schedule the next run.
 749  */
 750 static void http_server_daemon_v4_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
 751 /**
 752  * Call MHD to process pending ipv6 requests and then go back
 753  * and schedule the next run.
 754  */
 755 static void http_server_daemon_v6_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
 756
 757 /**
 758  * Function that queries MHD's select sets and
 759  * starts the task waiting for them.
 760  */
 761 static GNUNET_SCHEDULER_TaskIdentifier
 762 http_server_daemon_prepare (void * cls, struct MHD_Daemon *daemon_handle)
 763 {
 764   struct Plugin *plugin = cls;
 765   GNUNET_SCHEDULER_TaskIdentifier ret;
 766   fd_set rs;
 767   fd_set ws;
 768   fd_set es;
 769   struct GNUNET_NETWORK_FDSet *wrs;
 770   struct GNUNET_NETWORK_FDSet *wws;
 771   struct GNUNET_NETWORK_FDSet *wes;
 772   int max;
 773   unsigned long long timeout;
 774   int haveto;
 775   struct GNUNET_TIME_Relative tv;
 776
 777   GNUNET_assert(cls !=NULL);
 778   ret = GNUNET_SCHEDULER_NO_TASK;
 779   FD_ZERO(&rs);
 780   FD_ZERO(&ws);
 781   FD_ZERO(&es);
 782   wrs = GNUNET_NETWORK_fdset_create ();
 783   wes = GNUNET_NETWORK_fdset_create ();
 784   wws = GNUNET_NETWORK_fdset_create ();
 785   max = -1;
 786   GNUNET_assert (MHD_YES ==
 787                  MHD_get_fdset (daemon_handle,
 788                                 &rs,
 789                                 &ws,
 790                                 &es,
 791                                 &max));
 792   haveto = MHD_get_timeout (daemon_handle, &timeout);
 793   if (haveto == MHD_YES)
 794     tv.value = (uint64_t) timeout;
 795   else
 796     tv = GNUNET_TIME_UNIT_FOREVER_REL;
 797   GNUNET_NETWORK_fdset_copy_native (wrs, &rs, max);
 798   GNUNET_NETWORK_fdset_copy_native (wws, &ws, max);
 799   GNUNET_NETWORK_fdset_copy_native (wes, &es, max);
 800   if (daemon_handle == plugin->http_server_daemon_v4)
 801   {
 802     ret = GNUNET_SCHEDULER_add_select (plugin->env->sched,
 803                                        GNUNET_SCHEDULER_PRIORITY_DEFAULT,
 804                                        GNUNET_SCHEDULER_NO_TASK,
 805                                        tv,
 806                                        wrs,
 807                                        wws,
 808                                        &http_server_daemon_v4_run,
 809                                        plugin);
 810   }
 811   if (daemon_handle == plugin->http_server_daemon_v6)
 812   {
 813     ret = GNUNET_SCHEDULER_add_select (plugin->env->sched,
 814                                        GNUNET_SCHEDULER_PRIORITY_DEFAULT,
 815                                        GNUNET_SCHEDULER_NO_TASK,
 816                                        tv,
 817                                        wrs,
 818                                        wws,
 819                                        &http_server_daemon_v6_run,
 820                                        plugin);
 821   }
 822   GNUNET_NETWORK_fdset_destroy (wrs);
 823   GNUNET_NETWORK_fdset_destroy (wws);
 824   GNUNET_NETWORK_fdset_destroy (wes);
 825   return ret;
 826 }
 827
 828 /**
 829  * Call MHD to process pending requests and then go back
 830  * and schedule the next run.
 831  */
 832 static void http_server_daemon_v4_run (void *cls,
 833                              const struct GNUNET_SCHEDULER_TaskContext *tc)
 834 {
 835   struct Plugin *plugin = cls;
 836
 837   GNUNET_assert(cls !=NULL);
 838   if (plugin->http_server_task_v4 != GNUNET_SCHEDULER_NO_TASK)
 839     plugin->http_server_task_v4 = GNUNET_SCHEDULER_NO_TASK;
 840
 841   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
 842     return;
 843
 844   GNUNET_assert (MHD_YES == MHD_run (plugin->http_server_daemon_v4));
 845   plugin->http_server_task_v4 = http_server_daemon_prepare (plugin, plugin->http_server_daemon_v4);
 846   return;
 847 }
 848
 849
 850 /**
 851  * Call MHD to process pending requests and then go back
 852  * and schedule the next run.
 853  */
 854 static void http_server_daemon_v6_run (void *cls,
 855                              const struct GNUNET_SCHEDULER_TaskContext *tc)
 856 {
 857   struct Plugin *plugin = cls;
 858
 859   GNUNET_assert(cls !=NULL);
 860   if (plugin->http_server_task_v6 != GNUNET_SCHEDULER_NO_TASK)
 861     plugin->http_server_task_v6 = GNUNET_SCHEDULER_NO_TASK;
 862
 863   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
 864     return;
 865
 866   GNUNET_assert (MHD_YES == MHD_run (plugin->http_server_daemon_v6));
 867   plugin->http_server_task_v6 = http_server_daemon_prepare (plugin, plugin->http_server_daemon_v6);
 868   return;
 869 }
 870
 871 /**
 872  * Removes a message from the linked list of messages
 873  * @param con connection to remove message from
 874  * @param msg message to remove
 875  * @return GNUNET_SYSERR if msg not found, GNUNET_OK on success
 876  */
 877
 878 static int remove_http_message(struct HTTP_Connection_out * con, struct HTTP_Message * msg)
 879 {
 880   GNUNET_CONTAINER_DLL_remove(con->pending_msgs_head,con->pending_msgs_tail,msg);
 881   GNUNET_free(msg);
 882   return GNUNET_OK;
 883 }
 884
 885
 886 static size_t header_function( void *ptr, size_t size, size_t nmemb, void *stream)
 887 {
 888   char * tmp;
 889   size_t len = size * nmemb;
 890
 891   tmp = NULL;
 892   if ((size * nmemb) < SIZE_MAX)
 893     tmp = GNUNET_malloc (len+1);
 894
 895   if ((tmp != NULL) && (len > 0))
 896   {
 897     memcpy(tmp,ptr,len);
 898     if (len>=2)
 899     {
 900       if (tmp[len-2] == 13)
 901         tmp[len-2]= '\0';
 902     }
 903 #if DEBUG_HTTP
 904     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Header: `%s'\n",tmp);
 905 #endif
 906   }
 907   if (NULL != tmp)
 908     GNUNET_free (tmp);
 909
 910   return size * nmemb;
 911 }
 912
 913 /**
 914  * Callback method used with libcurl
 915  * Method is called when libcurl needs to read data during sending
 916  * @param stream pointer where to write data
 917  * @param size size of an individual element
 918  * @param nmemb count of elements that can be written to the buffer
 919  * @param ptr source pointer, passed to the libcurl handle
 920  * @return bytes written to stream
 921  */
 922 static size_t send_read_callback(void *stream, size_t size, size_t nmemb, void *ptr)
 923 {
 924   struct HTTP_Connection_out * con = ptr;
 925   struct HTTP_Message * msg = con->pending_msgs_tail;
 926   size_t bytes_sent;
 927   size_t len;
 928
 929   if (con->pending_msgs_tail == NULL)
 930   {
 931     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Connection %X: No Message to send, pausing connection\n",con);
 932     con->send_paused = GNUNET_YES;
 933     return CURL_READFUNC_PAUSE;
 934   }
 935
 936   msg = con->pending_msgs_tail;
 937   /* data to send */
 938   if (msg->pos < msg->size)
 939   {
 940     /* data fit in buffer */
 941     if ((msg->size - msg->pos) <= (size * nmemb))
 942     {
 943       len = (msg->size - msg->pos);
 944       memcpy(stream, &msg->buf[msg->pos], len);
 945       msg->pos += len;
 946       bytes_sent = len;
 947     }
 948     else
 949     {
 950       len = size*nmemb;
 951       memcpy(stream, &msg->buf[msg->pos], len);
 952       msg->pos += len;
 953       bytes_sent = len;
 954     }
 955   }
 956   /* no data to send */
 957   else
 958   {
 959     bytes_sent = 0;
 960   }
 961
 962   if ( msg->pos == msg->size)
 963   {
 964     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Connection %X: Message with %u bytes sent, removing message from queue \n",con, msg->pos);
 965     /* Calling transmit continuation  */
 966     if (( NULL != con->pending_msgs_tail) && (NULL != con->pending_msgs_tail->transmit_cont))
 967       msg->transmit_cont (con->pending_msgs_tail->transmit_cont_cls,&(con->session)->identity,GNUNET_OK);
 968     remove_http_message(con, msg);
 969   }
 970   return bytes_sent;
 971 }
 972
 973 /**
 974 * Callback method used with libcurl
 975 * Method is called when libcurl needs to write data during sending
 976 * @param stream pointer where to write data
 977 * @param size size of an individual element
 978 * @param nmemb count of elements that can be written to the buffer
 979 * @param ptr destination pointer, passed to the libcurl handle
 980 * @return bytes read from stream
 981 */
 982 static size_t send_write_callback( void *stream, size_t size, size_t nmemb, void *ptr)
 983 {
 984   char * data = NULL;
 985
 986   if ((size * nmemb) < SIZE_MAX)
 987     data = GNUNET_malloc(size*nmemb +1);
 988   if (data != NULL)
 989   {
 990     memcpy( data, stream, size*nmemb);
 991     data[size*nmemb] = '\0';
 992     free (data);
 993   }
 994   return (size * nmemb);
 995
 996 }
 997
 998 /**
 999  * Function setting up file descriptors and scheduling task to run
1000  * @param cls closure
1001  * @param ses session to send data to
1002  * @return bytes sent to peer
1003  */
1004 static size_t send_schedule(void *cls, struct Session* ses );
1005
1006
1007
1008 /**
1009  * Function setting up curl handle and selecting message to send
1010  * @param cls plugin
1011  * @param ses session to send data to
1012  * @param con connection
1013  * @return bytes sent to peer
1014  */
1015 static ssize_t send_initiate (void *cls, struct Session* ses , struct HTTP_Connection_out *con)
1016 {
1017   struct Plugin *plugin = cls;
1018   int bytes_sent = 0;
1019   CURLMcode mret;
1020   struct HTTP_Message * msg;
1021   struct GNUNET_TIME_Relative timeout = GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT;
1022
1023   /* already connected, no need to initiate connection */
1024   if ((con->connected == GNUNET_YES) && (con->curl_handle != NULL) && (con->send_paused == GNUNET_NO))
1025   {
1026     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Connection %X: active, enqueueing message\n",con);
1027     return bytes_sent;
1028   }
1029
1030   if ((con->connected == GNUNET_YES) && (con->curl_handle != NULL) && (con->send_paused == GNUNET_YES))
1031   {
1032     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Connection %X: paused, unpausing existing connection and enqueueing message\n",con);
1033     curl_easy_pause(con->curl_handle,CURLPAUSE_CONT);
1034     con->send_paused=GNUNET_NO;
1035     return bytes_sent;
1036   }
1037
1038   /* not connected, initiate connection */
1039   GNUNET_assert(cls !=NULL);
1040
1041   if ( NULL == con->curl_handle)
1042     con->curl_handle = curl_easy_init();
1043   GNUNET_assert (con->curl_handle != NULL);
1044   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Connection %X: not connected, initiating connection\n",con);
1045
1046   GNUNET_assert (NULL != con->pending_msgs_tail);
1047   msg = con->pending_msgs_tail;
1048
1049 #if DEBUG_CURL
1050   curl_easy_setopt(con->curl_handle, CURLOPT_VERBOSE, 1L);
1051 #endif
1052   curl_easy_setopt(con->curl_handle, CURLOPT_URL, con->url);
1053   curl_easy_setopt(con->curl_handle, CURLOPT_PUT, 1L);
1054   curl_easy_setopt(con->curl_handle, CURLOPT_HEADERFUNCTION, &header_function);
1055   curl_easy_setopt(con->curl_handle, CURLOPT_WRITEHEADER, con);
1056   curl_easy_setopt(con->curl_handle, CURLOPT_READFUNCTION, send_read_callback);
1057   curl_easy_setopt(con->curl_handle, CURLOPT_READDATA, con);
1058   curl_easy_setopt(con->curl_handle, CURLOPT_WRITEFUNCTION, send_write_callback);
1059   curl_easy_setopt(con->curl_handle, CURLOPT_READDATA, con);
1060   curl_easy_setopt(con->curl_handle, CURLOPT_TIMEOUT, (long) timeout.value);
1061   curl_easy_setopt(con->curl_handle, CURLOPT_PRIVATE, con);
1062   curl_easy_setopt(con->curl_handle, CURLOPT_CONNECTTIMEOUT, HTTP_CONNECT_TIMEOUT_DBG);
1063   curl_easy_setopt(con->curl_handle, CURLOPT_BUFFERSIZE, GNUNET_SERVER_MAX_MESSAGE_SIZE);
1064
1065   mret = curl_multi_add_handle(plugin->multi_handle, con->curl_handle);
1066   if (mret != CURLM_OK)
1067   {
1068     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1069                 _("%s failed at %s:%d: `%s'\n"),
1070                 "curl_multi_add_handle", __FILE__, __LINE__,
1071                 curl_multi_strerror (mret));
1072     return -1;
1073   }
1074
1075   con->connected = GNUNET_YES;
1076
1077   bytes_sent = send_schedule (plugin, ses);
1078   return bytes_sent;
1079 }
1080
1081 static void send_execute (void *cls,
1082              const struct GNUNET_SCHEDULER_TaskContext *tc)
1083 {
1084   struct Plugin *plugin = cls;
1085   static unsigned int handles_last_run;
1086   int running;
1087   struct CURLMsg *msg;
1088   CURLMcode mret;
1089   struct HTTP_Connection_out * con = NULL;
1090   struct Session * cs = NULL;
1091   long http_result;
1092
1093   GNUNET_assert(cls !=NULL);
1094   plugin->http_server_task_send = GNUNET_SCHEDULER_NO_TASK;
1095   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
1096     return;
1097
1098   do
1099     {
1100       running = 0;
1101       mret = curl_multi_perform (plugin->multi_handle, &running);
1102       if (running < handles_last_run)
1103         {
1104           do
1105             {
1106
1107               msg = curl_multi_info_read (plugin->multi_handle, &running);
1108               if (msg == NULL)
1109                 break;
1110               /* get session for affected curl handle */
1111               GNUNET_assert ( msg->easy_handle != NULL );
1112               curl_easy_getinfo(msg->easy_handle, CURLINFO_PRIVATE, (char *) &con);
1113               GNUNET_assert ( con != NULL );
1114               cs = con->session;
1115               GNUNET_assert ( cs != NULL );
1116               switch (msg->msg)
1117                 {
1118
1119                 case CURLMSG_DONE:
1120                   if ( (msg->data.result != CURLE_OK) &&
1121                        (msg->data.result != CURLE_GOT_NOTHING) )
1122                   {
1123
1124
1125                     GNUNET_log(GNUNET_ERROR_TYPE_INFO,
1126                                _("Connection %X to peer `%s' (`%s') failed: `%s' `%s'\n"),
1127                                con,
1128                                GNUNET_i2s(&cs->identity),
1129                                http_plugin_address_to_string(NULL, con->addr, con->addrlen),
1130                                "curl_multi_perform",
1131                                curl_easy_strerror (msg->data.result));
1132                     /* sending msg failed*/
1133                     con->connected = GNUNET_NO;
1134                     curl_easy_cleanup(con->curl_handle);
1135                     con->curl_handle=NULL;
1136                     if (( NULL != con->pending_msgs_tail) && ( NULL != con->pending_msgs_tail->transmit_cont))
1137                       con->pending_msgs_tail->transmit_cont (con->pending_msgs_tail->transmit_cont_cls,&con->session->identity,GNUNET_SYSERR);
1138
1139                   }
1140                   else
1141                   {
1142                     GNUNET_assert (CURLE_OK == curl_easy_getinfo(msg->easy_handle, CURLINFO_RESPONSE_CODE, &http_result));
1143                     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1144                                 "Send to peer `%s' completed with code %u\n", GNUNET_i2s(&cs->identity), http_result );
1145
1146                     curl_easy_cleanup(con->curl_handle);
1147                     con->connected = GNUNET_NO;
1148                     con->curl_handle=NULL;
1149
1150                     /* Calling transmit continuation  */
1151                     if (( NULL != con->pending_msgs_tail) && (NULL != con->pending_msgs_tail->transmit_cont))
1152                     {
1153                       /* HTTP 1xx : Last message before here was informational */
1154                       if ((http_result >=100) && (http_result < 200))
1155                         con->pending_msgs_tail->transmit_cont (con->pending_msgs_tail->transmit_cont_cls,&cs->identity,GNUNET_OK);
1156                       /* HTTP 2xx: successful operations */
1157                       if ((http_result >=200) && (http_result < 300))
1158                         con->pending_msgs_tail->transmit_cont (con->pending_msgs_tail->transmit_cont_cls,&cs->identity,GNUNET_OK);
1159                       /* HTTP 3xx..5xx: error */
1160                       if ((http_result >=300) && (http_result < 600))
1161                         con->pending_msgs_tail->transmit_cont (con->pending_msgs_tail->transmit_cont_cls,&cs->identity,GNUNET_SYSERR);
1162                     }
1163                   }
1164                   if (con->pending_msgs_tail != NULL)
1165                   {
1166                     if (con->pending_msgs_tail->pos>0)
1167                       remove_http_message(con, con->pending_msgs_tail);
1168                     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Message could not be removed from session `%s'\n", GNUNET_i2s(&cs->identity));
1169                   }
1170                   return;
1171                 default:
1172                   break;
1173                 }
1174
1175             }
1176           while ( (running > 0) );
1177         }
1178       handles_last_run = running;
1179     }
1180   while (mret == CURLM_CALL_MULTI_PERFORM);
1181   send_schedule(plugin, cls);
1182 }
1183
1184
1185 /**
1186  * Function setting up file descriptors and scheduling task to run
1187  * @param ses session to send data to
1188  * @return bytes sent to peer
1189  */
1190 static size_t send_schedule(void *cls, struct Session* ses )
1191 {
1192   struct Plugin *plugin = cls;
1193   fd_set rs;
1194   fd_set ws;
1195   fd_set es;
1196   int max;
1197   struct GNUNET_NETWORK_FDSet *grs;
1198   struct GNUNET_NETWORK_FDSet *gws;
1199   long to;
1200   CURLMcode mret;
1201
1202   GNUNET_assert(cls !=NULL);
1203   max = -1;
1204   FD_ZERO (&rs);
1205   FD_ZERO (&ws);
1206   FD_ZERO (&es);
1207   mret = curl_multi_fdset (plugin->multi_handle, &rs, &ws, &es, &max);
1208   if (mret != CURLM_OK)
1209     {
1210       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1211                   _("%s failed at %s:%d: `%s'\n"),
1212                   "curl_multi_fdset", __FILE__, __LINE__,
1213                   curl_multi_strerror (mret));
1214       return -1;
1215     }
1216   mret = curl_multi_timeout (plugin->multi_handle, &to);
1217   if (mret != CURLM_OK)
1218     {
1219       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1220                   _("%s failed at %s:%d: `%s'\n"),
1221                   "curl_multi_timeout", __FILE__, __LINE__,
1222                   curl_multi_strerror (mret));
1223       return -1;
1224     }
1225
1226   grs = GNUNET_NETWORK_fdset_create ();
1227   gws = GNUNET_NETWORK_fdset_create ();
1228   GNUNET_NETWORK_fdset_copy_native (grs, &rs, max + 1);
1229   GNUNET_NETWORK_fdset_copy_native (gws, &ws, max + 1);
1230   plugin->http_server_task_send = GNUNET_SCHEDULER_add_select (plugin->env->sched,
1231                                    GNUNET_SCHEDULER_PRIORITY_DEFAULT,
1232                                    GNUNET_SCHEDULER_NO_TASK,
1233                                    GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 0),
1234                                    grs,
1235                                    gws,
1236                                    &send_execute,
1237                                    plugin);
1238   GNUNET_NETWORK_fdset_destroy (gws);
1239   GNUNET_NETWORK_fdset_destroy (grs);
1240
1241   /* FIXME: return bytes REALLY sent */
1242   return 0;
1243 }
1244
1245
1246 /**
1247  * Function that can be used by the transport service to transmit
1248  * a message using the plugin.
1249  *
1250  * @param cls closure
1251  * @param target who should receive this message
1252  * @param priority how important is the message
1253  * @param msgbuf the message to transmit
1254  * @param msgbuf_size number of bytes in 'msgbuf'
1255  * @param to when should we time out
1256  * @param session which session must be used (or NULL for "any")
1257  * @param addr the address to use (can be NULL if the plugin
1258  *                is "on its own" (i.e. re-use existing TCP connection))
1259  * @param addrlen length of the address in bytes
1260  * @param force_address GNUNET_YES if the plugin MUST use the given address,
1261  *                otherwise the plugin may use other addresses or
1262  *                existing connections (if available)
1263  * @param cont continuation to call once the message has
1264  *        been transmitted (or if the transport is ready
1265  *        for the next transmission call; or if the
1266  *        peer disconnected...)
1267  * @param cont_cls closure for cont
1268  * @return number of bytes used (on the physical network, with overheads);
1269  *         -1 on hard errors (i.e. address invalid); 0 is a legal value
1270  *         and does NOT mean that the message was not transmitted (DV)
1271  */
1272 static ssize_t
1273 http_plugin_send (void *cls,
1274                   const struct GNUNET_PeerIdentity *target,
1275                   const char *msgbuf,
1276                   size_t msgbuf_size,
1277                   unsigned int priority,
1278                   struct GNUNET_TIME_Relative to,
1279                   struct Session *session,
1280                   const void *addr,
1281                   size_t addrlen,
1282                   int force_address,
1283                   GNUNET_TRANSPORT_TransmitContinuation cont,
1284                   void *cont_cls)
1285 {
1286   struct Plugin *plugin = cls;
1287   struct Session *cs;
1288   struct HTTP_Message *msg;
1289   struct HTTP_Connection_out *con;
1290   //unsigned int ret;
1291
1292   GNUNET_assert(cls !=NULL);
1293   GNUNET_assert ((addr!=NULL) && (addrlen != 0));
1294
1295   /* get session from hashmap */
1296   cs = session_get(plugin, target);
1297   con = session_check_outbound_address(plugin, cs, addr, addrlen);
1298   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Transport tells me to send %u bytes to `%s' (%s), session: %X\n",
1299                                       msgbuf_size, GNUNET_i2s(&cs->identity),
1300                                       http_plugin_address_to_string(NULL, addr, addrlen),
1301                                       session);
1302
1303   /* create msg */
1304   msg = GNUNET_malloc (sizeof (struct HTTP_Message) + msgbuf_size);
1305   msg->next = NULL;
1306   msg->size = msgbuf_size;
1307   msg->pos = 0;
1308   msg->buf = (char *) &msg[1];
1309   msg->transmit_cont = cont;
1310   msg->transmit_cont_cls = cont_cls;
1311   memcpy (msg->buf,msgbuf, msgbuf_size);
1312
1313   /* must use this address */
1314   if (force_address == GNUNET_YES)
1315   {
1316     /* enqueue in connection message queue */
1317     GNUNET_CONTAINER_DLL_insert(con->pending_msgs_head,con->pending_msgs_tail,msg);
1318   }
1319   /* can use existing connection to send */
1320   else
1321   {
1322     /* enqueue in connection message queue */
1323     GNUNET_CONTAINER_DLL_insert(con->pending_msgs_head,con->pending_msgs_tail,msg);
1324   }
1325   return send_initiate (plugin, cs, con);
1326 }
1327
1328
1329
1330 /**
1331  * Function that can be used to force the plugin to disconnect
1332  * from the given peer and cancel all previous transmissions
1333  * (and their continuationc).
1334  *
1335  * @param cls closure
1336  * @param target peer from which to disconnect
1337  */
1338 static void
1339 http_plugin_disconnect (void *cls,
1340                             const struct GNUNET_PeerIdentity *target)
1341 {
1342   struct Plugin *plugin = cls;
1343   struct HTTP_Connection_out *con;
1344   struct Session *cs;
1345
1346   /* get session from hashmap */
1347   cs = session_get(plugin, target);
1348   con = cs->outbound_connections_head;
1349
1350   while (con!=NULL)
1351   {
1352     if (con->curl_handle!=NULL)
1353       curl_easy_cleanup(con->curl_handle);
1354     con->curl_handle=NULL;
1355     con->connected = GNUNET_NO;
1356     while (con->pending_msgs_head!=NULL)
1357     {
1358       remove_http_message(con, con->pending_msgs_head);
1359     }
1360     con=con->next;
1361   }
1362 }
1363
1364
1365 /**
1366  * Convert the transports address to a nice, human-readable
1367  * format.
1368  *
1369  * @param cls closure
1370  * @param type name of the transport that generated the address
1371  * @param addr one of the addresses of the host, NULL for the last address
1372  *        the specific address format depends on the transport
1373  * @param addrlen length of the address
1374  * @param numeric should (IP) addresses be displayed in numeric form?
1375  * @param timeout after how long should we give up?
1376  * @param asc function to call on each string
1377  * @param asc_cls closure for asc
1378  */
1379 static void
1380 http_plugin_address_pretty_printer (void *cls,
1381                                         const char *type,
1382                                         const void *addr,
1383                                         size_t addrlen,
1384                                         int numeric,
1385                                         struct GNUNET_TIME_Relative timeout,
1386                                         GNUNET_TRANSPORT_AddressStringCallback
1387                                         asc, void *asc_cls)
1388 {
1389   const struct IPv4HttpAddress *t4;
1390   const struct IPv6HttpAddress *t6;
1391   struct sockaddr_in a4;
1392   struct sockaddr_in6 a6;
1393   char * address;
1394   char * ret;
1395   unsigned int port;
1396   unsigned int res;
1397
1398   GNUNET_assert(cls !=NULL);
1399   if (addrlen == sizeof (struct IPv6HttpAddress))
1400   {
1401     address = GNUNET_malloc (INET6_ADDRSTRLEN);
1402     t6 = addr;
1403     a6.sin6_addr = t6->ipv6_addr;
1404     inet_ntop(AF_INET6, &(a6.sin6_addr),address,INET6_ADDRSTRLEN);
1405     port = ntohs(t6->u6_port);
1406   }
1407   else if (addrlen == sizeof (struct IPv4HttpAddress))
1408   {
1409     address = GNUNET_malloc (INET_ADDRSTRLEN);
1410     t4 = addr;
1411     a4.sin_addr.s_addr =  t4->ipv4_addr;
1412     inet_ntop(AF_INET, &(a4.sin_addr),address,INET_ADDRSTRLEN);
1413     port = ntohs(t4->u_port);
1414   }
1415   else
1416   {
1417     /* invalid address */
1418     GNUNET_break_op (0);
1419     asc (asc_cls, NULL);
1420     return;
1421   }
1422   res = GNUNET_asprintf(&ret,"http://%s:%u/",address,port);
1423   GNUNET_free (address);
1424   GNUNET_assert(res != 0);
1425
1426   asc (asc_cls, ret);
1427 }
1428
1429
1430
1431 /**
1432  * Another peer has suggested an address for this
1433  * peer and transport plugin.  Check that this could be a valid
1434  * address.  If so, consider adding it to the list
1435  * of addresses.
1436  *
1437  * @param cls closure
1438  * @param addr pointer to the address
1439  * @param addrlen length of addr
1440  * @return GNUNET_OK if this is a plausible address for this peer
1441  *         and transport
1442  */
1443 static int
1444 http_plugin_address_suggested (void *cls,
1445                                const void *addr, size_t addrlen)
1446 {
1447   struct Plugin *plugin = cls;
1448   struct IPv4HttpAddress *v4;
1449   struct IPv6HttpAddress *v6;
1450   unsigned int port;
1451
1452   GNUNET_assert(cls !=NULL);
1453   if ((addrlen != sizeof (struct IPv4HttpAddress)) &&
1454       (addrlen != sizeof (struct IPv6HttpAddress)))
1455     {
1456       return GNUNET_SYSERR;
1457     }
1458   if (addrlen == sizeof (struct IPv4HttpAddress))
1459     {
1460       v4 = (struct IPv4HttpAddress *) addr;
1461       if (INADDR_LOOPBACK == ntohl(v4->ipv4_addr))
1462       {
1463         return GNUNET_SYSERR;
1464       }
1465       port = ntohs (v4->u_port);
1466       if (port != plugin->port_inbound)
1467       {
1468         return GNUNET_SYSERR;
1469       }
1470     }
1471   else
1472     {
1473       v6 = (struct IPv6HttpAddress *) addr;
1474       if (IN6_IS_ADDR_LINKLOCAL (&v6->ipv6_addr))
1475         {
1476           return GNUNET_SYSERR;
1477         }
1478       port = ntohs (v6->u6_port);
1479       if (port != plugin->port_inbound)
1480       {
1481         return GNUNET_SYSERR;
1482       }
1483     }
1484   return GNUNET_OK;
1485 }
1486
1487
1488 /**
1489  * Function called for a quick conversion of the binary address to
1490  * a numeric address.  Note that the caller must not free the
1491  * address and that the next call to this function is allowed
1492  * to override the address again.
1493  *
1494  * @param cls closure
1495  * @param addr binary address
1496  * @param addrlen length of the address
1497  * @return string representing the same address
1498  */
1499 static const char*
1500 http_plugin_address_to_string (void *cls,
1501                                    const void *addr,
1502                                    size_t addrlen)
1503 {
1504   const struct IPv4HttpAddress *t4;
1505   const struct IPv6HttpAddress *t6;
1506   struct sockaddr_in a4;
1507   struct sockaddr_in6 a6;
1508   char * address;
1509   char * ret;
1510   uint16_t port;
1511   unsigned int res;
1512
1513   if (addrlen == sizeof (struct IPv6HttpAddress))
1514     {
1515       address = GNUNET_malloc (INET6_ADDRSTRLEN);
1516       t6 = addr;
1517       a6.sin6_addr = t6->ipv6_addr;
1518       inet_ntop(AF_INET6, &(a6.sin6_addr),address,INET6_ADDRSTRLEN);
1519       port = ntohs(t6->u6_port);
1520     }
1521   else if (addrlen == sizeof (struct IPv4HttpAddress))
1522     {
1523       address = GNUNET_malloc (INET_ADDRSTRLEN);
1524       t4 = addr;
1525       a4.sin_addr.s_addr =  t4->ipv4_addr;
1526       inet_ntop(AF_INET, &(a4.sin_addr),address,INET_ADDRSTRLEN);
1527       port = ntohs(t4->u_port);
1528     }
1529   else
1530     {
1531       /* invalid address */
1532       return NULL;
1533     }
1534   res = GNUNET_asprintf(&ret,"%s:%u",address,port);
1535   GNUNET_free (address);
1536   GNUNET_assert(res != 0);
1537   return ret;
1538 }
1539
1540 /**
1541  * Add the IP of our network interface to the list of
1542  * our external IP addresses.
1543  *
1544  * @param cls the 'struct Plugin*'
1545  * @param name name of the interface
1546  * @param isDefault do we think this may be our default interface
1547  * @param addr address of the interface
1548  * @param addrlen number of bytes in addr
1549  * @return GNUNET_OK to continue iterating
1550  */
1551 static int
1552 process_interfaces (void *cls,
1553                     const char *name,
1554                     int isDefault,
1555                     const struct sockaddr *addr, socklen_t addrlen)
1556 {
1557   struct Plugin *plugin = cls;
1558   struct IPv4HttpAddress * t4;
1559   struct IPv6HttpAddress * t6;
1560   int af;
1561
1562   GNUNET_assert(cls !=NULL);
1563   af = addr->sa_family;
1564   if (af == AF_INET)
1565     {
1566       t4 = GNUNET_malloc(sizeof(struct IPv4HttpAddress));
1567       if (INADDR_LOOPBACK == ntohl(((struct sockaddr_in *) addr)->sin_addr.s_addr))
1568       {
1569         /* skip loopback addresses */
1570         return GNUNET_OK;
1571       }
1572       t4->ipv4_addr = ((struct sockaddr_in *) addr)->sin_addr.s_addr;
1573       t4->u_port = htons (plugin->port_inbound);
1574       plugin->env->notify_address(plugin->env->cls,"http",t4, sizeof (struct IPv4HttpAddress), GNUNET_TIME_UNIT_FOREVER_REL);
1575
1576     }
1577   else if (af == AF_INET6)
1578     {
1579       t6 = GNUNET_malloc(sizeof(struct IPv6HttpAddress));
1580       if (IN6_IS_ADDR_LINKLOCAL (&((struct sockaddr_in6 *) addr)->sin6_addr))
1581         {
1582           /* skip link local addresses */
1583           return GNUNET_OK;
1584         }
1585       if (IN6_IS_ADDR_LOOPBACK (&((struct sockaddr_in6 *) addr)->sin6_addr))
1586         {
1587           /* skip loopback addresses */
1588           return GNUNET_OK;
1589         }
1590       memcpy (&t6->ipv6_addr,
1591               &((struct sockaddr_in6 *) addr)->sin6_addr,
1592               sizeof (struct in6_addr));
1593       t6->u6_port = htons (plugin->port_inbound);
1594       plugin->env->notify_address(plugin->env->cls,"http",t6,sizeof (struct IPv6HttpAddress) , GNUNET_TIME_UNIT_FOREVER_REL);
1595     }
1596   return GNUNET_OK;
1597 }
1598 int hashMapFreeIterator (void *cls, const GNUNET_HashCode *key, void *value)
1599 {
1600   struct Session * cs = value;
1601   struct HTTP_Connection_out * con = cs->outbound_connections_head;
1602   struct HTTP_Connection_out * tmp_con = cs->outbound_connections_head;
1603   struct HTTP_Message * msg = NULL;
1604   struct HTTP_Message * tmp_msg = NULL;
1605
1606   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Freeing session for peer `%s'\n",GNUNET_i2s(&cs->identity));
1607
1608   /* freeing connections */
1609   while (con!=NULL)
1610   {
1611     GNUNET_free(con->url);
1612     if (con->curl_handle!=NULL)
1613       curl_easy_cleanup(con->curl_handle);
1614     con->curl_handle = NULL;
1615     msg = con->pending_msgs_head;
1616     while (msg!=NULL)
1617     {
1618       tmp_msg=msg->next;
1619       GNUNET_free(msg);
1620       msg = tmp_msg;
1621     }
1622     tmp_con=con->next;
1623     GNUNET_free(con);
1624     con=tmp_con;
1625   }
1626   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"All sessions freed \n");
1627
1628   GNUNET_free (cs);
1629   return GNUNET_YES;
1630 }
1631
1632 /**
1633  * Exit point from the plugin.
1634  */
1635 void *
1636 libgnunet_plugin_transport_http_done (void *cls)
1637 {
1638   struct GNUNET_TRANSPORT_PluginFunctions *api = cls;
1639   struct Plugin *plugin = api->cls;
1640   CURLMcode mret;
1641
1642   GNUNET_assert(cls !=NULL);
1643
1644
1645   if ( plugin->http_server_task_v4 != GNUNET_SCHEDULER_NO_TASK)
1646   {
1647     GNUNET_SCHEDULER_cancel(plugin->env->sched, plugin->http_server_task_v4);
1648     plugin->http_server_task_v4 = GNUNET_SCHEDULER_NO_TASK;
1649   }
1650
1651   if ( plugin->http_server_task_v6 != GNUNET_SCHEDULER_NO_TASK)
1652   {
1653     GNUNET_SCHEDULER_cancel(plugin->env->sched, plugin->http_server_task_v6);
1654     plugin->http_server_task_v6 = GNUNET_SCHEDULER_NO_TASK;
1655   }
1656
1657   if ( plugin->http_server_task_send != GNUNET_SCHEDULER_NO_TASK)
1658   {
1659     GNUNET_SCHEDULER_cancel(plugin->env->sched, plugin->http_server_task_send);
1660     plugin->http_server_task_send = GNUNET_SCHEDULER_NO_TASK;
1661   }
1662
1663   if (plugin->http_server_daemon_v4 != NULL)
1664   {
1665     MHD_stop_daemon (plugin->http_server_daemon_v4);
1666     plugin->http_server_daemon_v4 = NULL;
1667   }
1668   if (plugin->http_server_daemon_v6 != NULL)
1669   {
1670     MHD_stop_daemon (plugin->http_server_daemon_v6);
1671     plugin->http_server_daemon_v6 = NULL;
1672   }
1673
1674   /* free all sessions */
1675   GNUNET_CONTAINER_multihashmap_iterate (plugin->sessions,
1676                                          &hashMapFreeIterator,
1677                                          NULL);
1678
1679   GNUNET_CONTAINER_multihashmap_destroy (plugin->sessions);
1680
1681   mret = curl_multi_cleanup(plugin->multi_handle);
1682   if ( CURLM_OK != mret)
1683     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"curl multihandle clean up failed");
1684
1685   GNUNET_free (plugin);
1686   GNUNET_free (api);
1687   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Unload http plugin complete...\n");
1688   return NULL;
1689 }
1690
1691
1692 /**
1693  * Entry point for the plugin.
1694  */
1695 void *
1696 libgnunet_plugin_transport_http_init (void *cls)
1697 {
1698   struct GNUNET_TRANSPORT_PluginEnvironment *env = cls;
1699   struct Plugin *plugin;
1700   struct GNUNET_TRANSPORT_PluginFunctions *api;
1701   struct GNUNET_TIME_Relative gn_timeout;
1702   long long unsigned int port;
1703
1704   GNUNET_assert(cls !=NULL);
1705   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Starting http plugin...\n");
1706
1707   plugin = GNUNET_malloc (sizeof (struct Plugin));
1708   plugin->env = env;
1709   plugin->sessions = NULL;
1710
1711   api = GNUNET_malloc (sizeof (struct GNUNET_TRANSPORT_PluginFunctions));
1712   api->cls = plugin;
1713   api->send = &http_plugin_send;
1714   api->disconnect = &http_plugin_disconnect;
1715   api->address_pretty_printer = &http_plugin_address_pretty_printer;
1716   api->check_address = &http_plugin_address_suggested;
1717   api->address_to_string = &http_plugin_address_to_string;
1718
1719   /* Hashing our identity to use it in URLs */
1720   GNUNET_CRYPTO_hash_to_enc ( &(plugin->env->my_identity->hashPubKey), &plugin->my_ascii_hash_ident);
1721
1722   /* Reading port number from config file */
1723   if ((GNUNET_OK !=
1724        GNUNET_CONFIGURATION_get_value_number (env->cfg,
1725                                               "transport-http",
1726                                               "PORT",
1727                                               &port)) ||
1728       (port > 65535) )
1729     {
1730       GNUNET_log_from (GNUNET_ERROR_TYPE_ERROR,
1731                        "http",
1732                        _
1733                        ("Require valid port number for transport plugin `%s' in configuration!\n"),
1734                        "transport-http");
1735       libgnunet_plugin_transport_http_done (api);
1736       return NULL;
1737     }
1738   GNUNET_assert ((port > 0) && (port <= 65535));
1739   plugin->port_inbound = port;
1740   gn_timeout = GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT;
1741   if ((plugin->http_server_daemon_v4 == NULL) && (plugin->http_server_daemon_v6 == NULL) && (port != 0))
1742     {
1743     plugin->http_server_daemon_v6 = MHD_start_daemon (MHD_USE_IPv6,
1744                                        port,
1745                                        &acceptPolicyCallback,
1746                                        plugin , &accessHandlerCallback, plugin,
1747                                        MHD_OPTION_CONNECTION_LIMIT, (unsigned int) 16,
1748                                        MHD_OPTION_PER_IP_CONNECTION_LIMIT, (unsigned int) 1,
1749                                        MHD_OPTION_CONNECTION_TIMEOUT, (gn_timeout.value / 1000),
1750                                        MHD_OPTION_CONNECTION_MEMORY_LIMIT, (size_t) (16 * 1024),
1751                                        MHD_OPTION_NOTIFY_COMPLETED, &requestCompletedCallback, NULL,
1752                                        MHD_OPTION_END);
1753     plugin->http_server_daemon_v4 = MHD_start_daemon (MHD_NO_FLAG,
1754                                        port,
1755                                        &acceptPolicyCallback,
1756                                        plugin , &accessHandlerCallback, plugin,
1757                                        MHD_OPTION_CONNECTION_LIMIT, (unsigned int) 16,
1758                                        MHD_OPTION_PER_IP_CONNECTION_LIMIT, (unsigned int) 1,
1759                                        MHD_OPTION_CONNECTION_TIMEOUT, (gn_timeout.value / 1000),
1760                                        MHD_OPTION_CONNECTION_MEMORY_LIMIT, (size_t) (16 * 1024),
1761                                        MHD_OPTION_NOTIFY_COMPLETED, &requestCompletedCallback, NULL,
1762                                        MHD_OPTION_END);
1763     }
1764   if (plugin->http_server_daemon_v4 != NULL)
1765     plugin->http_server_task_v4 = http_server_daemon_prepare (plugin, plugin->http_server_daemon_v4);
1766   if (plugin->http_server_daemon_v6 != NULL)
1767     plugin->http_server_task_v6 = http_server_daemon_prepare (plugin, plugin->http_server_daemon_v6);
1768
1769   if (plugin->http_server_task_v4 != GNUNET_SCHEDULER_NO_TASK)
1770     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Starting MHD with IPv4 on port %u\n",port);
1771   else if (plugin->http_server_task_v6 != GNUNET_SCHEDULER_NO_TASK)
1772     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"Starting MHD with IPv4 and IPv6 on port %u\n",port);
1773   else
1774   {
1775     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,"No MHD was started, transport plugin not functional!\n");
1776     libgnunet_plugin_transport_http_done (api);
1777     return NULL;
1778   }
1779
1780   /* Initializing cURL */
1781   curl_global_init(CURL_GLOBAL_ALL);
1782   plugin->multi_handle = curl_multi_init();
1783
1784   if ( NULL == plugin->multi_handle )
1785   {
1786     GNUNET_log_from (GNUNET_ERROR_TYPE_ERROR,
1787                      "http",
1788                      _("Could not initialize curl multi handle, failed to start http plugin!\n"),
1789                      "transport-http");
1790     libgnunet_plugin_transport_http_done (api);
1791     return NULL;
1792   }
1793
1794   plugin->sessions = GNUNET_CONTAINER_multihashmap_create (10);
1795   GNUNET_OS_network_interfaces_list (&process_interfaces, plugin);
1796
1797   return api;
1798 }
1799
1800 /* end of plugin_transport_http.c */