src/gns/gnunet-gns-proxy.c

   1 /*
   2      This file is part of GNUnet.
   3      Copyright (C) 2012-2014 GNUnet e.V.
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
  18      Boston, MA 02110-1301, USA.
  19 */
  20 /**
  21  * @author Martin Schanzenbach
  22  * @author Christian Grothoff
  23  * @file src/gns/gnunet-gns-proxy.c
  24  * @brief HTTP(S) proxy that rewrites URIs and fakes certificats to make GNS work
  25  *        with legacy browsers
  26  *
  27  * TODO:
  28  * - double-check queueing logic
  29  */
  30 #include "platform.h"
  31 #include <microhttpd.h>
  32 #if HAVE_CURL_CURL_H
  33 #include <curl/curl.h>
  34 #elif HAVE_GNURL_CURL_H
  35 #include <gnurl/curl.h>
  36 #endif
  37 #include <gnutls/gnutls.h>
  38 #include <gnutls/x509.h>
  39 #include <gnutls/abstract.h>
  40 #include <gnutls/crypto.h>
  41 #if HAVE_GNUTLS_DANE
  42 #include <gnutls/dane.h>
  43 #endif
  44 #include <regex.h>
  45 #include "gnunet_util_lib.h"
  46 #include "gnunet_gns_service.h"
  47 #include "gnunet_identity_service.h"
  48 #include "gns.h"
  49
  50
  51 /**
  52  * Default Socks5 listen port.
  53  */
  54 #define GNUNET_GNS_PROXY_PORT 7777
  55
  56 /**
  57  * Maximum supported length for a URI.
  58  * Should die. @deprecated
  59  */
  60 #define MAX_HTTP_URI_LENGTH 2048
  61
  62 /**
  63  * Size of the buffer for the data upload / download.  Must be
  64  * enough for curl, thus CURL_MAX_WRITE_SIZE is needed here (16k).
  65  */
  66 #define IO_BUFFERSIZE CURL_MAX_WRITE_SIZE
  67
  68 /**
  69  * Size of the read/write buffers for Socks.   Uses
  70  * 256 bytes for the hostname (at most), plus a few
  71  * bytes overhead for the messages.
  72  */
  73 #define SOCKS_BUFFERSIZE (256 + 32)
  74
  75 /**
  76  * Port for plaintext HTTP.
  77  */
  78 #define HTTP_PORT 80
  79
  80 /**
  81  * Port for HTTPS.
  82  */
  83 #define HTTPS_PORT 443
  84
  85 /**
  86  * Largest allowed size for a PEM certificate.
  87  */
  88 #define MAX_PEM_SIZE (10 * 1024)
  89
  90 /**
  91  * After how long do we clean up unused MHD SSL/TLS instances?
  92  */
  93 #define MHD_CACHE_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 5)
  94
  95 /**
  96  * After how long do we clean up Socks5 handles that failed to show any activity
  97  * with their respective MHD instance?
  98  */
  99 #define HTTP_HANDSHAKE_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 15)
 100
 101
 102 /**
 103  * Log curl error.
 104  *
 105  * @param level log level
 106  * @param fun name of curl_easy-function that gave the error
 107  * @param rc return code from curl
 108  */
 109 #define LOG_CURL_EASY(level,fun,rc) GNUNET_log(level, _("%s failed at %s:%d: `%s'\n"), fun, __FILE__, __LINE__, curl_easy_strerror (rc))
 110
 111
 112 /* *************** Socks protocol definitions (move to TUN?) ****************** */
 113
 114 /**
 115  * Which SOCKS version do we speak?
 116  */
 117 #define SOCKS_VERSION_5 0x05
 118
 119 /**
 120  * Flag to set for 'no authentication'.
 121  */
 122 #define SOCKS_AUTH_NONE 0
 123
 124
 125 /**
 126  * Commands in Socks5.
 127  */
 128 enum Socks5Commands
 129 {
 130   /**
 131    * Establish TCP/IP stream.
 132    */
 133   SOCKS5_CMD_TCP_STREAM = 1,
 134
 135   /**
 136    * Establish TCP port binding.
 137    */
 138   SOCKS5_CMD_TCP_PORT = 2,
 139
 140   /**
 141    * Establish UDP port binding.
 142    */
 143   SOCKS5_CMD_UDP_PORT = 3
 144 };
 145
 146
 147 /**
 148  * Address types in Socks5.
 149  */
 150 enum Socks5AddressType
 151 {
 152   /**
 153    * IPv4 address.
 154    */
 155   SOCKS5_AT_IPV4 = 1,
 156
 157   /**
 158    * IPv4 address.
 159    */
 160   SOCKS5_AT_DOMAINNAME = 3,
 161
 162   /**
 163    * IPv6 address.
 164    */
 165   SOCKS5_AT_IPV6 = 4
 166
 167 };
 168
 169
 170 /**
 171  * Status codes in Socks5 response.
 172  */
 173 enum Socks5StatusCode
 174 {
 175   SOCKS5_STATUS_REQUEST_GRANTED = 0,
 176   SOCKS5_STATUS_GENERAL_FAILURE = 1,
 177   SOCKS5_STATUS_CONNECTION_NOT_ALLOWED_BY_RULE = 2,
 178   SOCKS5_STATUS_NETWORK_UNREACHABLE = 3,
 179   SOCKS5_STATUS_HOST_UNREACHABLE = 4,
 180   SOCKS5_STATUS_CONNECTION_REFUSED_BY_HOST = 5,
 181   SOCKS5_STATUS_TTL_EXPIRED = 6,
 182   SOCKS5_STATUS_COMMAND_NOT_SUPPORTED = 7,
 183   SOCKS5_STATUS_ADDRESS_TYPE_NOT_SUPPORTED = 8
 184 };
 185
 186
 187 /**
 188  * Client hello in Socks5 protocol.
 189  */
 190 struct Socks5ClientHelloMessage
 191 {
 192   /**
 193    * Should be #SOCKS_VERSION_5.
 194    */
 195   uint8_t version;
 196
 197   /**
 198    * How many authentication methods does the client support.
 199    */
 200   uint8_t num_auth_methods;
 201
 202   /* followed by supported authentication methods, 1 byte per method */
 203
 204 };
 205
 206
 207 /**
 208  * Server hello in Socks5 protocol.
 209  */
 210 struct Socks5ServerHelloMessage
 211 {
 212   /**
 213    * Should be #SOCKS_VERSION_5.
 214    */
 215   uint8_t version;
 216
 217   /**
 218    * Chosen authentication method, for us always #SOCKS_AUTH_NONE,
 219    * which skips the authentication step.
 220    */
 221   uint8_t auth_method;
 222 };
 223
 224
 225 /**
 226  * Client socks request in Socks5 protocol.
 227  */
 228 struct Socks5ClientRequestMessage
 229 {
 230   /**
 231    * Should be #SOCKS_VERSION_5.
 232    */
 233   uint8_t version;
 234
 235   /**
 236    * Command code, we only uspport #SOCKS5_CMD_TCP_STREAM.
 237    */
 238   uint8_t command;
 239
 240   /**
 241    * Reserved, always zero.
 242    */
 243   uint8_t resvd;
 244
 245   /**
 246    * Address type, an `enum Socks5AddressType`.
 247    */
 248   uint8_t addr_type;
 249
 250   /*
 251    * Followed by either an ip4/ipv6 address or a domain name with a
 252    * length field (uint8_t) in front (depending on @e addr_type).
 253    * followed by port number in network byte order (uint16_t).
 254    */
 255 };
 256
 257
 258 /**
 259  * Server response to client requests in Socks5 protocol.
 260  */
 261 struct Socks5ServerResponseMessage
 262 {
 263   /**
 264    * Should be #SOCKS_VERSION_5.
 265    */
 266   uint8_t version;
 267
 268   /**
 269    * Status code, an `enum Socks5StatusCode`
 270    */
 271   uint8_t reply;
 272
 273   /**
 274    * Always zero.
 275    */
 276   uint8_t reserved;
 277
 278   /**
 279    * Address type, an `enum Socks5AddressType`.
 280    */
 281   uint8_t addr_type;
 282
 283   /*
 284    * Followed by either an ip4/ipv6 address or a domain name with a
 285    * length field (uint8_t) in front (depending on @e addr_type).
 286    * followed by port number in network byte order (uint16_t).
 287    */
 288
 289 };
 290
 291
 292
 293 /* *********************** Datastructures for HTTP handling ****************** */
 294
 295 /**
 296  * A structure for CA cert/key
 297  */
 298 struct ProxyCA
 299 {
 300   /**
 301    * The certificate
 302    */
 303   gnutls_x509_crt_t cert;
 304
 305   /**
 306    * The private key
 307    */
 308   gnutls_x509_privkey_t key;
 309 };
 310
 311
 312 /**
 313  * Structure for GNS certificates
 314  */
 315 struct ProxyGNSCertificate
 316 {
 317   /**
 318    * The certificate as PEM
 319    */
 320   char cert[MAX_PEM_SIZE];
 321
 322   /**
 323    * The private key as PEM
 324    */
 325   char key[MAX_PEM_SIZE];
 326 };
 327
 328
 329
 330 /**
 331  * A structure for all running Httpds
 332  */
 333 struct MhdHttpList
 334 {
 335   /**
 336    * DLL for httpds
 337    */
 338   struct MhdHttpList *prev;
 339
 340   /**
 341    * DLL for httpds
 342    */
 343   struct MhdHttpList *next;
 344
 345   /**
 346    * the domain name to server (only important for SSL)
 347    */
 348   char *domain;
 349
 350   /**
 351    * The daemon handle
 352    */
 353   struct MHD_Daemon *daemon;
 354
 355   /**
 356    * Optional proxy certificate used
 357    */
 358   struct ProxyGNSCertificate *proxy_cert;
 359
 360   /**
 361    * The task ID
 362    */
 363   struct GNUNET_SCHEDULER_Task *httpd_task;
 364
 365   /**
 366    * is this an ssl daemon?
 367    */
 368   int is_ssl;
 369
 370 };
 371
 372
 373 /* ***************** Datastructures for Socks handling **************** */
 374
 375
 376 /**
 377  * The socks phases.
 378  */
 379 enum SocksPhase
 380 {
 381   /**
 382    * We're waiting to get the client hello.
 383    */
 384   SOCKS5_INIT,
 385
 386   /**
 387    * We're waiting to get the initial request.
 388    */
 389   SOCKS5_REQUEST,
 390
 391   /**
 392    * We are currently resolving the destination.
 393    */
 394   SOCKS5_RESOLVING,
 395
 396   /**
 397    * We're in transfer mode.
 398    */
 399   SOCKS5_DATA_TRANSFER,
 400
 401   /**
 402    * Finish writing the write buffer, then clean up.
 403    */
 404   SOCKS5_WRITE_THEN_CLEANUP,
 405
 406   /**
 407    * Socket has been passed to MHD, do not close it anymore.
 408    */
 409   SOCKS5_SOCKET_WITH_MHD,
 410
 411   /**
 412    * We've started receiving upload data from MHD.
 413    */
 414   SOCKS5_SOCKET_UPLOAD_STARTED,
 415
 416   /**
 417    * We've finished receiving upload data from MHD.
 418    */
 419   SOCKS5_SOCKET_UPLOAD_DONE,
 420
 421   /**
 422    * We've finished uploading data via CURL and can now download.
 423    */
 424   SOCKS5_SOCKET_DOWNLOAD_STARTED,
 425
 426   /**
 427    * We've finished receiving download data from cURL.
 428    */
 429   SOCKS5_SOCKET_DOWNLOAD_DONE
 430 };
 431
 432
 433
 434 /**
 435  * A structure for socks requests
 436  */
 437 struct Socks5Request
 438 {
 439
 440   /**
 441    * DLL.
 442    */
 443   struct Socks5Request *next;
 444
 445   /**
 446    * DLL.
 447    */
 448   struct Socks5Request *prev;
 449
 450   /**
 451    * The client socket
 452    */
 453   struct GNUNET_NETWORK_Handle *sock;
 454
 455   /**
 456    * Handle to GNS lookup, during #SOCKS5_RESOLVING phase.
 457    */
 458   struct GNUNET_GNS_LookupRequest *gns_lookup;
 459
 460   /**
 461    * Client socket read task
 462    */
 463   struct GNUNET_SCHEDULER_Task * rtask;
 464
 465   /**
 466    * Client socket write task
 467    */
 468   struct GNUNET_SCHEDULER_Task * wtask;
 469
 470   /**
 471    * Timeout task
 472    */
 473   struct GNUNET_SCHEDULER_Task * timeout_task;
 474
 475   /**
 476    * Read buffer
 477    */
 478   char rbuf[SOCKS_BUFFERSIZE];
 479
 480   /**
 481    * Write buffer
 482    */
 483   char wbuf[SOCKS_BUFFERSIZE];
 484
 485   /**
 486    * Buffer we use for moving data between MHD and curl (in both directions).
 487    */
 488   char io_buf[IO_BUFFERSIZE];
 489
 490   /**
 491    * MHD HTTP instance handling this request, NULL for none.
 492    */
 493   struct MhdHttpList *hd;
 494
 495   /**
 496    * MHD response object for this request.
 497    */
 498   struct MHD_Response *response;
 499
 500   /**
 501    * the domain name to server (only important for SSL)
 502    */
 503   char *domain;
 504
 505   /**
 506    * DNS Legacy Host Name as given by GNS, NULL if not given.
 507    */
 508   char *leho;
 509
 510   /**
 511    * Payload of the (last) DANE record encountered.
 512    */
 513   char *dane_data;
 514
 515   /**
 516    * The URL to fetch
 517    */
 518   char *url;
 519
 520   /**
 521    * Handle to cURL
 522    */
 523   CURL *curl;
 524
 525   /**
 526    * HTTP request headers for the curl request.
 527    */
 528   struct curl_slist *headers;
 529
 530   /**
 531    * DNS->IP mappings resolved through GNS
 532    */
 533   struct curl_slist *hosts;
 534
 535   /**
 536    * HTTP response code to give to MHD for the response.
 537    */
 538   unsigned int response_code;
 539
 540   /**
 541    * Number of bytes in @e dane_data.
 542    */
 543   size_t dane_data_len;
 544
 545   /**
 546    * Number of bytes already in read buffer
 547    */
 548   size_t rbuf_len;
 549
 550   /**
 551    * Number of bytes already in write buffer
 552    */
 553   size_t wbuf_len;
 554
 555   /**
 556    * Number of bytes already in the IO buffer.
 557    */
 558   size_t io_len;
 559
 560   /**
 561    * Once known, what's the target address for the connection?
 562    */
 563   struct sockaddr_storage destination_address;
 564
 565   /**
 566    * The socks state
 567    */
 568   enum SocksPhase state;
 569
 570   /**
 571    * Desired destination port.
 572    */
 573   uint16_t port;
 574
 575 };
 576
 577
 578
 579 /* *********************** Globals **************************** */
 580
 581
 582 /**
 583  * The port the proxy is running on (default 7777)
 584  */
 585 static unsigned long port = GNUNET_GNS_PROXY_PORT;
 586
 587 /**
 588  * The CA file (pem) to use for the proxy CA
 589  */
 590 static char *cafile_opt;
 591
 592 /**
 593  * The listen socket of the proxy for IPv4
 594  */
 595 static struct GNUNET_NETWORK_Handle *lsock4;
 596
 597 /**
 598  * The listen socket of the proxy for IPv6
 599  */
 600 static struct GNUNET_NETWORK_Handle *lsock6;
 601
 602 /**
 603  * The listen task ID for IPv4
 604  */
 605 static struct GNUNET_SCHEDULER_Task * ltask4;
 606
 607 /**
 608  * The listen task ID for IPv6
 609  */
 610 static struct GNUNET_SCHEDULER_Task * ltask6;
 611
 612 /**
 613  * The cURL download task (curl multi API).
 614  */
 615 static struct GNUNET_SCHEDULER_Task * curl_download_task;
 616
 617 /**
 618  * The cURL multi handle
 619  */
 620 static CURLM *curl_multi;
 621
 622 /**
 623  * Handle to the GNS service
 624  */
 625 static struct GNUNET_GNS_Handle *gns_handle;
 626
 627 /**
 628  * DLL for http/https daemons
 629  */
 630 static struct MhdHttpList *mhd_httpd_head;
 631
 632 /**
 633  * DLL for http/https daemons
 634  */
 635 static struct MhdHttpList *mhd_httpd_tail;
 636
 637 /**
 638  * Daemon for HTTP (we have one per SSL certificate, and then one for
 639  * all HTTP connections; this is the one for HTTP, not HTTPS).
 640  */
 641 static struct MhdHttpList *httpd;
 642
 643 /**
 644  * DLL of active socks requests.
 645  */
 646 static struct Socks5Request *s5r_head;
 647
 648 /**
 649  * DLL of active socks requests.
 650  */
 651 static struct Socks5Request *s5r_tail;
 652
 653 /**
 654  * The users local GNS master zone
 655  */
 656 static struct GNUNET_CRYPTO_EcdsaPublicKey local_gns_zone;
 657
 658 /**
 659  * The users local shorten zone
 660  */
 661 static struct GNUNET_CRYPTO_EcdsaPrivateKey local_shorten_zone;
 662
 663 /**
 664  * Is shortening enabled?
 665  */
 666 static int do_shorten;
 667
 668 /**
 669  * The CA for SSL certificate generation
 670  */
 671 static struct ProxyCA proxy_ca;
 672
 673 /**
 674  * Response we return on cURL failures.
 675  */
 676 static struct MHD_Response *curl_failure_response;
 677
 678 /**
 679  * Connection to identity service.
 680  */
 681 static struct GNUNET_IDENTITY_Handle *identity;
 682
 683 /**
 684  * Request for our ego.
 685  */
 686 static struct GNUNET_IDENTITY_Operation *id_op;
 687
 688 /**
 689  * Our configuration.
 690  */
 691 static const struct GNUNET_CONFIGURATION_Handle *cfg;
 692
 693
 694 /* ************************* Global helpers ********************* */
 695
 696
 697 /**
 698  * Run MHD now, we have extra data ready for the callback.
 699  *
 700  * @param hd the daemon to run now.
 701  */
 702 static void
 703 run_mhd_now (struct MhdHttpList *hd);
 704
 705
 706 /**
 707  * Clean up s5r handles.
 708  *
 709  * @param s5r the handle to destroy
 710  */
 711 static void
 712 cleanup_s5r (struct Socks5Request *s5r)
 713 {
 714   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 715               "Cleaning up socks request\n");
 716   if (NULL != s5r->curl)
 717   {
 718     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 719                 "Cleaning up cURL handle\n");
 720     curl_multi_remove_handle (curl_multi, s5r->curl);
 721     curl_easy_cleanup (s5r->curl);
 722     s5r->curl = NULL;
 723   }
 724   curl_slist_free_all (s5r->headers);
 725   if (NULL != s5r->hosts)
 726   {
 727     curl_slist_free_all (s5r->hosts);
 728   }
 729   if ( (NULL != s5r->response) &&
 730        (curl_failure_response != s5r->response) )
 731     MHD_destroy_response (s5r->response);
 732   if (NULL != s5r->rtask)
 733     GNUNET_SCHEDULER_cancel (s5r->rtask);
 734   if (NULL != s5r->timeout_task)
 735     GNUNET_SCHEDULER_cancel (s5r->timeout_task);
 736   if (NULL != s5r->wtask)
 737     GNUNET_SCHEDULER_cancel (s5r->wtask);
 738   if (NULL != s5r->gns_lookup)
 739     GNUNET_GNS_lookup_cancel (s5r->gns_lookup);
 740   if (NULL != s5r->sock)
 741   {
 742     if (SOCKS5_SOCKET_WITH_MHD <= s5r->state)
 743       GNUNET_NETWORK_socket_free_memory_only_ (s5r->sock);
 744     else
 745       GNUNET_NETWORK_socket_close (s5r->sock);
 746   }
 747   GNUNET_CONTAINER_DLL_remove (s5r_head,
 748                                s5r_tail,
 749                                s5r);
 750   GNUNET_free_non_null (s5r->domain);
 751   GNUNET_free_non_null (s5r->leho);
 752   GNUNET_free_non_null (s5r->url);
 753   GNUNET_free_non_null (s5r->dane_data);
 754   GNUNET_free (s5r);
 755 }
 756
 757
 758 /* ************************* HTTP handling with cURL *********************** */
 759
 760
 761 /**
 762  * Callback for MHD response generation.  This function is called from
 763  * MHD whenever MHD expects to get data back.  Copies data from the
 764  * io_buf, if available.
 765  *
 766  * @param cls closure with our `struct Socks5Request`
 767  * @param pos in buffer
 768  * @param buf where to copy data
 769  * @param max available space in @a buf
 770  * @return number of bytes written to @a buf
 771  */
 772 static ssize_t
 773 mhd_content_cb (void *cls,
 774                 uint64_t pos,
 775                 char* buf,
 776                 size_t max)
 777 {
 778   struct Socks5Request *s5r = cls;
 779   size_t bytes_to_copy;
 780
 781   if ( (SOCKS5_SOCKET_UPLOAD_STARTED == s5r->state) ||
 782        (SOCKS5_SOCKET_UPLOAD_DONE == s5r->state) )
 783   {
 784     /* we're still not done with the upload, do not yet
 785        start the download, the IO buffer is still full
 786        with upload data. */
 787     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 788                 "Pausing MHD download, not yet ready for download\n");
 789     return 0; /* not yet ready for data download */
 790   }
 791   bytes_to_copy = GNUNET_MIN (max,
 792                               s5r->io_len);
 793   if ( (0 == bytes_to_copy) &&
 794        (SOCKS5_SOCKET_DOWNLOAD_DONE != s5r->state) )
 795   {
 796     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 797                 "Pausing MHD download, no data available\n");
 798     return 0; /* more data later */
 799   }
 800   if ( (0 == bytes_to_copy) &&
 801        (SOCKS5_SOCKET_DOWNLOAD_DONE == s5r->state) )
 802   {
 803     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 804                 "Completed MHD download\n");
 805     return MHD_CONTENT_READER_END_OF_STREAM;
 806   }
 807   GNUNET_memcpy (buf, s5r->io_buf, bytes_to_copy);
 808   memmove (s5r->io_buf,
 809            &s5r->io_buf[bytes_to_copy],
 810            s5r->io_len - bytes_to_copy);
 811   s5r->io_len -= bytes_to_copy;
 812   if (NULL != s5r->curl)
 813     curl_easy_pause (s5r->curl, CURLPAUSE_CONT);
 814   return bytes_to_copy;
 815 }
 816
 817
 818 /**
 819  * Check that the website has presented us with a valid SSL certificate.
 820  * The certificate must either match the domain name or the LEHO name
 821  * (or, if available, the TLSA record).
 822  *
 823  * @param s5r request to check for.
 824  * @return #GNUNET_OK if the certificate is valid
 825  */
 826 static int
 827 check_ssl_certificate (struct Socks5Request *s5r)
 828 {
 829   unsigned int cert_list_size;
 830   const gnutls_datum_t *chainp;
 831   const struct curl_tlssessioninfo *tlsinfo;
 832   char certdn[GNUNET_DNSPARSER_MAX_NAME_LENGTH + 3];
 833   size_t size;
 834   gnutls_x509_crt_t x509_cert;
 835   int rc;
 836   const char *name;
 837
 838   if (CURLE_OK !=
 839       curl_easy_getinfo (s5r->curl,
 840                          CURLINFO_TLS_SESSION,
 841                          (struct curl_slist **) &tlsinfo))
 842     return GNUNET_SYSERR;
 843   if (CURLSSLBACKEND_GNUTLS != tlsinfo->backend)
 844   {
 845     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 846                 _("Unsupported CURL SSL backend %d\n"),
 847                 tlsinfo->backend);
 848     return GNUNET_SYSERR;
 849   }
 850   chainp = gnutls_certificate_get_peers (tlsinfo->internals, &cert_list_size);
 851   if ( (! chainp) || (0 == cert_list_size) )
 852     return GNUNET_SYSERR;
 853
 854   size = sizeof (certdn);
 855   /* initialize an X.509 certificate structure. */
 856   gnutls_x509_crt_init (&x509_cert);
 857   gnutls_x509_crt_import (x509_cert,
 858                           chainp,
 859                           GNUTLS_X509_FMT_DER);
 860
 861   if (0 != (rc = gnutls_x509_crt_get_dn_by_oid (x509_cert,
 862                                                 GNUTLS_OID_X520_COMMON_NAME,
 863                                                 0, /* the first and only one */
 864                                                 0 /* no DER encoding */,
 865                                                 certdn,
 866                                                 &size)))
 867   {
 868     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 869                 _("Failed to fetch CN from cert: %s\n"),
 870                 gnutls_strerror(rc));
 871     gnutls_x509_crt_deinit (x509_cert);
 872     return GNUNET_SYSERR;
 873   }
 874   /* check for TLSA/DANE records */
 875 #if HAVE_GNUTLS_DANE
 876   if (NULL != s5r->dane_data)
 877   {
 878     char *dd[] = { s5r->dane_data, NULL };
 879     int dlen[] = { s5r->dane_data_len, 0};
 880     dane_state_t dane_state;
 881     dane_query_t dane_query;
 882     unsigned int verify;
 883
 884     /* FIXME: add flags to gnutls to NOT read UNBOUND_ROOT_KEY_FILE here! */
 885     if (0 != (rc = dane_state_init (&dane_state,
 886 #ifdef DANE_F_IGNORE_DNSSEC
 887                                     DANE_F_IGNORE_DNSSEC |
 888 #endif
 889                                     DANE_F_IGNORE_LOCAL_RESOLVER)))
 890     {
 891       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 892                   _("Failed to initialize DANE: %s\n"),
 893                   dane_strerror(rc));
 894       gnutls_x509_crt_deinit (x509_cert);
 895       return GNUNET_SYSERR;
 896     }
 897     if (0 != (rc = dane_raw_tlsa (dane_state,
 898                                   &dane_query,
 899                                   dd,
 900                                   dlen,
 901                                   GNUNET_YES,
 902                                   GNUNET_NO)))
 903     {
 904       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 905                   _("Failed to parse DANE record: %s\n"),
 906                   dane_strerror(rc));
 907       dane_state_deinit (dane_state);
 908       gnutls_x509_crt_deinit (x509_cert);
 909       return GNUNET_SYSERR;
 910     }
 911     if (0 != (rc = dane_verify_crt_raw (dane_state,
 912                                         chainp,
 913                                         cert_list_size,
 914                                         gnutls_certificate_type_get (tlsinfo->internals),
 915                                         dane_query,
 916                                         0, 0,
 917                                         &verify)))
 918     {
 919       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 920                   _("Failed to verify TLS connection using DANE: %s\n"),
 921                   dane_strerror(rc));
 922       dane_query_deinit (dane_query);
 923       dane_state_deinit (dane_state);
 924       gnutls_x509_crt_deinit (x509_cert);
 925       return GNUNET_SYSERR;
 926     }
 927     if (0 != verify)
 928     {
 929       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 930                   _("Failed DANE verification failed with GnuTLS verify status code: %u\n"),
 931                   verify);
 932       dane_query_deinit (dane_query);
 933       dane_state_deinit (dane_state);
 934       gnutls_x509_crt_deinit (x509_cert);
 935       return GNUNET_SYSERR;
 936     }
 937     dane_query_deinit (dane_query);
 938     dane_state_deinit (dane_state);
 939     /* success! */
 940   }
 941   else
 942 #endif
 943   {
 944     /* try LEHO or ordinary domain name X509 verification */
 945     name = s5r->domain;
 946     if (NULL != s5r->leho)
 947       name = s5r->leho;
 948     if (NULL != name)
 949     {
 950       if (0 == (rc = gnutls_x509_crt_check_hostname (x509_cert,
 951                                                      name)))
 952       {
 953         GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 954                     _("SSL certificate subject name (%s) does not match `%s'\n"),
 955                     certdn,
 956                     name);
 957         gnutls_x509_crt_deinit (x509_cert);
 958         return GNUNET_SYSERR;
 959       }
 960     }
 961     else
 962     {
 963       /* we did not even have the domain name!? */
 964       GNUNET_break (0);
 965       return GNUNET_SYSERR;
 966     }
 967   }
 968   gnutls_x509_crt_deinit (x509_cert);
 969   return GNUNET_OK;
 970 }
 971
 972
 973 /**
 974  * We're getting an HTTP response header from cURL.  Convert it to the
 975  * MHD response headers.  Mostly copies the headers, but makes special
 976  * adjustments to "Set-Cookie" and "Location" headers as those may need
 977  * to be changed from the LEHO to the domain the browser expects.
 978  *
 979  * @param buffer curl buffer with a single line of header data; not 0-terminated!
 980  * @param size curl blocksize
 981  * @param nmemb curl blocknumber
 982  * @param cls our `struct Socks5Request *`
 983  * @return size of processed bytes
 984  */
 985 static size_t
 986 curl_check_hdr (void *buffer, size_t size, size_t nmemb, void *cls)
 987 {
 988   struct Socks5Request *s5r = cls;
 989   size_t bytes = size * nmemb;
 990   char *ndup;
 991   const char *hdr_type;
 992   const char *cookie_domain;
 993   char *hdr_val;
 994   long resp_code;
 995   char *new_cookie_hdr;
 996   char *new_location;
 997   size_t offset;
 998   size_t delta_cdomain;
 999   int domain_matched;
1000   char *tok;
1001
1002   if (NULL == s5r->response)
1003   {
1004     /* first, check SSL certificate */
1005     if ( (HTTPS_PORT == s5r->port) &&
1006          (GNUNET_OK != check_ssl_certificate (s5r)) )
1007       return 0;
1008
1009     GNUNET_break (CURLE_OK ==
1010                   curl_easy_getinfo (s5r->curl,
1011                                      CURLINFO_RESPONSE_CODE,
1012                                      &resp_code));
1013     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1014                 "Creating MHD response with code %d\n",
1015                 (int) resp_code);
1016     s5r->response_code = resp_code;
1017     s5r->response = MHD_create_response_from_callback (MHD_SIZE_UNKNOWN,
1018                                                        IO_BUFFERSIZE,
1019                                                        &mhd_content_cb,
1020                                                        s5r,
1021                                                        NULL);
1022     if (NULL != s5r->leho)
1023     {
1024       char *cors_hdr;
1025
1026       GNUNET_asprintf (&cors_hdr,
1027                        (HTTPS_PORT == s5r->port)
1028                        ? "https://%s"
1029                        : "http://%s",
1030                        s5r->leho);
1031
1032       GNUNET_break (MHD_YES ==
1033                     MHD_add_response_header (s5r->response,
1034                                              MHD_HTTP_HEADER_ACCESS_CONTROL_ALLOW_ORIGIN,
1035                                              cors_hdr));
1036       GNUNET_free (cors_hdr);
1037     }
1038     /* force connection to be closed after each request, as we
1039        do not support HTTP pipelining (yet, FIXME!) */
1040     /*GNUNET_break (MHD_YES ==
1041                   MHD_add_response_header (s5r->response,
1042                                            MHD_HTTP_HEADER_CONNECTION,
1043                                            "close"));*/
1044   }
1045
1046   ndup = GNUNET_strndup (buffer, bytes);
1047   hdr_type = strtok (ndup, ":");
1048   if (NULL == hdr_type)
1049   {
1050     GNUNET_free (ndup);
1051     return bytes;
1052   }
1053   hdr_val = strtok (NULL, "");
1054   if (NULL == hdr_val)
1055   {
1056     GNUNET_free (ndup);
1057     return bytes;
1058   }
1059   if (' ' == *hdr_val)
1060     hdr_val++;
1061
1062   /* custom logic for certain header types */
1063   new_cookie_hdr = NULL;
1064   if ( (NULL != s5r->leho) &&
1065        (0 == strcasecmp (hdr_type,
1066                          MHD_HTTP_HEADER_SET_COOKIE)) )
1067
1068   {
1069     new_cookie_hdr = GNUNET_malloc (strlen (hdr_val) +
1070                                     strlen (s5r->domain) + 1);
1071     offset = 0;
1072     domain_matched = GNUNET_NO; /* make sure we match domain at most once */
1073     for (tok = strtok (hdr_val, ";"); NULL != tok; tok = strtok (NULL, ";"))
1074     {
1075       if ( (0 == strncasecmp (tok, " domain", strlen (" domain"))) &&
1076            (GNUNET_NO == domain_matched) )
1077       {
1078         domain_matched = GNUNET_YES;
1079         cookie_domain = tok + strlen (" domain") + 1;
1080         if (strlen (cookie_domain) < strlen (s5r->leho))
1081         {
1082           delta_cdomain = strlen (s5r->leho) - strlen (cookie_domain);
1083           if (0 == strcasecmp (cookie_domain, s5r->leho + delta_cdomain))
1084           {
1085             offset += sprintf (new_cookie_hdr + offset,
1086                                " domain=%s;",
1087                                s5r->domain);
1088             continue;
1089           }
1090         }
1091         else if (0 == strcmp (cookie_domain, s5r->leho))
1092         {
1093           offset += sprintf (new_cookie_hdr + offset,
1094                              " domain=%s;",
1095                              s5r->domain);
1096           continue;
1097         }
1098         GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1099                     _("Cookie domain `%s' supplied by server is invalid\n"),
1100                     tok);
1101       }
1102       GNUNET_memcpy (new_cookie_hdr + offset, tok, strlen (tok));
1103       offset += strlen (tok);
1104       new_cookie_hdr[offset++] = ';';
1105     }
1106     hdr_val = new_cookie_hdr;
1107   }
1108
1109   new_location = NULL;
1110   if (0 == strcasecmp (MHD_HTTP_HEADER_LOCATION, hdr_type))
1111   {
1112     char *leho_host;
1113
1114     GNUNET_asprintf (&leho_host,
1115                      (HTTPS_PORT != s5r->port)
1116                      ? "http://%s"
1117                      : "https://%s",
1118                      s5r->leho);
1119     if (0 == strncmp (leho_host,
1120                       hdr_val,
1121                       strlen (leho_host)))
1122     {
1123       GNUNET_asprintf (&new_location,
1124                        "%s%s%s",
1125                        (HTTPS_PORT != s5r->port)
1126                        ? "http://"
1127                        : "https://",
1128                        s5r->domain,
1129                        hdr_val + strlen (leho_host));
1130       hdr_val = new_location;
1131     }
1132     GNUNET_free (leho_host);
1133   }
1134   /* MHD does not allow certain characters in values, remove those */
1135   if (NULL != (tok = strchr (hdr_val, '\n')))
1136     *tok = '\0';
1137   if (NULL != (tok = strchr (hdr_val, '\r')))
1138     *tok = '\0';
1139   if (NULL != (tok = strchr (hdr_val, '\t')))
1140     *tok = '\0';
1141   if ((0 != strlen (hdr_val) ) &&
1142       (0 != strcasecmp (MHD_HTTP_HEADER_CONTENT_LENGTH, hdr_type)))
1143   {
1144     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1145                 "Adding header %s: %s to MHD response\n",
1146                 hdr_type,
1147                 hdr_val);
1148     GNUNET_break (MHD_YES ==
1149                   MHD_add_response_header (s5r->response,
1150                                            hdr_type,
1151                                            hdr_val));
1152   }
1153   GNUNET_free (ndup);
1154   GNUNET_free_non_null (new_cookie_hdr);
1155   GNUNET_free_non_null (new_location);
1156   return bytes;
1157 }
1158
1159
1160 /**
1161  * Handle response payload data from cURL.  Copies it into our `io_buf` to make
1162  * it available to MHD.
1163  *
1164  * @param ptr pointer to the data
1165  * @param size number of blocks of data
1166  * @param nmemb blocksize
1167  * @param ctx our `struct Socks5Request *`
1168  * @return number of bytes handled
1169  */
1170 static size_t
1171 curl_download_cb (void *ptr, size_t size, size_t nmemb, void* ctx)
1172 {
1173   struct Socks5Request *s5r = ctx;
1174   size_t total = size * nmemb;
1175
1176   if ( (SOCKS5_SOCKET_UPLOAD_STARTED == s5r->state) ||
1177        (SOCKS5_SOCKET_UPLOAD_DONE == s5r->state) )
1178   {
1179     /* we're still not done with the upload, do not yet
1180        start the download, the IO buffer is still full
1181        with upload data. */
1182     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1183                 "Pausing CURL download, waiting for UPLOAD to finish\n");
1184     return CURL_WRITEFUNC_PAUSE; /* not yet ready for data download */
1185   }
1186   if (sizeof (s5r->io_buf) - s5r->io_len < total)
1187   {
1188     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1189                 "Pausing CURL download, not enough space\n");
1190     return CURL_WRITEFUNC_PAUSE; /* not enough space */
1191   }
1192   GNUNET_memcpy (&s5r->io_buf[s5r->io_len],
1193           ptr,
1194           total);
1195   s5r->io_len += total;
1196   if (s5r->io_len == total)
1197     run_mhd_now (s5r->hd);
1198   return total;
1199 }
1200
1201
1202 /**
1203  * cURL callback for uploaded (PUT/POST) data.  Copies it into our `io_buf`
1204  * to make it available to MHD.
1205  *
1206  * @param buf where to write the data
1207  * @param size number of bytes per member
1208  * @param nmemb number of members available in @a buf
1209  * @param cls our `struct Socks5Request` that generated the data
1210  * @return number of bytes copied to @a buf
1211  */
1212 static size_t
1213 curl_upload_cb (void *buf, size_t size, size_t nmemb, void *cls)
1214 {
1215   struct Socks5Request *s5r = cls;
1216   size_t len = size * nmemb;
1217   size_t to_copy;
1218
1219   if ( (0 == s5r->io_len) &&
1220        (SOCKS5_SOCKET_UPLOAD_DONE != s5r->state) )
1221   {
1222     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1223                 "Pausing CURL UPLOAD, need more data\n");
1224     return CURL_READFUNC_PAUSE;
1225   }
1226   if ( (0 == s5r->io_len) &&
1227        (SOCKS5_SOCKET_UPLOAD_DONE == s5r->state) )
1228   {
1229     s5r->state = SOCKS5_SOCKET_DOWNLOAD_STARTED;
1230     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1231                 "Completed CURL UPLOAD\n");
1232     return 0; /* upload finished, can now download */
1233   }
1234   if ( (SOCKS5_SOCKET_UPLOAD_STARTED != s5r->state) &&
1235        (SOCKS5_SOCKET_UPLOAD_DONE != s5r->state) )
1236   {
1237     GNUNET_break (0);
1238     return CURL_READFUNC_ABORT;
1239   }
1240   to_copy = GNUNET_MIN (s5r->io_len,
1241                         len);
1242   GNUNET_memcpy (buf, s5r->io_buf, to_copy);
1243   memmove (s5r->io_buf,
1244            &s5r->io_buf[to_copy],
1245            s5r->io_len - to_copy);
1246   s5r->io_len -= to_copy;
1247   if (s5r->io_len + to_copy == sizeof (s5r->io_buf))
1248     run_mhd_now (s5r->hd); /* got more space for upload now */
1249   return to_copy;
1250 }
1251
1252
1253 /* ************************** main loop of cURL interaction ****************** */
1254
1255
1256 /**
1257  * Task that is run when we are ready to receive more data
1258  * from curl
1259  *
1260  * @param cls closure
1261  */
1262 static void
1263 curl_task_download (void *cls);
1264
1265
1266 /**
1267  * Ask cURL for the select() sets and schedule cURL operations.
1268  */
1269 static void
1270 curl_download_prepare ()
1271 {
1272   CURLMcode mret;
1273   fd_set rs;
1274   fd_set ws;
1275   fd_set es;
1276   int max;
1277   struct GNUNET_NETWORK_FDSet *grs;
1278   struct GNUNET_NETWORK_FDSet *gws;
1279   long to;
1280   struct GNUNET_TIME_Relative rtime;
1281
1282   if (NULL != curl_download_task)
1283   {
1284     GNUNET_SCHEDULER_cancel (curl_download_task);
1285     curl_download_task = NULL;
1286   }
1287   max = -1;
1288   FD_ZERO (&rs);
1289   FD_ZERO (&ws);
1290   FD_ZERO (&es);
1291   if (CURLM_OK != (mret = curl_multi_fdset (curl_multi, &rs, &ws, &es, &max)))
1292   {
1293     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1294                 "%s failed at %s:%d: `%s'\n",
1295                 "curl_multi_fdset", __FILE__, __LINE__,
1296                 curl_multi_strerror (mret));
1297     return;
1298   }
1299   to = -1;
1300   GNUNET_break (CURLM_OK == curl_multi_timeout (curl_multi, &to));
1301   if (-1 == to)
1302     rtime = GNUNET_TIME_UNIT_FOREVER_REL;
1303   else
1304     rtime = GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS, to);
1305   if (-1 != max)
1306   {
1307     grs = GNUNET_NETWORK_fdset_create ();
1308     gws = GNUNET_NETWORK_fdset_create ();
1309     GNUNET_NETWORK_fdset_copy_native (grs, &rs, max + 1);
1310     GNUNET_NETWORK_fdset_copy_native (gws, &ws, max + 1);
1311     curl_download_task = GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_DEFAULT,
1312                                                       rtime,
1313                                                       grs, gws,
1314                                                       &curl_task_download, curl_multi);
1315     GNUNET_NETWORK_fdset_destroy (gws);
1316     GNUNET_NETWORK_fdset_destroy (grs);
1317   }
1318   else
1319   {
1320     curl_download_task = GNUNET_SCHEDULER_add_delayed (rtime,
1321                                                        &curl_task_download,
1322                                                        curl_multi);
1323   }
1324 }
1325
1326
1327 /**
1328  * Task that is run when we are ready to receive more data from curl.
1329  *
1330  * @param cls closure, NULL
1331  */
1332 static void
1333 curl_task_download (void *cls)
1334 {
1335   int running;
1336   int msgnum;
1337   struct CURLMsg *msg;
1338   CURLMcode mret;
1339   struct Socks5Request *s5r;
1340
1341   curl_download_task = NULL;
1342   do
1343   {
1344     running = 0;
1345     mret = curl_multi_perform (curl_multi, &running);
1346     while (NULL != (msg = curl_multi_info_read (curl_multi, &msgnum)))
1347     {
1348       GNUNET_break (CURLE_OK ==
1349                     curl_easy_getinfo (msg->easy_handle,
1350                                        CURLINFO_PRIVATE,
1351                                        (char **) &s5r ));
1352       if (NULL == s5r)
1353       {
1354         GNUNET_break (0);
1355         continue;
1356       }
1357       switch (msg->msg)
1358       {
1359         case CURLMSG_NONE:
1360           /* documentation says this is not used */
1361           GNUNET_break (0);
1362           break;
1363         case CURLMSG_DONE:
1364           switch (msg->data.result)
1365           {
1366             case CURLE_OK:
1367             case CURLE_GOT_NOTHING:
1368               GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1369                           "CURL download completed.\n");
1370               s5r->state = SOCKS5_SOCKET_DOWNLOAD_DONE;
1371               run_mhd_now (s5r->hd);
1372               break;
1373             default:
1374               GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1375                           "Download curl failed: %s\n",
1376                           curl_easy_strerror (msg->data.result));
1377               /* FIXME: indicate error somehow? close MHD connection badly as well? */
1378               s5r->state = SOCKS5_SOCKET_DOWNLOAD_DONE;
1379               run_mhd_now (s5r->hd);
1380               break;
1381           }
1382           if (NULL == s5r->response)
1383             s5r->response = curl_failure_response;
1384           break;
1385         case CURLMSG_LAST:
1386           /* documentation says this is not used */
1387           GNUNET_break (0);
1388           break;
1389         default:
1390           /* unexpected status code */
1391           GNUNET_break (0);
1392           break;
1393       }
1394     };
1395   } while (mret == CURLM_CALL_MULTI_PERFORM);
1396   if (CURLM_OK != mret)
1397     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1398                 "%s failed at %s:%d: `%s'\n",
1399                 "curl_multi_perform", __FILE__, __LINE__,
1400                 curl_multi_strerror (mret));
1401   if (0 == running)
1402   {
1403     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1404                 "Suspending cURL multi loop, no more events pending\n");
1405     return; /* nothing more in progress */
1406   }
1407   curl_download_prepare ();
1408 }
1409
1410
1411 /* ********************************* MHD response generation ******************* */
1412
1413
1414 /**
1415  * Read HTTP request header field from the request.  Copies the fields
1416  * over to the 'headers' that will be given to curl.  However, 'Host'
1417  * is substituted with the LEHO if present.  We also change the
1418  * 'Connection' header value to "close" as the proxy does not support
1419  * pipelining.
1420  *
1421  * @param cls our `struct Socks5Request`
1422  * @param kind value kind
1423  * @param key field key
1424  * @param value field value
1425  * @return MHD_YES to continue to iterate
1426  */
1427 static int
1428 con_val_iter (void *cls,
1429               enum MHD_ValueKind kind,
1430               const char *key,
1431               const char *value)
1432 {
1433   struct Socks5Request *s5r = cls;
1434   char *hdr;
1435
1436   if ( (0 == strcasecmp (MHD_HTTP_HEADER_HOST, key)) &&
1437        (NULL != s5r->leho) )
1438     value = s5r->leho;
1439   if (0 == strcasecmp (MHD_HTTP_HEADER_CONTENT_LENGTH, key))
1440     return MHD_YES;
1441   GNUNET_asprintf (&hdr,
1442                    "%s: %s",
1443                    key,
1444                    value);
1445   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1446               "Adding HEADER `%s' to HTTP request\n",
1447               hdr);
1448   s5r->headers = curl_slist_append (s5r->headers,
1449                                     hdr);
1450   GNUNET_free (hdr);
1451   return MHD_YES;
1452 }
1453
1454
1455 /**
1456  * Main MHD callback for handling requests.
1457  *
1458  * @param cls unused
1459  * @param con MHD connection handle
1460  * @param url the url in the request
1461  * @param meth the HTTP method used ("GET", "PUT", etc.)
1462  * @param ver the HTTP version string (i.e. "HTTP/1.1")
1463  * @param upload_data the data being uploaded (excluding HEADERS,
1464  *        for a POST that fits into memory and that is encoded
1465  *        with a supported encoding, the POST data will NOT be
1466  *        given in upload_data and is instead available as
1467  *        part of MHD_get_connection_values; very large POST
1468  *        data *will* be made available incrementally in
1469  *        upload_data)
1470  * @param upload_data_size set initially to the size of the
1471  *        @a upload_data provided; the method must update this
1472  *        value to the number of bytes NOT processed;
1473  * @param con_cls pointer to location where we store the 'struct Request'
1474  * @return MHD_YES if the connection was handled successfully,
1475  *         MHD_NO if the socket must be closed due to a serious
1476  *         error while handling the request
1477  */
1478 static int
1479 create_response (void *cls,
1480                  struct MHD_Connection *con,
1481                  const char *url,
1482                  const char *meth,
1483                  const char *ver,
1484                  const char *upload_data,
1485                  size_t *upload_data_size,
1486                  void **con_cls)
1487 {
1488   struct Socks5Request *s5r = *con_cls;
1489   char *curlurl;
1490   char *curl_hosts;
1491   char ipstring[INET6_ADDRSTRLEN];
1492   char ipaddr[INET6_ADDRSTRLEN + 2];
1493   const struct sockaddr *sa;
1494   const struct sockaddr_in *s4;
1495   const struct sockaddr_in6 *s6;
1496   uint16_t port;
1497   size_t left;
1498
1499   if (NULL == s5r)
1500   {
1501     GNUNET_break (0);
1502     return MHD_NO;
1503   }
1504   //Fresh connection.
1505   if (SOCKS5_SOCKET_WITH_MHD == s5r->state)
1506   {
1507     /* first time here, initialize curl handle */
1508     sa = (const struct sockaddr *) &s5r->destination_address;
1509     switch (sa->sa_family)
1510     {
1511       case AF_INET:
1512         s4 = (const struct sockaddr_in *) &s5r->destination_address;
1513         if (NULL == inet_ntop (AF_INET,
1514                                &s4->sin_addr,
1515                                ipstring,
1516                                sizeof (ipstring)))
1517         {
1518           GNUNET_break (0);
1519           return MHD_NO;
1520         }
1521         GNUNET_snprintf (ipaddr,
1522                          sizeof (ipaddr),
1523                          "%s",
1524                          ipstring);
1525         port = ntohs (s4->sin_port);
1526         break;
1527       case AF_INET6:
1528         s6 = (const struct sockaddr_in6 *) &s5r->destination_address;
1529         if (NULL == inet_ntop (AF_INET6,
1530                                &s6->sin6_addr,
1531                                ipstring,
1532                                sizeof (ipstring)))
1533         {
1534           GNUNET_break (0);
1535           return MHD_NO;
1536         }
1537         GNUNET_snprintf (ipaddr,
1538                          sizeof (ipaddr),
1539                          "[%s]",
1540                          ipstring);
1541         port = ntohs (s6->sin6_port);
1542         break;
1543       default:
1544         GNUNET_break (0);
1545         return MHD_NO;
1546     }
1547     if (NULL == s5r->curl)
1548       s5r->curl = curl_easy_init ();
1549     if (NULL == s5r->curl)
1550       return MHD_queue_response (con,
1551                                  MHD_HTTP_INTERNAL_SERVER_ERROR,
1552                                  curl_failure_response);
1553     curl_easy_setopt (s5r->curl, CURLOPT_HEADERFUNCTION, &curl_check_hdr);
1554     curl_easy_setopt (s5r->curl, CURLOPT_HEADERDATA, s5r);
1555     curl_easy_setopt (s5r->curl, CURLOPT_FOLLOWLOCATION, 0);
1556     curl_easy_setopt (s5r->curl, CURLOPT_IPRESOLVE, CURL_IPRESOLVE_V4);
1557     curl_easy_setopt (s5r->curl, CURLOPT_CONNECTTIMEOUT, 600L);
1558     curl_easy_setopt (s5r->curl, CURLOPT_TIMEOUT, 600L);
1559     curl_easy_setopt (s5r->curl, CURLOPT_NOSIGNAL, 1L);
1560     curl_easy_setopt (s5r->curl, CURLOPT_HTTP_CONTENT_DECODING, 0);
1561     curl_easy_setopt (s5r->curl, CURLOPT_HTTP_TRANSFER_DECODING, 0);
1562     curl_easy_setopt (s5r->curl, CURLOPT_NOSIGNAL, 1L);
1563     curl_easy_setopt (s5r->curl, CURLOPT_PRIVATE, s5r);
1564     curl_easy_setopt (s5r->curl, CURLOPT_VERBOSE, 0);
1565     /**
1566      * Pre-populate cache to resolve Hostname.
1567      * This is necessary as the DNS name in the CURLOPT_URL is used
1568      * for SNI http://de.wikipedia.org/wiki/Server_Name_Indication
1569      */
1570     if (NULL != s5r->leho)
1571     {
1572       GNUNET_asprintf (&curl_hosts,
1573                        "%s:%d:%s",
1574                        s5r->leho,
1575                        port,
1576                        ipaddr);
1577       s5r->hosts = curl_slist_append(NULL, curl_hosts);
1578       curl_easy_setopt(s5r->curl, CURLOPT_RESOLVE, s5r->hosts);
1579       GNUNET_free (curl_hosts);
1580     }
1581     GNUNET_asprintf (&curlurl,
1582                      (HTTPS_PORT != s5r->port)
1583                      ? "http://%s:%d%s"
1584                      : "https://%s:%d%s",
1585                      (NULL != s5r->leho)
1586                      ? s5r->leho
1587                      : ipaddr,
1588                      port,
1589                      s5r->url);
1590     curl_easy_setopt (s5r->curl,
1591                       CURLOPT_URL,
1592                       curlurl);
1593     GNUNET_free (curlurl);
1594     if (0 == strcasecmp (meth, MHD_HTTP_METHOD_PUT))
1595     {
1596       s5r->state = SOCKS5_SOCKET_UPLOAD_STARTED;
1597       curl_easy_setopt (s5r->curl, CURLOPT_UPLOAD, 1);
1598       curl_easy_setopt (s5r->curl, CURLOPT_WRITEFUNCTION, &curl_download_cb);
1599       curl_easy_setopt (s5r->curl, CURLOPT_WRITEDATA, s5r);
1600       curl_easy_setopt (s5r->curl, CURLOPT_READFUNCTION, &curl_upload_cb);
1601       curl_easy_setopt (s5r->curl, CURLOPT_READDATA, s5r);
1602     }
1603     else if (0 == strcasecmp (meth, MHD_HTTP_METHOD_POST))
1604     {
1605       s5r->state = SOCKS5_SOCKET_UPLOAD_STARTED;
1606       curl_easy_setopt (s5r->curl, CURLOPT_POST, 1);
1607       curl_easy_setopt (s5r->curl, CURLOPT_WRITEFUNCTION, &curl_download_cb);
1608       curl_easy_setopt (s5r->curl, CURLOPT_WRITEDATA, s5r);
1609       curl_easy_setopt (s5r->curl, CURLOPT_READFUNCTION, &curl_upload_cb);
1610       curl_easy_setopt (s5r->curl, CURLOPT_READDATA, s5r);
1611     }
1612     else if (0 == strcasecmp (meth, MHD_HTTP_METHOD_HEAD))
1613     {
1614       s5r->state = SOCKS5_SOCKET_DOWNLOAD_STARTED;
1615       curl_easy_setopt (s5r->curl, CURLOPT_NOBODY, 1);
1616     }
1617     else if (0 == strcasecmp (meth, MHD_HTTP_METHOD_OPTIONS))
1618     {
1619       s5r->state = SOCKS5_SOCKET_DOWNLOAD_STARTED;
1620       curl_easy_setopt (s5r->curl, CURLOPT_CUSTOMREQUEST, "OPTIONS");
1621     }
1622     else if (0 == strcasecmp (meth, MHD_HTTP_METHOD_GET))
1623     {
1624       s5r->state = SOCKS5_SOCKET_DOWNLOAD_STARTED;
1625       curl_easy_setopt (s5r->curl, CURLOPT_HTTPGET, 1);
1626       curl_easy_setopt (s5r->curl, CURLOPT_WRITEFUNCTION, &curl_download_cb);
1627       curl_easy_setopt (s5r->curl, CURLOPT_WRITEDATA, s5r);
1628     }
1629     else
1630     {
1631       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1632                   _("Unsupported HTTP method `%s'\n"),
1633                   meth);
1634       curl_easy_cleanup (s5r->curl);
1635       s5r->curl = NULL;
1636       return MHD_NO;
1637     }
1638
1639     if (0 == strcasecmp (ver, MHD_HTTP_VERSION_1_0))
1640     {
1641       curl_easy_setopt (s5r->curl, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0);
1642     }
1643     else if (0 == strcasecmp (ver, MHD_HTTP_VERSION_1_1))
1644     {
1645       curl_easy_setopt (s5r->curl, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1);
1646     }
1647     else
1648     {
1649       curl_easy_setopt (s5r->curl, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_NONE);
1650     }
1651
1652     if (HTTPS_PORT == s5r->port)
1653     {
1654       curl_easy_setopt (s5r->curl, CURLOPT_USE_SSL, CURLUSESSL_ALL);
1655       curl_easy_setopt (s5r->curl, CURLOPT_SSL_VERIFYPEER, 1L);
1656       /* Disable cURL checking the hostname, as we will check ourselves
1657          as only we have the domain name or the LEHO or the DANE record */
1658       curl_easy_setopt (s5r->curl, CURLOPT_SSL_VERIFYHOST, 0L);
1659     }
1660     else
1661     {
1662       curl_easy_setopt (s5r->curl, CURLOPT_USE_SSL, CURLUSESSL_NONE);
1663     }
1664
1665     if (CURLM_OK != curl_multi_add_handle (curl_multi, s5r->curl))
1666     {
1667       GNUNET_break (0);
1668       curl_easy_cleanup (s5r->curl);
1669       s5r->curl = NULL;
1670       return MHD_NO;
1671     }
1672     MHD_get_connection_values (con,
1673                                MHD_HEADER_KIND,
1674                                &con_val_iter, s5r);
1675     //TODO is this sane? Basically we disable cURLs built-in expect:
1676     //100-continue
1677     s5r->headers = curl_slist_append (s5r->headers,
1678                                       "Expect:");
1679     curl_easy_setopt (s5r->curl, CURLOPT_HTTPHEADER, s5r->headers);
1680     curl_download_prepare ();
1681     return MHD_YES;
1682   }
1683
1684   /* continuing to process request */
1685   if (0 != *upload_data_size)
1686   {
1687     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1688                 "Processing %lu bytes UPLOAD\n", *upload_data_size);
1689     left = GNUNET_MIN (*upload_data_size,
1690                        sizeof (s5r->io_buf) - s5r->io_len);
1691     GNUNET_memcpy (&s5r->io_buf[s5r->io_len],
1692                    upload_data,
1693                    left);
1694     s5r->io_len += left;
1695     *upload_data_size -= left;
1696     GNUNET_assert (NULL != s5r->curl);
1697     curl_easy_pause (s5r->curl, CURLPAUSE_CONT);
1698     curl_download_prepare ();
1699     return MHD_YES;
1700   }
1701   if (SOCKS5_SOCKET_UPLOAD_STARTED == s5r->state)
1702   {
1703     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1704                 "Finished processing UPLOAD\n");
1705     s5r->state = SOCKS5_SOCKET_UPLOAD_DONE;
1706   }
1707   if (NULL == s5r->response)
1708     return MHD_YES; /* too early to queue response, did not yet get headers from cURL */
1709   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1710               "Queueing response with MHD\n");
1711   run_mhd_now (s5r->hd);
1712   return MHD_queue_response (con,
1713                              s5r->response_code,
1714                              s5r->response);
1715 }
1716
1717
1718 /* ******************** MHD HTTP setup and event loop ******************** */
1719
1720
1721 /**
1722  * Function called when MHD decides that we are done with a request.
1723  *
1724  * @param cls NULL
1725  * @param connection connection handle
1726  * @param con_cls value as set by the last call to
1727  *        the MHD_AccessHandlerCallback, should be our `struct Socks5Request *`
1728  * @param toe reason for request termination (ignored)
1729  */
1730 static void
1731 mhd_completed_cb (void *cls,
1732                   struct MHD_Connection *connection,
1733                   void **con_cls,
1734                   enum MHD_RequestTerminationCode toe)
1735 {
1736   struct Socks5Request *s5r = *con_cls;
1737
1738   if (NULL == s5r)
1739     return;
1740   if (MHD_REQUEST_TERMINATED_COMPLETED_OK != toe)
1741     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
1742                 "MHD encountered error handling request: %d\n",
1743                 toe);
1744   if (NULL != s5r->curl)
1745   {
1746     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1747                 "Resetting cURL handle\n");
1748     curl_multi_remove_handle (curl_multi, s5r->curl);
1749     curl_slist_free_all (s5r->headers);
1750     s5r->headers = NULL;
1751     curl_easy_reset (s5r->curl);
1752     s5r->rbuf_len = 0;
1753     s5r->wbuf_len = 0;
1754     s5r->io_len = 0;
1755   }
1756   if ( (NULL != s5r->response) &&
1757        (curl_failure_response != s5r->response) )
1758     MHD_destroy_response (s5r->response);
1759   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Finished request for %s\n", s5r->url);
1760   GNUNET_free (s5r->url);
1761   s5r->state = SOCKS5_SOCKET_WITH_MHD;
1762   s5r->url = NULL;
1763   s5r->response = NULL;
1764   *con_cls = NULL;
1765 }
1766
1767
1768 /**
1769  * Function called when MHD connection is opened or closed.
1770  *
1771  * @param cls NULL
1772  * @param connection connection handle
1773  * @param con_cls value as set by the last call to
1774  *        the MHD_AccessHandlerCallback, should be our `struct Socks5Request *`
1775  * @param toe connection notification type
1776  */
1777 static void
1778 mhd_connection_cb (void *cls,
1779                    struct MHD_Connection *connection,
1780                    void **con_cls,
1781                    enum MHD_ConnectionNotificationCode cnc)
1782 {
1783   struct Socks5Request *s5r;
1784   const union MHD_ConnectionInfo *ci;
1785   int sock;
1786
1787   if (MHD_CONNECTION_NOTIFY_STARTED == cnc)
1788     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Connection started...\n");
1789
1790   if (MHD_CONNECTION_NOTIFY_CLOSED != cnc)
1791     return; //Ignore
1792   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Connection closed... cleaning up\n");
1793
1794   ci = MHD_get_connection_info (connection,
1795                                 MHD_CONNECTION_INFO_CONNECTION_FD);
1796   if (NULL == ci)
1797   {
1798     GNUNET_break (0);
1799     return;
1800   }
1801
1802   sock = ci->connect_fd;
1803   for (s5r = s5r_head; NULL != s5r; s5r = s5r->next)
1804     if (GNUNET_NETWORK_get_fd (s5r->sock) == sock)
1805       break;
1806
1807   if (NULL == s5r)
1808   {
1809     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Connection stale!\n");
1810     return;
1811   }
1812   cleanup_s5r (s5r);
1813   *con_cls = NULL;
1814 }
1815
1816 /**
1817  * Function called when MHD first processes an incoming connection.
1818  * Gives us the respective URI information.
1819  *
1820  * We use this to associate the `struct MHD_Connection` with our
1821  * internal `struct Socks5Request` data structure (by checking
1822  * for matching sockets).
1823  *
1824  * @param cls the HTTP server handle (a `struct MhdHttpList`)
1825  * @param url the URL that is being requested
1826  * @param connection MHD connection object for the request
1827  * @return the `struct Socks5Request` that this @a connection is for
1828  */
1829 static void *
1830 mhd_log_callback (void *cls,
1831                   const char *url,
1832                   struct MHD_Connection *connection)
1833 {
1834   struct Socks5Request *s5r;
1835   const union MHD_ConnectionInfo *ci;
1836   int sock;
1837
1838   ci = MHD_get_connection_info (connection,
1839                                 MHD_CONNECTION_INFO_CONNECTION_FD);
1840   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Processing %s\n", url);
1841   if (NULL == ci)
1842   {
1843     GNUNET_break (0);
1844     return NULL;
1845   }
1846   sock = ci->connect_fd;
1847   for (s5r = s5r_head; NULL != s5r; s5r = s5r->next)
1848   {
1849     if (GNUNET_NETWORK_get_fd (s5r->sock) == sock)
1850     {
1851       if (NULL != s5r->url)
1852       {
1853         GNUNET_break (0);
1854         return NULL;
1855       }
1856       s5r->url = GNUNET_strdup (url);
1857       if (NULL != s5r->timeout_task)
1858         GNUNET_SCHEDULER_cancel (s5r->timeout_task);
1859       s5r->timeout_task = NULL;
1860       GNUNET_assert (s5r->state == SOCKS5_SOCKET_WITH_MHD);
1861       return s5r;
1862     }
1863   }
1864   GNUNET_break (0);
1865   return NULL;
1866 }
1867
1868
1869 /**
1870  * Kill the given MHD daemon.
1871  *
1872  * @param hd daemon to stop
1873  */
1874 static void
1875 kill_httpd (struct MhdHttpList *hd)
1876 {
1877   GNUNET_CONTAINER_DLL_remove (mhd_httpd_head,
1878                                mhd_httpd_tail,
1879                                hd);
1880   GNUNET_free_non_null (hd->domain);
1881   MHD_stop_daemon (hd->daemon);
1882   if (NULL != hd->httpd_task)
1883   {
1884     GNUNET_SCHEDULER_cancel (hd->httpd_task);
1885     hd->httpd_task = NULL;
1886   }
1887   GNUNET_free_non_null (hd->proxy_cert);
1888   if (hd == httpd)
1889     httpd = NULL;
1890   GNUNET_free (hd);
1891 }
1892
1893
1894 /**
1895  * Task run whenever HTTP server is idle for too long. Kill it.
1896  *
1897  * @param cls the `struct MhdHttpList *`
1898  */
1899 static void
1900 kill_httpd_task (void *cls)
1901 {
1902   struct MhdHttpList *hd = cls;
1903
1904   hd->httpd_task = NULL;
1905   kill_httpd (hd);
1906 }
1907
1908
1909 /**
1910  * Task run whenever HTTP server operations are pending.
1911  *
1912  * @param cls the `struct MhdHttpList *` of the daemon that is being run
1913  */
1914 static void
1915 do_httpd (void *cls);
1916
1917
1918 /**
1919  * Schedule MHD.  This function should be called initially when an
1920  * MHD is first getting its client socket, and will then automatically
1921  * always be called later whenever there is work to be done.
1922  *
1923  * @param hd the daemon to schedule
1924  */
1925 static void
1926 schedule_httpd (struct MhdHttpList *hd)
1927 {
1928   fd_set rs;
1929   fd_set ws;
1930   fd_set es;
1931   struct GNUNET_NETWORK_FDSet *wrs;
1932   struct GNUNET_NETWORK_FDSet *wws;
1933   int max;
1934   int haveto;
1935   MHD_UNSIGNED_LONG_LONG timeout;
1936   struct GNUNET_TIME_Relative tv;
1937
1938   FD_ZERO (&rs);
1939   FD_ZERO (&ws);
1940   FD_ZERO (&es);
1941   max = -1;
1942   if (MHD_YES != MHD_get_fdset (hd->daemon, &rs, &ws, &es, &max))
1943   {
1944     kill_httpd (hd);
1945     return;
1946   }
1947   haveto = MHD_get_timeout (hd->daemon, &timeout);
1948   if (MHD_YES == haveto)
1949     tv.rel_value_us = (uint64_t) timeout * 1000LL;
1950   else
1951     tv = GNUNET_TIME_UNIT_FOREVER_REL;
1952   if (-1 != max)
1953   {
1954     wrs = GNUNET_NETWORK_fdset_create ();
1955     wws = GNUNET_NETWORK_fdset_create ();
1956     GNUNET_NETWORK_fdset_copy_native (wrs, &rs, max + 1);
1957     GNUNET_NETWORK_fdset_copy_native (wws, &ws, max + 1);
1958   }
1959   else
1960   {
1961     wrs = NULL;
1962     wws = NULL;
1963   }
1964   if (NULL != hd->httpd_task)
1965     GNUNET_SCHEDULER_cancel (hd->httpd_task);
1966   if ( (MHD_YES != haveto) &&
1967        (-1 == max) &&
1968        (hd != httpd) )
1969   {
1970     /* daemon is idle, kill after timeout */
1971     hd->httpd_task = GNUNET_SCHEDULER_add_delayed (MHD_CACHE_TIMEOUT,
1972                                                    &kill_httpd_task,
1973                                                    hd);
1974   }
1975   else
1976   {
1977     hd->httpd_task =
1978       GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_DEFAULT,
1979                                    tv, wrs, wws,
1980                                    &do_httpd, hd);
1981   }
1982   if (NULL != wrs)
1983     GNUNET_NETWORK_fdset_destroy (wrs);
1984   if (NULL != wws)
1985     GNUNET_NETWORK_fdset_destroy (wws);
1986 }
1987
1988
1989 /**
1990  * Task run whenever HTTP server operations are pending.
1991  *
1992  * @param cls the `struct MhdHttpList` of the daemon that is being run
1993  */
1994 static void
1995 do_httpd (void *cls)
1996 {
1997   struct MhdHttpList *hd = cls;
1998
1999   hd->httpd_task = NULL;
2000   MHD_run (hd->daemon);
2001   schedule_httpd (hd);
2002 }
2003
2004
2005 /**
2006  * Run MHD now, we have extra data ready for the callback.
2007  *
2008  * @param hd the daemon to run now.
2009  */
2010 static void
2011 run_mhd_now (struct MhdHttpList *hd)
2012 {
2013   if (NULL !=
2014       hd->httpd_task)
2015     GNUNET_SCHEDULER_cancel (hd->httpd_task);
2016   hd->httpd_task = GNUNET_SCHEDULER_add_now (&do_httpd,
2017                                              hd);
2018 }
2019
2020
2021 /**
2022  * Read file in filename
2023  *
2024  * @param filename file to read
2025  * @param size pointer where filesize is stored
2026  * @return NULL on error
2027  */
2028 static void*
2029 load_file (const char* filename,
2030            unsigned int* size)
2031 {
2032   void *buffer;
2033   uint64_t fsize;
2034
2035   if (GNUNET_OK !=
2036       GNUNET_DISK_file_size (filename, &fsize,
2037                              GNUNET_YES, GNUNET_YES))
2038     return NULL;
2039   if (fsize > MAX_PEM_SIZE)
2040     return NULL;
2041   *size = (unsigned int) fsize;
2042   buffer = GNUNET_malloc (*size);
2043   if (fsize != GNUNET_DISK_fn_read (filename, buffer, (size_t) fsize))
2044   {
2045     GNUNET_free (buffer);
2046     return NULL;
2047   }
2048   return buffer;
2049 }
2050
2051
2052 /**
2053  * Load PEM key from file
2054  *
2055  * @param key where to store the data
2056  * @param keyfile path to the PEM file
2057  * @return #GNUNET_OK on success
2058  */
2059 static int
2060 load_key_from_file (gnutls_x509_privkey_t key,
2061                     const char* keyfile)
2062 {
2063   gnutls_datum_t key_data;
2064   int ret;
2065
2066   key_data.data = load_file (keyfile, &key_data.size);
2067   if (NULL == key_data.data)
2068     return GNUNET_SYSERR;
2069   ret = gnutls_x509_privkey_import (key, &key_data,
2070                                     GNUTLS_X509_FMT_PEM);
2071   if (GNUTLS_E_SUCCESS != ret)
2072   {
2073     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2074                 _("Unable to import private key from file `%s'\n"),
2075                 keyfile);
2076   }
2077   GNUNET_free_non_null (key_data.data);
2078   return (GNUTLS_E_SUCCESS != ret) ? GNUNET_SYSERR : GNUNET_OK;
2079 }
2080
2081
2082 /**
2083  * Load cert from file
2084  *
2085  * @param crt struct to store data in
2086  * @param certfile path to pem file
2087  * @return #GNUNET_OK on success
2088  */
2089 static int
2090 load_cert_from_file (gnutls_x509_crt_t crt,
2091                      const char* certfile)
2092 {
2093   gnutls_datum_t cert_data;
2094   int ret;
2095
2096   cert_data.data = load_file (certfile, &cert_data.size);
2097   if (NULL == cert_data.data)
2098     return GNUNET_SYSERR;
2099   ret = gnutls_x509_crt_import (crt, &cert_data,
2100                                 GNUTLS_X509_FMT_PEM);
2101   if (GNUTLS_E_SUCCESS != ret)
2102   {
2103     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2104                 _("Unable to import certificate %s\n"), certfile);
2105   }
2106   GNUNET_free_non_null (cert_data.data);
2107   return (GNUTLS_E_SUCCESS != ret) ? GNUNET_SYSERR : GNUNET_OK;
2108 }
2109
2110
2111 /**
2112  * Generate new certificate for specific name
2113  *
2114  * @param name the subject name to generate a cert for
2115  * @return a struct holding the PEM data, NULL on error
2116  */
2117 static struct ProxyGNSCertificate *
2118 generate_gns_certificate (const char *name)
2119 {
2120   unsigned int serial;
2121   size_t key_buf_size;
2122   size_t cert_buf_size;
2123   gnutls_x509_crt_t request;
2124   time_t etime;
2125   struct tm *tm_data;
2126   struct ProxyGNSCertificate *pgc;
2127
2128   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2129               "Generating TLS/SSL certificate for `%s'\n",
2130               name);
2131   GNUNET_break (GNUTLS_E_SUCCESS == gnutls_x509_crt_init (&request));
2132   GNUNET_break (GNUTLS_E_SUCCESS == gnutls_x509_crt_set_key (request, proxy_ca.key));
2133   pgc = GNUNET_new (struct ProxyGNSCertificate);
2134   gnutls_x509_crt_set_dn_by_oid (request, GNUTLS_OID_X520_COUNTRY_NAME,
2135                                  0, "ZZ", 2);
2136   gnutls_x509_crt_set_dn_by_oid (request, GNUTLS_OID_X520_ORGANIZATION_NAME,
2137                                  0, "GNU Name System", 4);
2138   gnutls_x509_crt_set_dn_by_oid (request, GNUTLS_OID_X520_COMMON_NAME,
2139                                  0, name, strlen (name));
2140   GNUNET_break (GNUTLS_E_SUCCESS == gnutls_x509_crt_set_version (request, 3));
2141   gnutls_rnd (GNUTLS_RND_NONCE, &serial, sizeof (serial));
2142   gnutls_x509_crt_set_serial (request,
2143                               &serial,
2144                               sizeof (serial));
2145   etime = time (NULL);
2146   tm_data = localtime (&etime);
2147   gnutls_x509_crt_set_activation_time (request,
2148                                        etime);
2149   tm_data->tm_year++;
2150   etime = mktime (tm_data);
2151   gnutls_x509_crt_set_expiration_time (request,
2152                                        etime);
2153   gnutls_x509_crt_sign (request,
2154                         proxy_ca.cert,
2155                         proxy_ca.key);
2156   key_buf_size = sizeof (pgc->key);
2157   cert_buf_size = sizeof (pgc->cert);
2158   gnutls_x509_crt_export (request, GNUTLS_X509_FMT_PEM,
2159                           pgc->cert, &cert_buf_size);
2160   gnutls_x509_privkey_export (proxy_ca.key, GNUTLS_X509_FMT_PEM,
2161                               pgc->key, &key_buf_size);
2162   gnutls_x509_crt_deinit (request);
2163   return pgc;
2164 }
2165
2166
2167 /**
2168  * Function called by MHD with errors, suppresses them all.
2169  *
2170  * @param cls closure
2171  * @param fm format string (`printf()`-style)
2172  * @param ap arguments to @a fm
2173  */
2174 static void
2175 mhd_error_log_callback (void *cls,
2176                         const char *fm,
2177                         va_list ap)
2178 {
2179   /* do nothing */
2180 }
2181
2182
2183 /**
2184  * Lookup (or create) an SSL MHD instance for a particular domain.
2185  *
2186  * @param domain the domain the SSL daemon has to serve
2187  * @return NULL on error
2188  */
2189 static struct MhdHttpList *
2190 lookup_ssl_httpd (const char* domain)
2191 {
2192   struct MhdHttpList *hd;
2193   struct ProxyGNSCertificate *pgc;
2194
2195   if (NULL == domain)
2196   {
2197     GNUNET_break (0);
2198     return NULL;
2199   }
2200   for (hd = mhd_httpd_head; NULL != hd; hd = hd->next)
2201     if ( (NULL != hd->domain) &&
2202          (0 == strcmp (hd->domain, domain)) )
2203       return hd;
2204   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2205               "Starting fresh MHD HTTPS instance for domain `%s'\n",
2206               domain);
2207   pgc = generate_gns_certificate (domain);
2208   hd = GNUNET_new (struct MhdHttpList);
2209   hd->is_ssl = GNUNET_YES;
2210   hd->domain = GNUNET_strdup (domain);
2211   hd->proxy_cert = pgc;
2212   hd->daemon = MHD_start_daemon (MHD_USE_DEBUG | MHD_USE_SSL | MHD_USE_NO_LISTEN_SOCKET,
2213                                  0,
2214                                  NULL, NULL,
2215                                  &create_response, hd,
2216                                  MHD_OPTION_CONNECTION_TIMEOUT, (unsigned int) 16,
2217                                  MHD_OPTION_NOTIFY_COMPLETED, &mhd_completed_cb, NULL,
2218                                  MHD_OPTION_NOTIFY_CONNECTION, &mhd_connection_cb, NULL,
2219                                  MHD_OPTION_URI_LOG_CALLBACK, &mhd_log_callback, NULL,
2220                                  MHD_OPTION_EXTERNAL_LOGGER, &mhd_error_log_callback, NULL,
2221                                  MHD_OPTION_HTTPS_MEM_KEY, pgc->key,
2222                                  MHD_OPTION_HTTPS_MEM_CERT, pgc->cert,
2223                                  MHD_OPTION_END);
2224   if (NULL == hd->daemon)
2225   {
2226     GNUNET_free (pgc);
2227     GNUNET_free (hd);
2228     return NULL;
2229   }
2230   GNUNET_CONTAINER_DLL_insert (mhd_httpd_head,
2231                                mhd_httpd_tail,
2232                                hd);
2233   return hd;
2234 }
2235
2236
2237 /**
2238  * Task run when a Socks5Request somehow fails to be associated with
2239  * an MHD connection (i.e. because the client never speaks HTTP after
2240  * the SOCKS5 handshake).  Clean up.
2241  *
2242  * @param cls the `struct Socks5Request *`
2243  */
2244 static void
2245 timeout_s5r_handshake (void *cls)
2246 {
2247   struct Socks5Request *s5r = cls;
2248
2249   s5r->timeout_task = NULL;
2250   cleanup_s5r (s5r);
2251 }
2252
2253
2254 /**
2255  * We're done with the Socks5 protocol, now we need to pass the
2256  * connection data through to the final destination, either
2257  * direct (if the protocol might not be HTTP), or via MHD
2258  * (if the port looks like it should be HTTP).
2259  *
2260  * @param s5r socks request that has reached the final stage
2261  */
2262 static void
2263 setup_data_transfer (struct Socks5Request *s5r)
2264 {
2265   struct MhdHttpList *hd;
2266   int fd;
2267   const struct sockaddr *addr;
2268   socklen_t len;
2269
2270   switch (s5r->port)
2271   {
2272     case HTTPS_PORT:
2273       hd = lookup_ssl_httpd (s5r->domain);
2274       if (NULL == hd)
2275       {
2276         GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2277                     _("Failed to start HTTPS server for `%s'\n"),
2278                     s5r->domain);
2279         cleanup_s5r (s5r);
2280         return;
2281       }
2282       break;
2283     case HTTP_PORT:
2284     default:
2285       GNUNET_assert (NULL != httpd);
2286       hd = httpd;
2287       break;
2288   }
2289   fd = GNUNET_NETWORK_get_fd (s5r->sock);
2290   addr = GNUNET_NETWORK_get_addr (s5r->sock);
2291   len = GNUNET_NETWORK_get_addrlen (s5r->sock);
2292   s5r->state = SOCKS5_SOCKET_WITH_MHD;
2293   if (MHD_YES != MHD_add_connection (hd->daemon, fd, addr, len))
2294   {
2295     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
2296                 _("Failed to pass client to MHD\n"));
2297     cleanup_s5r (s5r);
2298     return;
2299   }
2300   s5r->hd = hd;
2301   schedule_httpd (hd);
2302   s5r->timeout_task = GNUNET_SCHEDULER_add_delayed (HTTP_HANDSHAKE_TIMEOUT,
2303                                                     &timeout_s5r_handshake,
2304                                                     s5r);
2305 }
2306
2307
2308 /* ********************* SOCKS handling ************************* */
2309
2310
2311 /**
2312  * Write data from buffer to socks5 client, then continue with state machine.
2313  *
2314  * @param cls the closure with the `struct Socks5Request`
2315  */
2316 static void
2317 do_write (void *cls)
2318 {
2319   struct Socks5Request *s5r = cls;
2320   ssize_t len;
2321
2322   s5r->wtask = NULL;
2323   len = GNUNET_NETWORK_socket_send (s5r->sock,
2324                                     s5r->wbuf,
2325                                     s5r->wbuf_len);
2326   if (len <= 0)
2327   {
2328     /* write error: connection closed, shutdown, etc.; just clean up */
2329     cleanup_s5r (s5r);
2330     return;
2331   }
2332   memmove (s5r->wbuf,
2333            &s5r->wbuf[len],
2334            s5r->wbuf_len - len);
2335   s5r->wbuf_len -= len;
2336   if (s5r->wbuf_len > 0)
2337   {
2338     /* not done writing */
2339     s5r->wtask =
2340       GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_UNIT_FOREVER_REL,
2341                                       s5r->sock,
2342                                       &do_write, s5r);
2343     return;
2344   }
2345
2346   /* we're done writing, continue with state machine! */
2347
2348   switch (s5r->state)
2349   {
2350     case SOCKS5_INIT:
2351       GNUNET_assert (0);
2352       break;
2353     case SOCKS5_REQUEST:
2354       GNUNET_assert (NULL != s5r->rtask);
2355       break;
2356     case SOCKS5_DATA_TRANSFER:
2357       setup_data_transfer (s5r);
2358       return;
2359     case SOCKS5_WRITE_THEN_CLEANUP:
2360       cleanup_s5r (s5r);
2361       return;
2362     default:
2363       GNUNET_break (0);
2364       break;
2365   }
2366 }
2367
2368
2369 /**
2370  * Return a server response message indicating a failure to the client.
2371  *
2372  * @param s5r request to return failure code for
2373  * @param sc status code to return
2374  */
2375 static void
2376 signal_socks_failure (struct Socks5Request *s5r,
2377                       enum Socks5StatusCode sc)
2378 {
2379   struct Socks5ServerResponseMessage *s_resp;
2380
2381   s_resp = (struct Socks5ServerResponseMessage *) &s5r->wbuf[s5r->wbuf_len];
2382   memset (s_resp, 0, sizeof (struct Socks5ServerResponseMessage));
2383   s_resp->version = SOCKS_VERSION_5;
2384   s_resp->reply = sc;
2385   s5r->state = SOCKS5_WRITE_THEN_CLEANUP;
2386   if (NULL != s5r->wtask)
2387     s5r->wtask =
2388       GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_UNIT_FOREVER_REL,
2389                                       s5r->sock,
2390                                       &do_write, s5r);
2391 }
2392
2393
2394 /**
2395  * Return a server response message indicating success.
2396  *
2397  * @param s5r request to return success status message for
2398  */
2399 static void
2400 signal_socks_success (struct Socks5Request *s5r)
2401 {
2402   struct Socks5ServerResponseMessage *s_resp;
2403
2404   s_resp = (struct Socks5ServerResponseMessage *) &s5r->wbuf[s5r->wbuf_len];
2405   s_resp->version = SOCKS_VERSION_5;
2406   s_resp->reply = SOCKS5_STATUS_REQUEST_GRANTED;
2407   s_resp->reserved = 0;
2408   s_resp->addr_type = SOCKS5_AT_IPV4;
2409   /* zero out IPv4 address and port */
2410   memset (&s_resp[1],
2411           0,
2412           sizeof (struct in_addr) + sizeof (uint16_t));
2413   s5r->wbuf_len += sizeof (struct Socks5ServerResponseMessage) +
2414     sizeof (struct in_addr) + sizeof (uint16_t);
2415   if (NULL == s5r->wtask)
2416     s5r->wtask =
2417       GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_UNIT_FOREVER_REL,
2418                                       s5r->sock,
2419                                       &do_write, s5r);
2420 }
2421
2422
2423 /**
2424  * Process GNS results for target domain.
2425  *
2426  * @param cls the `struct Socks5Request *`
2427  * @param rd_count number of records returned
2428  * @param rd record data
2429  */
2430 static void
2431 handle_gns_result (void *cls,
2432                    uint32_t rd_count,
2433                    const struct GNUNET_GNSRECORD_Data *rd)
2434 {
2435   struct Socks5Request *s5r = cls;
2436   uint32_t i;
2437   const struct GNUNET_GNSRECORD_Data *r;
2438   int got_ip;
2439
2440   s5r->gns_lookup = NULL;
2441   got_ip = GNUNET_NO;
2442   for (i=0;i<rd_count;i++)
2443   {
2444     r = &rd[i];
2445     switch (r->record_type)
2446     {
2447       case GNUNET_DNSPARSER_TYPE_A:
2448         {
2449           struct sockaddr_in *in;
2450
2451           if (sizeof (struct in_addr) != r->data_size)
2452           {
2453             GNUNET_break_op (0);
2454             break;
2455           }
2456           if (GNUNET_YES == got_ip)
2457             break;
2458           if (GNUNET_OK !=
2459               GNUNET_NETWORK_test_pf (PF_INET))
2460             break;
2461           got_ip = GNUNET_YES;
2462           in = (struct sockaddr_in *) &s5r->destination_address;
2463           in->sin_family = AF_INET;
2464           GNUNET_memcpy (&in->sin_addr,
2465                          r->data,
2466                          r->data_size);
2467           in->sin_port = htons (s5r->port);
2468 #if HAVE_SOCKADDR_IN_SIN_LEN
2469           in->sin_len = sizeof (*in);
2470 #endif
2471         }
2472         break;
2473       case GNUNET_DNSPARSER_TYPE_AAAA:
2474         {
2475           struct sockaddr_in6 *in;
2476
2477           if (sizeof (struct in6_addr) != r->data_size)
2478           {
2479             GNUNET_break_op (0);
2480             break;
2481           }
2482           if (GNUNET_YES == got_ip)
2483             break;
2484           if (GNUNET_OK !=
2485               GNUNET_NETWORK_test_pf (PF_INET))
2486             break;
2487           /* FIXME: allow user to disable IPv6 per configuration option... */
2488           got_ip = GNUNET_YES;
2489           in = (struct sockaddr_in6 *) &s5r->destination_address;
2490           in->sin6_family = AF_INET6;
2491           GNUNET_memcpy (&in->sin6_addr,
2492                          r->data,
2493                          r->data_size);
2494           in->sin6_port = htons (s5r->port);
2495 #if HAVE_SOCKADDR_IN_SIN_LEN
2496           in->sin6_len = sizeof (*in);
2497 #endif
2498         }
2499         break;
2500       case GNUNET_GNSRECORD_TYPE_VPN:
2501         GNUNET_break (0); /* should have been translated within GNS */
2502         break;
2503       case GNUNET_GNSRECORD_TYPE_LEHO:
2504         GNUNET_free_non_null (s5r->leho);
2505         s5r->leho = GNUNET_strndup (r->data,
2506                                     r->data_size);
2507         break;
2508       case GNUNET_GNSRECORD_TYPE_BOX:
2509         {
2510           const struct GNUNET_GNSRECORD_BoxRecord *box;
2511
2512           if (r->data_size < sizeof (struct GNUNET_GNSRECORD_BoxRecord))
2513           {
2514             GNUNET_break_op (0);
2515             break;
2516           }
2517           box = r->data;
2518           if ( (ntohl (box->record_type) != GNUNET_DNSPARSER_TYPE_TLSA) ||
2519                (ntohs (box->protocol) != IPPROTO_TCP) ||
2520                (ntohs (box->service) != s5r->port) )
2521             break; /* BOX record does not apply */
2522           GNUNET_free_non_null (s5r->dane_data);
2523           s5r->dane_data_len = r->data_size - sizeof (struct GNUNET_GNSRECORD_BoxRecord);
2524           s5r->dane_data = GNUNET_malloc (s5r->dane_data_len);
2525           GNUNET_memcpy (s5r->dane_data,
2526                          &box[1],
2527                          s5r->dane_data_len);
2528           break;
2529         }
2530       default:
2531         /* don't care */
2532         break;
2533     }
2534   }
2535   if (GNUNET_YES != got_ip)
2536   {
2537     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2538                 "Name resolution failed to yield useful IP address.\n");
2539     signal_socks_failure (s5r,
2540                           SOCKS5_STATUS_GENERAL_FAILURE);
2541     return;
2542   }
2543   s5r->state = SOCKS5_DATA_TRANSFER;
2544   signal_socks_success (s5r);
2545 }
2546
2547
2548 /**
2549  * Remove the first @a len bytes from the beginning of the read buffer.
2550  *
2551  * @param s5r the handle clear the read buffer for
2552  * @param len number of bytes in read buffer to advance
2553  */
2554 static void
2555 clear_from_s5r_rbuf (struct Socks5Request *s5r,
2556                      size_t len)
2557 {
2558   GNUNET_assert (len <= s5r->rbuf_len);
2559   memmove (s5r->rbuf,
2560            &s5r->rbuf[len],
2561            s5r->rbuf_len - len);
2562   s5r->rbuf_len -= len;
2563 }
2564
2565
2566 /**
2567  * Read data from incoming Socks5 connection
2568  *
2569  * @param cls the closure with the `struct Socks5Request`
2570  */
2571 static void
2572 do_s5r_read (void *cls)
2573 {
2574   struct Socks5Request *s5r = cls;
2575   const struct Socks5ClientHelloMessage *c_hello;
2576   struct Socks5ServerHelloMessage *s_hello;
2577   const struct Socks5ClientRequestMessage *c_req;
2578   ssize_t rlen;
2579   size_t alen;
2580   const struct GNUNET_SCHEDULER_TaskContext *tc;
2581
2582   s5r->rtask = NULL;
2583   tc = GNUNET_SCHEDULER_get_task_context ();
2584   if ( (NULL != tc->read_ready) &&
2585        (GNUNET_NETWORK_fdset_isset (tc->read_ready, s5r->sock)) )
2586   {
2587     rlen = GNUNET_NETWORK_socket_recv (s5r->sock,
2588                                        &s5r->rbuf[s5r->rbuf_len],
2589                                        sizeof (s5r->rbuf) - s5r->rbuf_len);
2590     if (rlen <= 0)
2591     {
2592       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2593                   "socks5 client disconnected.\n");
2594       cleanup_s5r (s5r);
2595       return;
2596     }
2597     s5r->rbuf_len += rlen;
2598   }
2599   s5r->rtask = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
2600                                               s5r->sock,
2601                                               &do_s5r_read, s5r);
2602   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2603               "Processing %zu bytes of socks data in state %d\n",
2604               s5r->rbuf_len,
2605               s5r->state);
2606   switch (s5r->state)
2607   {
2608     case SOCKS5_INIT:
2609       c_hello = (const struct Socks5ClientHelloMessage*) &s5r->rbuf;
2610       if ( (s5r->rbuf_len < sizeof (struct Socks5ClientHelloMessage)) ||
2611            (s5r->rbuf_len < sizeof (struct Socks5ClientHelloMessage) + c_hello->num_auth_methods) )
2612         return; /* need more data */
2613       if (SOCKS_VERSION_5 != c_hello->version)
2614       {
2615         GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2616                     _("Unsupported socks version %d\n"),
2617                     (int) c_hello->version);
2618         cleanup_s5r (s5r);
2619         return;
2620       }
2621       clear_from_s5r_rbuf (s5r,
2622                            sizeof (struct Socks5ClientHelloMessage) + c_hello->num_auth_methods);
2623       GNUNET_assert (0 == s5r->wbuf_len);
2624       s_hello = (struct Socks5ServerHelloMessage *) &s5r->wbuf;
2625       s5r->wbuf_len = sizeof (struct Socks5ServerHelloMessage);
2626       s_hello->version = SOCKS_VERSION_5;
2627       s_hello->auth_method = SOCKS_AUTH_NONE;
2628       GNUNET_assert (NULL == s5r->wtask);
2629       s5r->wtask = GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_UNIT_FOREVER_REL,
2630                                                    s5r->sock,
2631                                                    &do_write, s5r);
2632       s5r->state = SOCKS5_REQUEST;
2633       return;
2634     case SOCKS5_REQUEST:
2635       c_req = (const struct Socks5ClientRequestMessage *) &s5r->rbuf;
2636       if (s5r->rbuf_len < sizeof (struct Socks5ClientRequestMessage))
2637         return;
2638       switch (c_req->command)
2639       {
2640         case SOCKS5_CMD_TCP_STREAM:
2641           /* handled below */
2642           break;
2643         default:
2644           GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2645                       _("Unsupported socks command %d\n"),
2646                       (int) c_req->command);
2647           signal_socks_failure (s5r,
2648                                 SOCKS5_STATUS_COMMAND_NOT_SUPPORTED);
2649           return;
2650       }
2651       switch (c_req->addr_type)
2652       {
2653         case SOCKS5_AT_IPV4:
2654           {
2655             const struct in_addr *v4 = (const struct in_addr *) &c_req[1];
2656             const uint16_t *port = (const uint16_t *) &v4[1];
2657             struct sockaddr_in *in;
2658
2659             s5r->port = ntohs (*port);
2660             if (HTTPS_PORT == s5r->port)
2661             {
2662               GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2663                           _("SSL connection to plain IPv4 address requested\n"));
2664               signal_socks_failure (s5r,
2665                                     SOCKS5_STATUS_CONNECTION_NOT_ALLOWED_BY_RULE);
2666               return;
2667             }
2668             alen = sizeof (struct in_addr);
2669             if (s5r->rbuf_len < sizeof (struct Socks5ClientRequestMessage) +
2670                 alen + sizeof (uint16_t))
2671               return; /* need more data */
2672             in = (struct sockaddr_in *) &s5r->destination_address;
2673             in->sin_family = AF_INET;
2674             in->sin_addr = *v4;
2675             in->sin_port = *port;
2676 #if HAVE_SOCKADDR_IN_SIN_LEN
2677             in->sin_len = sizeof (*in);
2678 #endif
2679             s5r->state = SOCKS5_DATA_TRANSFER;
2680           }
2681           break;
2682         case SOCKS5_AT_IPV6:
2683           {
2684             const struct in6_addr *v6 = (const struct in6_addr *) &c_req[1];
2685             const uint16_t *port = (const uint16_t *) &v6[1];
2686             struct sockaddr_in6 *in;
2687
2688             s5r->port = ntohs (*port);
2689             if (HTTPS_PORT == s5r->port)
2690             {
2691               GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2692                           _("SSL connection to plain IPv4 address requested\n"));
2693               signal_socks_failure (s5r,
2694                                     SOCKS5_STATUS_CONNECTION_NOT_ALLOWED_BY_RULE);
2695               return;
2696             }
2697             alen = sizeof (struct in6_addr);
2698             if (s5r->rbuf_len < sizeof (struct Socks5ClientRequestMessage) +
2699                 alen + sizeof (uint16_t))
2700               return; /* need more data */
2701             in = (struct sockaddr_in6 *) &s5r->destination_address;
2702             in->sin6_family = AF_INET6;
2703             in->sin6_addr = *v6;
2704             in->sin6_port = *port;
2705 #if HAVE_SOCKADDR_IN_SIN_LEN
2706             in->sin6_len = sizeof (*in);
2707 #endif
2708             s5r->state = SOCKS5_DATA_TRANSFER;
2709           }
2710           break;
2711         case SOCKS5_AT_DOMAINNAME:
2712           {
2713             const uint8_t *dom_len;
2714             const char *dom_name;
2715             const uint16_t *port;
2716
2717             dom_len = (const uint8_t *) &c_req[1];
2718             alen = *dom_len + 1;
2719             if (s5r->rbuf_len < sizeof (struct Socks5ClientRequestMessage) +
2720                 alen + sizeof (uint16_t))
2721               return; /* need more data */
2722             dom_name = (const char *) &dom_len[1];
2723             port = (const uint16_t*) &dom_name[*dom_len];
2724             s5r->domain = GNUNET_strndup (dom_name, *dom_len);
2725             GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2726                         "Requested connection is to %s:%d\n",
2727                         s5r->domain,
2728                         ntohs (*port));
2729             s5r->state = SOCKS5_RESOLVING;
2730             s5r->port = ntohs (*port);
2731             s5r->gns_lookup = GNUNET_GNS_lookup (gns_handle,
2732                                                  s5r->domain,
2733                                                  &local_gns_zone,
2734                                                  GNUNET_DNSPARSER_TYPE_A,
2735                                                  GNUNET_NO /* only cached */,
2736                                                  (GNUNET_YES == do_shorten) ? &local_shorten_zone : NULL,
2737                                                  &handle_gns_result,
2738                                                  s5r);
2739             break;
2740           }
2741         default:
2742           GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2743                       _("Unsupported socks address type %d\n"),
2744                       (int) c_req->addr_type);
2745           signal_socks_failure (s5r,
2746                                 SOCKS5_STATUS_ADDRESS_TYPE_NOT_SUPPORTED);
2747           return;
2748       }
2749       clear_from_s5r_rbuf (s5r,
2750                            sizeof (struct Socks5ClientRequestMessage) +
2751                            alen + sizeof (uint16_t));
2752       if (0 != s5r->rbuf_len)
2753       {
2754         /* read more bytes than healthy, why did the client send more!? */
2755         GNUNET_break_op (0);
2756         signal_socks_failure (s5r,
2757                               SOCKS5_STATUS_GENERAL_FAILURE);
2758         return;
2759       }
2760       if (SOCKS5_DATA_TRANSFER == s5r->state)
2761       {
2762         /* if we are not waiting for GNS resolution, signal success */
2763         signal_socks_success (s5r);
2764       }
2765       /* We are done reading right now */
2766       GNUNET_SCHEDULER_cancel (s5r->rtask);
2767       s5r->rtask = NULL;
2768       return;
2769     case SOCKS5_RESOLVING:
2770       GNUNET_assert (0);
2771       return;
2772     case SOCKS5_DATA_TRANSFER:
2773       GNUNET_assert (0);
2774       return;
2775     default:
2776       GNUNET_assert (0);
2777       return;
2778   }
2779 }
2780
2781
2782 /**
2783  * Accept new incoming connections
2784  *
2785  * @param cls the closure with the lsock4 or lsock6
2786  * @param tc the scheduler context
2787  */
2788 static void
2789 do_accept (void *cls)
2790 {
2791   struct GNUNET_NETWORK_Handle *lsock = cls;
2792   struct GNUNET_NETWORK_Handle *s;
2793   struct Socks5Request *s5r;
2794
2795   if (lsock == lsock4)
2796     ltask4 = NULL;
2797   else
2798     ltask6 = NULL;
2799   if (lsock == lsock4)
2800     ltask4 = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
2801                                             lsock,
2802                                             &do_accept, lsock);
2803   else
2804     ltask6 = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
2805                                             lsock,
2806                                             &do_accept, lsock);
2807   s = GNUNET_NETWORK_socket_accept (lsock, NULL, NULL);
2808   if (NULL == s)
2809   {
2810     GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "accept");
2811     return;
2812   }
2813   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2814               "Got an inbound connection, waiting for data\n");
2815   s5r = GNUNET_new (struct Socks5Request);
2816   GNUNET_CONTAINER_DLL_insert (s5r_head,
2817                                s5r_tail,
2818                                s5r);
2819   s5r->sock = s;
2820   s5r->state = SOCKS5_INIT;
2821   s5r->rtask = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
2822                                               s5r->sock,
2823                                               &do_s5r_read, s5r);
2824 }
2825
2826
2827 /* ******************* General / main code ********************* */
2828
2829
2830 /**
2831  * Task run on shutdown
2832  *
2833  * @param cls closure
2834  */
2835 static void
2836 do_shutdown (void *cls)
2837 {
2838   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
2839               "Shutting down...\n");
2840   while (NULL != mhd_httpd_head)
2841     kill_httpd (mhd_httpd_head);
2842   while (NULL != s5r_head)
2843     cleanup_s5r (s5r_head);
2844   if (NULL != lsock4)
2845   {
2846     GNUNET_NETWORK_socket_close (lsock4);
2847     lsock4 = NULL;
2848   }
2849   if (NULL != lsock6)
2850   {
2851     GNUNET_NETWORK_socket_close (lsock6);
2852     lsock6 = NULL;
2853   }
2854   if (NULL != id_op)
2855   {
2856     GNUNET_IDENTITY_cancel (id_op);
2857     id_op = NULL;
2858   }
2859   if (NULL != identity)
2860   {
2861     GNUNET_IDENTITY_disconnect (identity);
2862     identity = NULL;
2863   }
2864   if (NULL != curl_multi)
2865   {
2866     curl_multi_cleanup (curl_multi);
2867     curl_multi = NULL;
2868   }
2869   if (NULL != gns_handle)
2870   {
2871     GNUNET_GNS_disconnect (gns_handle);
2872     gns_handle = NULL;
2873   }
2874   if (NULL != curl_download_task)
2875   {
2876     GNUNET_SCHEDULER_cancel (curl_download_task);
2877     curl_download_task = NULL;
2878   }
2879   if (NULL != ltask4)
2880   {
2881     GNUNET_SCHEDULER_cancel (ltask4);
2882     ltask4 = NULL;
2883   }
2884   if (NULL != ltask6)
2885   {
2886     GNUNET_SCHEDULER_cancel (ltask6);
2887     ltask6 = NULL;
2888   }
2889   gnutls_x509_crt_deinit (proxy_ca.cert);
2890   gnutls_x509_privkey_deinit (proxy_ca.key);
2891   gnutls_global_deinit ();
2892 }
2893
2894
2895 /**
2896  * Create an IPv4 listen socket bound to our port.
2897  *
2898  * @return NULL on error
2899  */
2900 static struct GNUNET_NETWORK_Handle *
2901 bind_v4 ()
2902 {
2903   struct GNUNET_NETWORK_Handle *ls;
2904   struct sockaddr_in sa4;
2905   int eno;
2906
2907   memset (&sa4, 0, sizeof (sa4));
2908   sa4.sin_family = AF_INET;
2909   sa4.sin_port = htons (port);
2910 #if HAVE_SOCKADDR_IN_SIN_LEN
2911   sa4.sin_len = sizeof (sa4);
2912 #endif
2913   ls = GNUNET_NETWORK_socket_create (AF_INET,
2914                                      SOCK_STREAM,
2915                                      0);
2916   if (NULL == ls)
2917     return NULL;
2918   if (GNUNET_OK !=
2919       GNUNET_NETWORK_socket_bind (ls, (const struct sockaddr *) &sa4,
2920                                   sizeof (sa4)))
2921   {
2922     eno = errno;
2923     GNUNET_NETWORK_socket_close (ls);
2924     errno = eno;
2925     return NULL;
2926   }
2927   return ls;
2928 }
2929
2930
2931 /**
2932  * Create an IPv6 listen socket bound to our port.
2933  *
2934  * @return NULL on error
2935  */
2936 static struct GNUNET_NETWORK_Handle *
2937 bind_v6 ()
2938 {
2939   struct GNUNET_NETWORK_Handle *ls;
2940   struct sockaddr_in6 sa6;
2941   int eno;
2942
2943   memset (&sa6, 0, sizeof (sa6));
2944   sa6.sin6_family = AF_INET6;
2945   sa6.sin6_port = htons (port);
2946 #if HAVE_SOCKADDR_IN_SIN_LEN
2947   sa6.sin6_len = sizeof (sa6);
2948 #endif
2949   ls = GNUNET_NETWORK_socket_create (AF_INET6,
2950                                      SOCK_STREAM,
2951                                      0);
2952   if (NULL == ls)
2953     return NULL;
2954   if (GNUNET_OK !=
2955       GNUNET_NETWORK_socket_bind (ls, (const struct sockaddr *) &sa6,
2956                                   sizeof (sa6)))
2957   {
2958     eno = errno;
2959     GNUNET_NETWORK_socket_close (ls);
2960     errno = eno;
2961     return NULL;
2962   }
2963   return ls;
2964 }
2965
2966
2967 /**
2968  * Continue initialization after we have our zone information.
2969  */
2970 static void
2971 run_cont ()
2972 {
2973   struct MhdHttpList *hd;
2974
2975   /* Open listen socket for socks proxy */
2976   lsock6 = bind_v6 ();
2977   if (NULL == lsock6)
2978     GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "bind");
2979   else
2980   {
2981     if (GNUNET_OK != GNUNET_NETWORK_socket_listen (lsock6, 5))
2982     {
2983       GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "listen");
2984       GNUNET_NETWORK_socket_close (lsock6);
2985       lsock6 = NULL;
2986     }
2987     else
2988     {
2989       ltask6 = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
2990                                               lsock6, &do_accept, lsock6);
2991     }
2992   }
2993   lsock4 = bind_v4 ();
2994   if (NULL == lsock4)
2995     GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "bind");
2996   else
2997   {
2998     if (GNUNET_OK != GNUNET_NETWORK_socket_listen (lsock4, 5))
2999     {
3000       GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "listen");
3001       GNUNET_NETWORK_socket_close (lsock4);
3002       lsock4 = NULL;
3003     }
3004     else
3005     {
3006       ltask4 = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
3007                                               lsock4, &do_accept, lsock4);
3008     }
3009   }
3010   if ( (NULL == lsock4) &&
3011        (NULL == lsock6) )
3012   {
3013     GNUNET_SCHEDULER_shutdown ();
3014     return;
3015   }
3016   if (0 != curl_global_init (CURL_GLOBAL_WIN32))
3017   {
3018     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3019                 "cURL global init failed!\n");
3020     GNUNET_SCHEDULER_shutdown ();
3021     return;
3022   }
3023   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3024               "Proxy listens on port %lu\n",
3025               port);
3026
3027   /* start MHD daemon for HTTP */
3028   hd = GNUNET_new (struct MhdHttpList);
3029   hd->daemon = MHD_start_daemon (MHD_USE_DEBUG | MHD_USE_NO_LISTEN_SOCKET,
3030                                  0,
3031                                  NULL, NULL,
3032                                  &create_response, hd,
3033                                  MHD_OPTION_CONNECTION_TIMEOUT, (unsigned int) 16,
3034                                  MHD_OPTION_NOTIFY_COMPLETED, &mhd_completed_cb, NULL,
3035                                  MHD_OPTION_NOTIFY_CONNECTION, &mhd_connection_cb, NULL,
3036                                  MHD_OPTION_URI_LOG_CALLBACK, &mhd_log_callback, NULL,
3037                                  MHD_OPTION_END);
3038   if (NULL == hd->daemon)
3039   {
3040     GNUNET_free (hd);
3041     GNUNET_SCHEDULER_shutdown ();
3042     return;
3043   }
3044   httpd = hd;
3045   GNUNET_CONTAINER_DLL_insert (mhd_httpd_head, mhd_httpd_tail, hd);
3046 }
3047
3048
3049 /**
3050  * Method called to inform about the egos of the shorten zone of this peer.
3051  *
3052  * When used with #GNUNET_IDENTITY_create or #GNUNET_IDENTITY_get,
3053  * this function is only called ONCE, and 'NULL' being passed in
3054  * @a ego does indicate an error (i.e. name is taken or no default
3055  * value is known).  If @a ego is non-NULL and if '*ctx'
3056  * is set in those callbacks, the value WILL be passed to a subsequent
3057  * call to the identity callback of #GNUNET_IDENTITY_connect (if
3058  * that one was not NULL).
3059  *
3060  * @param cls closure, NULL
3061  * @param ego ego handle
3062  * @param ctx context for application to store data for this ego
3063  *                 (during the lifetime of this process, initially NULL)
3064  * @param name name assigned by the user for this ego,
3065  *                   NULL if the user just deleted the ego and it
3066  *                   must thus no longer be used
3067  */
3068 static void
3069 identity_shorten_cb (void *cls,
3070                      struct GNUNET_IDENTITY_Ego *ego,
3071                      void **ctx,
3072                      const char *name)
3073 {
3074   id_op = NULL;
3075   if (NULL == ego)
3076   {
3077     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
3078                 _("No ego configured for `shorten-zone`\n"));
3079   }
3080   else
3081   {
3082     local_shorten_zone = *GNUNET_IDENTITY_ego_get_private_key (ego);
3083     do_shorten = GNUNET_YES;
3084   }
3085   run_cont ();
3086 }
3087
3088
3089 /**
3090  * Method called to inform about the egos of the master zone of this peer.
3091  *
3092  * When used with #GNUNET_IDENTITY_create or #GNUNET_IDENTITY_get,
3093  * this function is only called ONCE, and 'NULL' being passed in
3094  * @a ego does indicate an error (i.e. name is taken or no default
3095  * value is known).  If @a ego is non-NULL and if '*ctx'
3096  * is set in those callbacks, the value WILL be passed to a subsequent
3097  * call to the identity callback of #GNUNET_IDENTITY_connect (if
3098  * that one was not NULL).
3099  *
3100  * @param cls closure, NULL
3101  * @param ego ego handle
3102  * @param ctx context for application to store data for this ego
3103  *                 (during the lifetime of this process, initially NULL)
3104  * @param name name assigned by the user for this ego,
3105  *                   NULL if the user just deleted the ego and it
3106  *                   must thus no longer be used
3107  */
3108 static void
3109 identity_master_cb (void *cls,
3110                     struct GNUNET_IDENTITY_Ego *ego,
3111                     void **ctx,
3112                     const char *name)
3113 {
3114   id_op = NULL;
3115   if (NULL == ego)
3116   {
3117     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3118                 _("No ego configured for `%s`\n"),
3119                 "gns-proxy");
3120     GNUNET_SCHEDULER_shutdown ();
3121     return;
3122   }
3123   GNUNET_IDENTITY_ego_get_public_key (ego,
3124                                       &local_gns_zone);
3125   id_op = GNUNET_IDENTITY_get (identity,
3126                                "gns-short",
3127                                &identity_shorten_cb,
3128                                NULL);
3129 }
3130
3131
3132 /**
3133  * Main function that will be run
3134  *
3135  * @param cls closure
3136  * @param args remaining command-line arguments
3137  * @param cfgfile name of the configuration file used (for saving, can be NULL!)
3138  * @param c configuration
3139  */
3140 static void
3141 run (void *cls, char *const *args, const char *cfgfile,
3142      const struct GNUNET_CONFIGURATION_Handle *c)
3143 {
3144   char* cafile_cfg = NULL;
3145   char* cafile;
3146
3147   cfg = c;
3148
3149   if (NULL == (curl_multi = curl_multi_init ()))
3150   {
3151     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3152                 "Failed to create cURL multi handle!\n");
3153     return;
3154   }
3155   cafile = cafile_opt;
3156   if (NULL == cafile)
3157   {
3158     if (GNUNET_OK != GNUNET_CONFIGURATION_get_value_filename (cfg, "gns-proxy",
3159                                                               "PROXY_CACERT",
3160                                                               &cafile_cfg))
3161     {
3162       GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR,
3163                                  "gns-proxy",
3164                                  "PROXY_CACERT");
3165       return;
3166     }
3167     cafile = cafile_cfg;
3168   }
3169   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3170               "Using %s as CA\n", cafile);
3171
3172   gnutls_global_init ();
3173   gnutls_x509_crt_init (&proxy_ca.cert);
3174   gnutls_x509_privkey_init (&proxy_ca.key);
3175
3176   if ( (GNUNET_OK != load_cert_from_file (proxy_ca.cert, cafile)) ||
3177        (GNUNET_OK != load_key_from_file (proxy_ca.key, cafile)) )
3178   {
3179     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3180                 _("Failed to load SSL/TLS key and certificate from `%s'\n"),
3181                 cafile);
3182     gnutls_x509_crt_deinit (proxy_ca.cert);
3183     gnutls_x509_privkey_deinit (proxy_ca.key);
3184     gnutls_global_deinit ();
3185     GNUNET_free_non_null (cafile_cfg);
3186     return;
3187   }
3188   GNUNET_free_non_null (cafile_cfg);
3189   if (NULL == (gns_handle = GNUNET_GNS_connect (cfg)))
3190   {
3191     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3192                 "Unable to connect to GNS!\n");
3193     gnutls_x509_crt_deinit (proxy_ca.cert);
3194     gnutls_x509_privkey_deinit (proxy_ca.key);
3195     gnutls_global_deinit ();
3196     return;
3197   }
3198   identity = GNUNET_IDENTITY_connect (cfg,
3199                                       NULL, NULL);
3200   id_op = GNUNET_IDENTITY_get (identity,
3201                                "gns-proxy",
3202                                &identity_master_cb,
3203                                NULL);
3204   GNUNET_SCHEDULER_add_shutdown (&do_shutdown, NULL);
3205 }
3206
3207
3208 /**
3209  * The main function for gnunet-gns-proxy.
3210  *
3211  * @param argc number of arguments from the command line
3212  * @param argv command line arguments
3213  * @return 0 ok, 1 on error
3214  */
3215 int
3216 main (int argc, char *const *argv)
3217 {
3218   static const struct GNUNET_GETOPT_CommandLineOption options[] = {
3219     {'p', "port", NULL,
3220       gettext_noop ("listen on specified port (default: 7777)"), 1,
3221       &GNUNET_GETOPT_set_ulong, &port},
3222     {'a', "authority", NULL,
3223       gettext_noop ("pem file to use as CA"), 1,
3224       &GNUNET_GETOPT_set_string, &cafile_opt},
3225     GNUNET_GETOPT_OPTION_END
3226   };
3227   static const char* page =
3228     "<html><head><title>gnunet-gns-proxy</title>"
3229     "</head><body>cURL fail</body></html>";
3230   int ret;
3231
3232   if (GNUNET_OK != GNUNET_STRINGS_get_utf8_args (argc, argv, &argc, &argv))
3233     return 2;
3234   GNUNET_log_setup ("gnunet-gns-proxy", "WARNING", NULL);
3235   curl_failure_response = MHD_create_response_from_buffer (strlen (page),
3236                                                            (void*)page,
3237                                                            MHD_RESPMEM_PERSISTENT);
3238
3239   ret =
3240     (GNUNET_OK ==
3241      GNUNET_PROGRAM_run (argc, argv, "gnunet-gns-proxy",
3242                          _("GNUnet GNS proxy"),
3243                          options,
3244                          &run, NULL)) ? 0 : 1;
3245   MHD_destroy_response (curl_failure_response);
3246   GNUNET_free_non_null ((char *) argv);
3247   GNUNET_CRYPTO_ecdsa_key_clear (&local_shorten_zone);
3248   return ret;
3249 }
3250
3251 /* end of gnunet-gns-proxy.c */