TODO

   1 PHASE #1: (Goal: settle key design questions)
   2
   3 core:
   4 - test fails with fresh /tmp directory (but passes when run a second time)
   5   problem seems to be caused by HELLO validation (unvalidated
   6   HELLO not used to connect for good, then somehow SETKEY never happens);
   7   I suspect the code simply drops messages that happen while no validated
   8   HELLO is available; this maybe OK, but I need to find the spot and
   9   add at least an INFO-log message; also should then fix testcase to retry.
  10
  11 Util:
  12 * improve disk API [Nils] (Nils, is this done? -Christian)
  13 * Windows: use events instead of pipes to signal select()s [Nils]
  14 * only connect() sockets that are ready (select()) [Nils]
  15   [On W32, we need to select after calling socket before
  16    doing connect etc.]
  17
  18 TESTCASES WANTED:
  19 For these functions, it would be nice if we had testcases ("make check")
  20 that would cause them to be executed and check that they are working:
  21 * gnunet-service-peerinfo:
  22   - change_host_trust / flush_trust
  23   - remove_garbage /
  24   - discard_hosts_helper / cron_clean_data_hosts
  25 * gnunet-service-transport:
  26   - try_unvalidated_addresses
  27   - lookup_address_callback
  28   - lookup_hello_callback
  29   - plugin_env_lookup_address
  30   - notify_clients_disconnect
  31   - list_validated_addresses
  32   - cleanup_validation
  33   - disconnect_neighbour
  34   - handle_set_quota
  35 * plugin_transport_tcp.c:
  36   - tcp_plugin_cancel
  37   - tcp_plugin_address_pretty_printer / append_port
  38   - tcp_plugin_set_receive_quota
  39   - delayed_done
  40 * transport_api:
  41   - GNUNET_TRANSPORT_set_qutoa / send_set_quota
  42   - hello_wait_timeout
  43   - transmit_ready
  44   - transmit_timeout
  45   - remove_from_any_list / remove_neighbour
  46   - GNUNET_TRANSPORT_notify_transmit_ready_cancel
  47 * core_api:
  48   - timeout_request
  49   - solicit_traffic / copy_and_free
  50   - GNUNET_CORE_peer_configure / produce_configure_message
  51 * gnunet-service-core:
  52   - update_window
  53   - find_client
  54   - handle_client_request_configure
  55   - set_key_retry_task
  56   - align_and_deliver
  57   - handle_transport_notify_disconnect
  58 * hostlist (everything)
  59 * topology (everything)
  60
  61
  62
  63 PHASE #2: (Goal: recover basic file-sharing functionality)
  64
  65 Datastores:
  66 * implement sqlite-based sqstore/datastore service
  67   + implement service (datastore + talks to plugin)
  68   + implement library (talks to service)
  69   + implement sqlite plugin (talks to DB)
  70   + fix testcases (make them use CPS, complete their inner workings...)
  71 * implement sqlite-based dstore services
  72   + design API
  73   + implement library (talks to service)
  74   + implement service (talks to plugin)
  75   + implement sqlite plugin (talks to DB)
  76
  77 Applications:
  78 * DHT, DV
  79 * FS / fs-libs
  80
  81
  82
  83 PHASE #3: (Goal: ready for pre-release) [completion-goal: end of 2009]
  84
  85 * testing
  86 * setup
  87 * gtk, qt GUIs
  88 * tbench
  89 * tracekit
  90 * vpn
  91
  92 Transports:
  93 * UDP backend (need LIBRARY to support (de)fragmentation!)
  94 * HTTP backend
  95 * Testing:
  96   +  Testcases for set_quota, timeouts, disconnects, transmit_ready_cancel
  97   + Better coverage of gnunet-service-transport (hello validation)
  98   + direct test of plugins compliance to plugin API
  99
 100 Databases:
 101 * sqlite, mysql & postgres backend
 102
 103
 104
 105 Minor TODO items:
 106 * UTIL:
 107   - crypto_hash: use libgcrypt (supports SHA-512 since 2003)
 108   - container_bloomfilter: improve efficiency (see FIXME)
 109 * SERVER:
 110   - inefficient memmove
 111 * TRANSPORT:
 112   - transport_api: support forcing disconnects through low quotas!
 113     (required for working F2F support!)
 114   - API: consider having core provide deadline information for each message
 115     (likely important for DV plugin which wants to loop back!)
 116   - implement transport API to pretty-print transport address
 117     + transport_api extension (API extension!)
 118     + service-transport extension (protocol extension)
 119   - add calls to statistics in various places
 120   - implement gnunet-transport (transport configurator / tester)
 121   - UPnP-based IP detection
 122     (Note: build library always, build service when libxml2/etc. are available)
 123   - instantly filter addresses from *other* peers that
 124     are *equal* to our own address + port (i.e., localhost:2086).  We
 125     no longer filter those for outgoing (helps with loopback testing
 126     and keeps the code clean), but we should filter strictly *impossible*
 127     incoming addresses!  This is for efficiency, not correctness.
 128   - We currently are happy to take any address told to us in a WELCOME
 129     to our set of addresses; we should have some minimal threshold-based
 130     scheme, limiting both the total number of addresses that we accept
 131     this way as well as requiring multiple confirmations; also, we
 132     should possibly try to confirm that the given address works for
 133     us ourselves (loopback-style) before adding it to the list
 134     [SECURITY issue]
 135     + we may be able to simplify WELCOME messages (no need to add
 136       addresses there anymore, but may help to learn them there anyway...).
 137     + we probably want some kind of voting/counting for learning IP addresses
 138       (maybe including IP addresses in ads proportional to how often others
 139        report them? we at least need some protection against >64k HELLOs!),
 140     + provide a way to give the user a list of "learned" IP addresses and
 141       a way to easily "veto" addresses off the list!
 142       => If MiM attacker uses vetoed address, blacklist the specific IP for
 143          the presumed neighbour!
 144   - not sure current way of doing ACKs works well-enough
 145     with unreliable transports where the ACK maybe lost;
 146     the "is_new" check would then possibly prevent future
 147     ACKs to be delivered, all while we're happily
 148     receiving messages from that peer!  Worse, the other
 149     peer won't generate another ACK since it thinks we're
 150     connected just fine...
 151     Key questions:
 152     + How necessary is ACKing in the first place? (alternatives?)
 153     + Should we transmit ACKs in response to every HELLO? (would that
 154       fully address the problem?)
 155   - latency measurements implemented in the transport
 156     plugins makes it only work for bi-di transports
 157     and results in code replication
 158   - should latency be included in the ReceiveCallback and
 159     NotifyConnect or passed on request?
 160 * SETUP:
 161   - auto-generate "defaults.conf" using gnunet-setup from "config.scm"
 162   - integrate all options into "config.scm"
 163   - change config-file writing to exclude options set to default values
 164 * ARM:
 165   - implement exponential back-off for service restarts
 166   - better tracking of which config changes actually need to cause process restarts by ARM.
 167   - have way to specify dependencies between services (to manage ARM restarts better)
 168   - client-API is inefficient since it opens a TCP connection per service that is started
 169     (instead of re-using connections).
 170 * CORE:
 171   - code currently notifies clients about "encrypted" connections being up well before
 172     we get the encrypted PONG; sometimes this may be OK (for topology killing
 173     unwanted connnections), but of course not in general.  I suspect we want
 174     to signal on PONG and have topology hook directly into transport to
 175     kill plaintext connections before they have a chance to become encrypted
 176     (may require minor hack in transport API)
 177 * PEERINFO:
 178   - have gnunet-peerinfo print actual host addresses again
 179   - add option to gnunet-peerinfo to modify trust value
 180 * POSTGRES-DB:
 181   - finish postgres implementation; simplify other SQLs using new stats
 182 * HTTPS transport
 183   - PolariSSL for MHD?
 184   - https integration
 185 * GAP improvements:
 186   - active reply route caching design & implementation of service,
 187     gap extension!
 188 * HOSTLIST:
 189   - implement advertising of hostlist URL
 190   - implement learning of hostlist URLs
 191
 192
 193
 194 => PRE-RELEASE
 195
 196 PHASE #4: [completion-goal: mid 2010]
 197 * Documentation
 198 * new webpage
 199
 200
 201
 202
 203 Stuff to remember:
 204 * Features eliminated from util:
 205   - threading (goal: good riddance!)
 206   - complex logging features [ectx-passing, target-kinds] (goal: good riddance!)
 207   - complex configuration features [defaults, notifications] (goal: good riddance!)
 208   - network traffic monitors (goal: eliminate)
 209   - IPC semaphores (goal: d-bus? / eliminate?)
 210   - second timers
 211   - DNS lookup (goal: have async service; issue: still need synchronous resolution in places, current code may not be portable)
 212   => code shrunk from 61 files to 34, 22k LOC to 15k LOC, 470k to 330k (with symbols)
 213 * New features in util:
 214   - scheduler
 215   - service and program boot-strap code
 216 * Major changes in util:
 217   - more expressive server (replaces selector)
 218 * Open questions:
 219   - how to integrate scheduler with GTK event loop!
 220
 221
 222
 223 Test coverage:
 224 * UTIL      : 78.7%
 225 * HELLO     : 93.7%
 226 * ARM       : 69.9%
 227 * RESOLVER  : 60.4%
 228 * STATISTICS: 82.8%
 229 * PEERINFO  : 71.5%
 230 * TRANSPORT : 70.9%
 231 * CORE      : 65.8%
 232 ===================
 233 * TOTAL     : 74.9%
 234
 235 Not yet tested:
 236 * HOSTLIST  :  0.0%
 237 * TOPOLOGY  :  0.0%