TODO

   1 PHASE #1: (Goal: settle key design questions)
   2
   3
   4 Util:
   5 * improve disk API [Nils] (Nils, is this done? -Christian)
   6 * Windows: use events instead of pipes to signal select()s [Nils]
   7 * only connect() sockets that are ready (select()) [Nils]
   8   [On W32, we need to select after calling socket before
   9    doing connect etc.]
  10
  11 TESTCASES WANTED:
  12 For these functions, it would be nice if we had testcases ("make check")
  13 that would cause them to be executed and check that they are working:
  14 * gnunet-service-peerinfo:
  15   - change_host_trust / flush_trust
  16   - remove_garbage /
  17   - discard_hosts_helper / cron_clean_data_hosts
  18 * gnunet-service-transport:
  19   - try_unvalidated_addresses
  20   - lookup_address_callback
  21   - lookup_hello_callback
  22   - plugin_env_lookup_address
  23   - notify_clients_disconnect
  24   - list_validated_addresses
  25   - cleanup_validation
  26   - disconnect_neighbour
  27   - handle_set_quota
  28 * plugin_transport_tcp.c:
  29   - tcp_plugin_cancel
  30   - tcp_plugin_address_pretty_printer / append_port
  31   - tcp_plugin_set_receive_quota
  32   - delayed_done
  33 * transport_api:
  34   - GNUNET_TRANSPORT_set_qutoa / send_set_quota
  35   - hello_wait_timeout
  36   - transmit_ready
  37   - transmit_timeout
  38   - remove_from_any_list / remove_neighbour
  39   - GNUNET_TRANSPORT_notify_transmit_ready_cancel
  40 * core_api:
  41   - timeout_request
  42   - solicit_traffic / copy_and_free
  43   - GNUNET_CORE_peer_configure / produce_configure_message
  44 * gnunet-service-core:
  45   - update_window
  46   - find_client
  47   - handle_client_request_configure
  48   - set_key_retry_task
  49   - align_and_deliver
  50   - handle_transport_notify_disconnect
  51 * hostlist (everything)
  52 * topology (everything)
  53
  54
  55
  56 PHASE #2: (Goal: recover basic file-sharing functionality)
  57
  58 Datastores:
  59 * implement sqlite-based sqstore/datastore service
  60   + implement service (datastore + talks to plugin)
  61   + get testcases to pass
  62 * implement sqlite-based dstore services
  63   + design API
  64   + implement library (talks to service)
  65   + implement service (talks to plugin)
  66   + implement sqlite plugin (talks to DB)
  67
  68 Applications:
  69 * DHT, DV
  70 * FS / fs-libs
  71
  72
  73
  74 PHASE #3: (Goal: ready for pre-release) [completion-goal: end of 2009]
  75
  76 * testing
  77 * setup
  78 * gtk, qt GUIs
  79 * tbench
  80 * tracekit
  81 * vpn
  82
  83 Transports:
  84 * UDP backend (need LIBRARY to support (de)fragmentation!)
  85 * HTTP backend
  86 * Testing:
  87   + Testcases for set_quota, timeouts, disconnects, transmit_ready_cancel
  88   + Better coverage of gnunet-service-transport (HELLO validation)
  89   + direct test of plugins compliance to plugin API
  90
  91 Databases:
  92 * sqlite, mysql & postgres backend
  93
  94
  95
  96 Minor TODO items:
  97 * UTIL:
  98   - crypto_hash: use libgcrypt (supports SHA-512 since 2003)
  99   - container_bloomfilter: improve efficiency (see FIXME)
 100 * SERVER:
 101   - inefficient memmove
 102 * TRANSPORT:
 103   - transport_api: support forcing disconnects through low quotas!
 104     (required for working F2F support!)
 105   - API: consider having core provide deadline information for each message
 106     (likely important for DV plugin which wants to loop back!)
 107   - implement transport API to pretty-print transport address
 108     + transport_api extension (API extension!)
 109     + service-transport extension (protocol extension)
 110   - add calls to statistics in various places
 111   - implement gnunet-transport (transport configurator / tester)
 112   - UPnP-based IP detection
 113     (Note: build library always, build service when libxml2/etc. are available)
 114   - instantly filter addresses from *other* peers that
 115     are *equal* to our own address + port (i.e., localhost:2086).  We
 116     no longer filter those for outgoing (helps with loopback testing
 117     and keeps the code clean), but we should filter strictly *impossible*
 118     incoming addresses!  This is for efficiency, not correctness.
 119   - We currently are happy to take any address told to us in a WELCOME
 120     to our set of addresses; we should have some minimal threshold-based
 121     scheme, limiting both the total number of addresses that we accept
 122     this way as well as requiring multiple confirmations; also, we
 123     should possibly try to confirm that the given address works for
 124     us ourselves (loopback-style) before adding it to the list
 125     [SECURITY issue]
 126     + we may be able to simplify WELCOME messages (no need to add
 127       addresses there anymore, but may help to learn them there anyway...).
 128     + we probably want some kind of voting/counting for learning IP addresses
 129       (maybe including IP addresses in ads proportional to how often others
 130        report them? we at least need some protection against >64k HELLOs!),
 131     + provide a way to give the user a list of "learned" IP addresses and
 132       a way to easily "veto" addresses off the list!
 133       => If MiM attacker uses vetoed address, blacklist the specific IP for
 134          the presumed neighbour!
 135   - not sure current way of doing ACKs works well-enough
 136     with unreliable transports where the ACK maybe lost;
 137     the "is_new" check would then possibly prevent future
 138     ACKs to be delivered, all while we're happily
 139     receiving messages from that peer!  Worse, the other
 140     peer won't generate another ACK since it thinks we're
 141     connected just fine...
 142     Key questions:
 143     + How necessary is ACKing in the first place? (alternatives?)
 144     + Should we transmit ACKs in response to every HELLO? (would that
 145       fully address the problem?)
 146   - latency measurements implemented in the transport
 147     plugins makes it only work for bi-di transports
 148     and results in code replication
 149   - should latency be included in the ReceiveCallback and
 150     NotifyConnect or passed on request?
 151   - FIXME's with latency being simply set to 0 in a few places
 152   - Memory leak (running valgrind --trace-children=yes on test_transport_api:
 153     ==28393== 16 bytes in 1 blocks are indirectly lost in loss record 1 of 5
 154     ==28393==    at 0x4C2260E: malloc (vg_replace_malloc.c:207)
 155     ==28393==    by 0x52343E3: GNUNET_xmalloc_unchecked_ (common_allocation.c:62)
 156     ==28393==    by 0x5234389: GNUNET_xmalloc_ (common_allocation.c:53)
 157     ==28393==    by 0x524458A: GNUNET_NETWORK_socket_create_from_accept (network.c:289)
 158     ==28393==    by 0x524B2DA: ??? (server.c:332)
 159     ==28393==    by 0x524A4C7: ??? (scheduler.c:425)
 160     ==28393==    by 0x524A73D: GNUNET_SCHEDULER_run (scheduler.c:510)
 161     ==28393==    by 0x524FF8C: GNUNET_SERVICE_run (service.c:1326)
 162     ==28393==    by 0x405500: main (gnunet-service-transport.c:2645)
 163     And also:
 164     ==28393== 65,744 (65,728 direct, 16 indirect) bytes in 1 blocks are definitely lost in loss record 5 of 5
 165     ==28393==    at 0x4C2260E: malloc (vg_replace_malloc.c:207)
 166     ==28393==    by 0x52343E3: GNUNET_xmalloc_unchecked_ (common_allocation.c:62)
 167     ==28393==    by 0x5234389: GNUNET_xmalloc_ (common_allocation.c:53)
 168     ==28393==    by 0x524473E: GNUNET_NETWORK_socket_create_from_accept (network.c:323)
 169     (rest of trace identical)
 170
 171 * SETUP:
 172   - auto-generate "defaults.conf" using gnunet-setup from "config.scm"
 173   - integrate all options into "config.scm"
 174   - change config-file writing to exclude options set to default values
 175 * ARM:
 176   - implement exponential back-off for service restarts
 177   - better tracking of which config changes actually need to cause process restarts by ARM.
 178   - have way to specify dependencies between services (to manage ARM restarts better)
 179   - client-API is inefficient since it opens a TCP connection per service that is started
 180     (instead of re-using connections).
 181 * CORE:
 182   - code currently notifies clients about "encrypted" connections being up well before
 183     we get the encrypted PONG; sometimes this may be OK (for topology killing
 184     unwanted connnections), but of course not in general.  I suspect we want
 185     to signal on PONG and have topology hook directly into transport to
 186     kill plaintext connections before they have a chance to become encrypted
 187     (may require minor hack in transport API)
 188 * PEERINFO:
 189   - have gnunet-peerinfo print actual host addresses again
 190   - add option to gnunet-peerinfo to modify trust value
 191 * POSTGRES-DB:
 192   - finish postgres implementation; simplify other SQLs using new stats
 193 * HTTPS transport
 194   - PolariSSL for MHD?
 195   - https integration
 196 * GAP improvements:
 197   - active reply route caching design & implementation of service,
 198     gap extension!
 199 * HOSTLIST:
 200   - implement advertising of hostlist URL
 201   - implement learning of hostlist URLs
 202
 203
 204
 205 => PRE-RELEASE
 206
 207 PHASE #4: [completion-goal: mid 2010]
 208 * Documentation
 209 * new webpage
 210
 211
 212
 213
 214 Stuff to remember:
 215 * Features eliminated from util:
 216   - threading (goal: good riddance!)
 217   - complex logging features [ectx-passing, target-kinds] (goal: good riddance!)
 218   - complex configuration features [defaults, notifications] (goal: good riddance!)
 219   - network traffic monitors (goal: eliminate)
 220   - IPC semaphores (goal: d-bus? / eliminate?)
 221   - second timers
 222   - DNS lookup (goal: have async service; issue: still need synchronous resolution in places, current code may not be portable)
 223   => code shrunk from 61 files to 34, 22k LOC to 15k LOC, 470k to 330k (with symbols)
 224 * New features in util:
 225   - scheduler
 226   - service and program boot-strap code
 227 * Major changes in util:
 228   - more expressive server (replaces selector)
 229 * Open questions:
 230   - how to integrate scheduler with GTK event loop!
 231
 232
 233
 234 Test coverage:
 235 * UTIL      : 78.7%
 236 * HELLO     : 93.7%
 237 * ARM       : 69.9%
 238 * RESOLVER  : 60.4%
 239 * STATISTICS: 82.8%
 240 * PEERINFO  : 71.5%
 241 * TRANSPORT : 70.9%
 242 * CORE      : 65.8%
 243 ===================
 244 * TOTAL     : 74.9%
 245
 246 Not yet tested:
 247 * HOSTLIST  :  0.0%
 248 * TOPOLOGY  :  0.0%