TODO

   1 PHASE #1: (Goal: settle key design questions)
   2
   3 Util:
   4 * Windows: use events instead of pipes to signal select()s [Nils]
   5 * only connect() sockets that are ready (select()) [Nils]
   6   [On W32, we need to select after calling socket before
   7    doing connect etc.]
   8 * Add "DISK" API for creating of temporary files
   9   (as used in datacache/ module)
  10
  11 PHASE #2: (Goal: recover basic file-sharing functionality)
  12
  13
  14 TESTCASES WANTED:
  15
  16 For these functions, it would be nice if we had testcases ("make check")
  17 that would cause them to be executed and check that they are working:
  18 * gnunet-service-peerinfo:
  19   - change_host_trust / flush_trust
  20   - remove_garbage
  21   - discard_hosts_helper / cron_clean_data_hosts
  22 * gnunet-service-transport:
  23   - try_unvalidated_addresses
  24   - lookup_address_callback
  25   - lookup_hello_callback
  26   - plugin_env_lookup_address
  27   - notify_clients_disconnect
  28   - list_validated_addresses
  29   - cleanup_validation
  30   - disconnect_neighbour
  31   - handle_set_quota
  32 * plugin_transport_tcp.c:
  33   - tcp_plugin_cancel
  34   - tcp_plugin_address_pretty_printer / append_port
  35   - tcp_plugin_set_receive_quota
  36   - delayed_done
  37 * transport_api:
  38   - GNUNET_TRANSPORT_set_qutoa / send_set_quota
  39   - hello_wait_timeout
  40   - transmit_ready
  41   - transmit_timeout
  42   - remove_from_any_list / remove_neighbour
  43   - GNUNET_TRANSPORT_notify_transmit_ready_cancel
  44   - Testcases for set_quota, timeouts, disconnects, transmit_ready_cancel
  45   - gnunet-service-transport HELLO validation (how good is our coverage?)
  46   - direct test of plugins compliance to plugin API
  47 * core_api:
  48   - timeout_request
  49   - solicit_traffic / copy_and_free
  50   - GNUNET_CORE_peer_configure / produce_configure_message
  51 * gnunet-service-core:
  52   - update_window
  53   - find_client
  54   - handle_client_request_configure
  55   - set_key_retry_task
  56   - align_and_deliver
  57   - handle_transport_notify_disconnect
  58 * hostlist (everything)
  59 * topology (everything)
  60
  61
  62 Module features to implement:
  63 * TESTING (needed for DV, DHT, Topology)
  64   - review TESTING API
  65   - implement library for local testing
  66   - implement testcases for library
  67   - implement library for distributed testing
  68   - implement testcases for distributed testing
  69 * TOPOLOGY:
  70   - implement testcases (needs TESTING)
  71 * HOSTLIST:
  72   - implement testcases
  73 * DV (needed for DHT)
  74   - write DV API
  75   - implement DV service
  76   - implement DV library
  77   - implement DV transport plugin
  78   - implement testcases
  79   - implement performance tests
  80 * DHT (needed for FS)
  81   - review DHT API
  82   - implement DHT service (needs DV, DATACACHE)
  83   - implement DHT library
  84   - implement testcases
  85   - implement performance tests
  86 * FS
  87   - review FS API
  88   - design network structs (CS)
  89   - implement FS library
  90     + URI API
  91     + getopt API
  92     + persistence mechanism
  93     + sharing API
  94       ~ file-information
  95       ~ insert
  96       ~ download
  97       ~ search
  98       ~ unindex
  99       ~ namespaces
 100       ~ collection
 101     + directory API
 102   - design network structs (P2P)
 103   - datastore request queueing mechanism
 104   - implement FS service (needs DHT)
 105     + insert
 106     + download
 107     + search
 108     + unindex
 109   - implement testcases
 110     + URI API
 111     + getopt API
 112     + sharing API (needs TESTING)
 113       ~ file-information
 114       ~ insert
 115       ~ download
 116       ~ search
 117       ~ unindex
 118       ~ namespaces
 119       ~ collection
 120     + directory API
 121   - implement performance tests (needs TESTING)
 122     + insert
 123     + download
 124     + search
 125     + unindex
 126
 127
 128
 129 PHASE #3: (Goal: ready for pre-release) [completion-goal: end of 2009]
 130
 131 Module features to implement:
 132 * setup
 133   - default generation
 134   - need to settle basic design; do we want to keep guile?
 135 * tbench
 136   - good to have for DV evaluation!
 137 * tracekit
 138   - good to have for DV/DHT evaluation!
 139 * vpn
 140
 141
 142 GUIs to implement:
 143 * gtk
 144 * qt
 145 * fuse
 146
 147
 148 Plugins to implement:
 149 * UDP backend (need LIBRARY to support (de)fragmentation!)
 150 * HTTP backend
 151
 152
 153
 154
 155
 156 Minor TODO items / known bugs:
 157 * UTIL:
 158   - crypto_hash: use libgcrypt (supports SHA-512 since 2003)
 159   - container_bloomfilter: improve efficiency (see FIXME)
 160 * SERVER:
 161   - inefficient memmove
 162 * TRANSPORT:
 163   - transport_api: support forcing disconnects through low quotas!
 164     (required for working F2F support!)
 165   - API: consider having core provide deadline information for each message
 166     (likely important for DV plugin which wants to loop back!)
 167   - implement transport API to pretty-print transport address
 168     + transport_api extension (API extension!)
 169     + service-transport extension (protocol extension)
 170   - add calls to statistics in various places
 171   - implement gnunet-transport (transport configurator / tester)
 172   - UPnP-based IP detection
 173     (Note: build library always, build service when libxml2/etc. are available)
 174   - instantly filter addresses from *other* peers that
 175     are *equal* to our own address + port (i.e., localhost:2086).  We
 176     no longer filter those for outgoing (helps with loopback testing
 177     and keeps the code clean), but we should filter strictly *impossible*
 178     incoming addresses!  This is for efficiency, not correctness.
 179   - We currently are happy to take any address told to us in a WELCOME
 180     to our set of addresses; we should have some minimal threshold-based
 181     scheme, limiting both the total number of addresses that we accept
 182     this way as well as requiring multiple confirmations; also, we
 183     should possibly try to confirm that the given address works for
 184     us ourselves (loopback-style) before adding it to the list
 185     [SECURITY issue]
 186     + we may be able to simplify WELCOME messages (no need to add
 187       addresses there anymore, but may help to learn them there anyway...).
 188     + we probably want some kind of voting/counting for learning IP addresses
 189       (maybe including IP addresses in ads proportional to how often others
 190        report them? we at least need some protection against >64k HELLOs!),
 191     + provide a way to give the user a list of "learned" IP addresses and
 192       a way to easily "veto" addresses off the list!
 193       => If MiM attacker uses vetoed address, blacklist the specific IP for
 194          the presumed neighbour!
 195   - not sure current way of doing ACKs works well-enough
 196     with unreliable transports where the ACK maybe lost;
 197     the "is_new" check would then possibly prevent future
 198     ACKs to be delivered, all while we're happily
 199     receiving messages from that peer!  Worse, the other
 200     peer won't generate another ACK since it thinks we're
 201     connected just fine...
 202     Key questions:
 203     + How necessary is ACKing in the first place? (alternatives?)
 204     + Should we transmit ACKs in response to every HELLO? (would that
 205       fully address the problem?)
 206   - latency measurements implemented in the transport
 207     plugins makes it only work for bi-di transports
 208     and results in code replication
 209   - should latency be included in the ReceiveCallback and
 210     NotifyConnect or passed on request?
 211   - FIXME's with latency being simply set to 0 in a few places
 212   - Memory leak (running valgrind --trace-children=yes on test_transport_api:
 213     ==28393== 16 bytes in 1 blocks are indirectly lost in loss record 1 of 5
 214     ==28393==    at 0x4C2260E: malloc (vg_replace_malloc.c:207)
 215     ==28393==    by 0x52343E3: GNUNET_xmalloc_unchecked_ (common_allocation.c:62)
 216     ==28393==    by 0x5234389: GNUNET_xmalloc_ (common_allocation.c:53)
 217     ==28393==    by 0x524458A: GNUNET_NETWORK_socket_create_from_accept (network.c:289)
 218     ==28393==    by 0x524B2DA: ??? (server.c:332)
 219     ==28393==    by 0x524A4C7: ??? (scheduler.c:425)
 220     ==28393==    by 0x524A73D: GNUNET_SCHEDULER_run (scheduler.c:510)
 221     ==28393==    by 0x524FF8C: GNUNET_SERVICE_run (service.c:1326)
 222     ==28393==    by 0x405500: main (gnunet-service-transport.c:2645)
 223     And also:
 224     ==28393== 65,744 (65,728 direct, 16 indirect) bytes in 1 blocks are definitely lost in loss record 5 of 5
 225     ==28393==    at 0x4C2260E: malloc (vg_replace_malloc.c:207)
 226     ==28393==    by 0x52343E3: GNUNET_xmalloc_unchecked_ (common_allocation.c:62)
 227     ==28393==    by 0x5234389: GNUNET_xmalloc_ (common_allocation.c:53)
 228     ==28393==    by 0x524473E: GNUNET_NETWORK_socket_create_from_accept (network.c:323)
 229     (rest of trace identical)
 230
 231 * DATASTORE:
 232   - mysql backend
 233   - postgres backend
 234 * SETUP:
 235   - auto-generate "defaults.conf" using gnunet-setup from "config.scm"
 236   - integrate all options into "config.scm"
 237   - change config-file writing to exclude options set to default values
 238 * ARM:
 239   - implement exponential back-off for service restarts
 240   - better tracking of which config changes actually need to cause process restarts by ARM.
 241   - have way to specify dependencies between services (to manage ARM restarts better)
 242   - client-API is inefficient since it opens a TCP connection per service that is started
 243     (instead of re-using connections).
 244 * CORE:
 245   - code currently notifies clients about "encrypted" connections being up well before
 246     we get the encrypted PONG; sometimes this may be OK (for topology killing
 247     unwanted connnections), but of course not in general.  I suspect we want
 248     to signal on PONG and have topology hook directly into transport to
 249     kill plaintext connections before they have a chance to become encrypted
 250     (may require minor hack in transport API)
 251 * PEERINFO:
 252   - have gnunet-peerinfo print actual host addresses again
 253   - add option to gnunet-peerinfo to modify trust value
 254 * POSTGRES-DB:
 255   - finish postgres implementation; simplify other SQLs using new stats
 256 * HTTPS transport
 257   - PolariSSL for MHD?
 258   - https integration
 259 * GAP improvements:
 260   - active reply route caching design & implementation of service,
 261     gap extension!
 262 * HOSTLIST:
 263   - implement advertising of hostlist URL
 264   - implement learning of hostlist URLs
 265
 266
 267
 268 => PRE-RELEASE
 269
 270 PHASE #4: [completion-goal: mid 2010]
 271 * Documentation
 272   - Doxygen generation
 273   - lcov generation
 274   - update man pages
 275   - update webpage documentation
 276 * new webpage:
 277   - expand bibliography
 278   - convert documentation pages to books
 279   - update books (especially for developers)
 280   - add content type for links and view
 281   - create good Drupal theme for GNUnet
 282   - make a NICE download page and figure out how to
 283     enable developers to publish TGZs nicely
 284   - port "contact" page; add impressum
 285   - add content type for "todo" items?
 286   - DNS activation
 287
 288
 289 Stuff to remember:
 290 * Features eliminated from util:
 291   - threading (goal: good riddance!)
 292   - complex logging features [ectx-passing, target-kinds] (goal: good riddance!)
 293   - complex configuration features [defaults, notifications] (goal: good riddance!)
 294   - network traffic monitors (goal: eliminate)
 295   - IPC semaphores (goal: d-bus? / eliminate?)
 296   - second timers
 297   - DNS lookup (goal: have async service; issue: still need synchronous resolution in places, current code may not be portable)
 298   => code shrunk from 61 files to 34, 22k LOC to 15k LOC, 470k to 330k (with symbols)
 299 * New features in util:
 300   - scheduler
 301   - service and program boot-strap code
 302 * Major changes in util:
 303   - more expressive server (replaces selector)
 304 * Open questions:
 305   - how to integrate scheduler with GTK event loop!
 306
 307
 308
 309 Test coverage:
 310 * UTIL      : 78.7%
 311 * HELLO     : 93.7%
 312 * ARM       : 69.9%
 313 * RESOLVER  : 60.4%
 314 * STATISTICS: 82.8%
 315 * PEERINFO  : 71.5%
 316 * TRANSPORT : 70.9%
 317 * CORE      : 65.8%
 318 ===================
 319 * TOTAL     : 74.9%
 320
 321 Not yet tested:
 322 * HOSTLIST  :  0.0%
 323 * TOPOLOGY  :  0.0%