TODO

   1 Implementable right now (but not necessarily important), with caveats
   2 (unavailable components that will limit what can be implemented right
   3 away), in order in which they will likely be done:
   4 * TESTING-TESTBED [Nate]
   5 * SETUP
   6 * DV [Nate]
   7 * TBENCH
   8 * TRACEKIT
   9 * FRAGMENTATION [Ji Lu]
  10 * HTTP transport
  11 * MySQL / Postgres plugins (datastore, datacache)
  12 * UPNP [Milan]
  13 * ARM [Safey]
  14 * FS [Christian]
  15
  16 0.9.0pre0:
  17 * TRANSPORT:
  18   - implement transport API to pretty-print transport address
  19     + resolve cyclic dependency (gnunet-peerinfo -> transport_api -> peerinfo!)
  20     + gnunet-transport-service crashes when asked to resolve address (!)
  21     + asynchronous transport lookup and non-CPS iterator in peerinfo require
  22       some work to ensure printing in the proper order...
  23 * CORE:
  24   - SET_KEY is triggered every 2.5 minutes (after session is up); should
  25     just do PING (not SET_KEY + PING)
  26   - "Forcing disconnect of XXX due to inactivity" -- can happen every few MS!?
  27     (disconnect does not really succeed, or what?)
  28     Also, core does not seem to actually decrement the number of active
  29     sessions even if no connections exist for a while! (likely related...)
  30   - transport reports bw quota violations on big-endian systems (core or
  31     transport issue?)
  32 * HELLO:
  33   - need function to test "equivalency" of HELLOs; use in topology!
  34 * FS:
  35   - GAP improvements:
  36     + active reply route caching design & implementation of service,
  37       gap extension!
  38   - gnunet-publish cannot be aborted using CTRL-C
  39   - on some systems, keyword search does not find locally published content
  40     (need testcase of command-line tools!)
  41   - 2-peer download is still too slow (why?)
  42   - advanced FS API parts
  43     + namespaces: fundamental namespace API
  44     + search: SBlocks, KSBlocks, probes, notify FS-service of known results
  45     + collection
  46     + location URIs (publish, search, download)
  47     + indexing: index-failure-cleanup
  48     + download: management/bounding of parallel downloads (for recursive dl.)
  49     + datastore reservation (publishing)
  50     + gnunet-publish (URI args)
  51     + gnunet-download (directory)
  52     + gnunet-search (options, incl. namespace search)
  53     + gnunet-download (many options)
  54     + gnunet-directory (man page, options)
  55     + gnunet-pseudonym (all of it)
  56     + gnunet-service-fs (remove failing on-demand blocks, hot-path routing, load-based routing, nitpicks)
  57   - implement adv. FS testcases
  58     + getopt API
  59     + insert: sblocks, loc uris
  60     + download: loc uris
  61     + search: sblocks, skblocks, loc uris
  62     + namespaces
  63     + collection
  64   - implement FS performance tests
  65     + insert
  66     + download
  67     + search
  68     + unindex
  69   - [./fs/gnunet-service-fs.c:208]: (style) struct or union member 'LocalGetContext::results_bf_size' is never used
  70   - [./fs/gnunet-service-fs.c:501]: (style) struct or union member 'PendingRequest::used_pids_size' is never used
  71   - [./fs/gnunet-service-fs.c:654]: (style) struct or union member 'ConnectedPeer::last_client_replies' is never used
  72   - [./fs/gnunet-service-fs.c:669]: (style) struct or union member 'ConnectedPeer::avg_delay' is never used
  73   - [./fs/gnunet-service-fs.c:675]: (style) struct or union member 'ConnectedPeer::avg_priority' is never used
  74   - [./fs/gnunet-service-fs.c:688]: (style) struct or union member 'ConnectedPeer::pending_requests' is never used
  75   - [./fs/gnunet-service-fs.c:694]: (style) struct or union member 'ConnectedPeer::last_p2p_replies_woff' is never used
  76   - [./fs/gnunet-service-fs.c:700]: (style) struct or union member 'ConnectedPeer::last_client_replies_woff' is never used
  77
  78 * WWW:
  79   - Get IPv6 hooked up
  80   - change DNS
  81
  82 0.9.0pre1:
  83 * Module features to implement:
  84   - tbench (RC-pre1)
  85     + good to have for DV evaluation!
  86   - DV (RC-pre1)
  87     + write DV API
  88     + implement DV service [Nate & CG]
  89     + implement DV library [Nate]
  90     + implement DV transport plugin [Nate & CG]
  91     + implement testcases [Nate]
  92     + implement performance tests [Nate]
  93 * SETUP:
  94   - design & implement new setup tool
  95 * GUIs to implement:
  96   - gtk (RC-pre1)
  97     + how to integrate scheduler with GTK event loop!
  98 * HOSTLIST:
  99   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
 100     (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
 101 * STATISTICS:
 102   - does not seem to work with timeouts (especially if service is not running)
 103 * UTIL:
 104   - trust: need *fast* way to check/update trust in peers
 105            (async peerinfo would not be right)
 106   - scheduler should change OS process priority based on task priority;
 107     should make better use of task priorities in general
 108   - only connect() sockets that are ready (select()) [Nils]
 109     [On W32, we need to select after calling socket before
 110      doing connect etc.]
 111 * DATACACHE:
 112   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
 113 * FS:
 114   - persistence support (publish, unindex, search, download)
 115   - non-anonymous FS service (needs DHT)
 116     + basic DHT integration
 117     + CS-DHT-functions (DHT-put of LOC)
 118     + P2P-functions (DHT-get)
 119   - active migration support (in fs or in datastore?)
 120 * TOPOLOGY:
 121   - needs more testing (especially F2F topology)
 122   - needs to re-try connecting after disconnect (currently, it
 123     initially triggers a connection request, but if that connection
 124     fails / goes down, it does not retry in a timely fashion;
 125     cause seems to be the 'blacklist_after_attempt' being set to 1h,
 126     which is rather long -- and should probably be adjusted based on
 127     the number of connections / known peers)
 128   - If the topology daemon crashes, peers that were put on the
 129     blacklist with transport will never be removed from it (until
 130     transport service dies); we should use the blacklist notification
 131     API to learn about the exact set of blacklisted peers at all times
 132     (FIXME: the transport_api implementation of blacklisting
 133      also does not work nicely for this since it won't let us know about
 134      disconnect-reconnect events and the implicit whitelisting
 135      that might happen here; that's not so bad since we will
 136      re-blacklist on pre-connect attempts anyway, so this is
 137      a minor issue).
 138   - the code uses the term 'blacklist' for both peers that are forbidden
 139     to connect (i.e. F2F mode) as well as peers that we currently
 140     won't try to actively connect to ourselves (since we just tried);
 141     This is confusing.  We need two distinct terms.
 142   - move code to use hash table instead of linked list
 143   - instead of periodically discarding blacklisted entries,
 144     simply add task that is triggered at the right time (earlier free,
 145     more balanced load)
 146   - check if new HELLO learned is different from old HELLO
 147     before resetting entire state!
 148
 149 0.9.0pre2:
 150 * Module features to implement:
 151   - tracekit (RC-pre2)
 152     + good to have for DV/DHT evaluation!
 153   - DHT (RC-pre2)
 154     + implement DHT service (needs DV, DATACACHE)
 155     + implement DHT library
 156     + implement testcases
 157     + implement performance tests
 158 * GUIs to implement:
 159   - fuse (RC-pre2)
 160 * Plugins to implement:
 161   - UDP backend (RC-pre2)
 162     + Fragmentation library
 163     + actual plugin
 164   - HTTP backend (RC-pre2)
 165 * ARM:
 166   - need to get rid of synchronous API for service starts (cause all kinds of problems)
 167     [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
 168   - better tracking of which config changes actually need to cause process restarts by ARM.
 169   - listen for requests to discover dependencies between services (and avoid
 170     having to explicitly program start requests)
 171   - better crash management (attach debugging support, capture and analyze
 172     debug output, detect random vs. deterministic crashes)
 173   - shutdown sequence?
 174
 175
 176 0.9.0pre3:
 177 * GUIs to implement:
 178   - qt (RC-pre3)
 179     + see discussions @ FISL about integration with event loop!
 180 * Determine RC bugs and fix those!
 181 * TESTING:
 182   - modify configuration to allow controlling connections for non-local starts
 183   - testbed creation with topology (needs working F2F topology) [Nate]
 184   - testbed with churn [Nate]
 185   - implement testcases for distributed testing [Nate]
 186   - test basic peer re-configure [Nate]
 187   - test topology creation [Nate]
 188   - test churn generation [Nate]
 189   - consider changing API for peer-group termination to
 190     call continuation when done
 191
 192
 193 0.9.0:
 194 * Documentation
 195   - update man pages
 196   - update webpage documentation
 197 * new webpage:
 198   - expand bibliography
 199   - convert documentation pages to books
 200   - update books (especially for developers)
 201   - create good Drupal theme for GNUnet
 202   - make a NICE download page and figure out how to
 203     enable developers to publish TGZs nicely
 204   - port "contact" page
 205   - add content type for "todo" items?
 206   - DNS activation
 207 * Plugins to implement:
 208   - MySQL database backends
 209     + datacache
 210     + datastore
 211   - Postgres database backends
 212     + datacache
 213     + datastore
 214   - vpn
 215 * Determine RC bugs and fix those!
 216
 217
 218 0.9.x:
 219 * TRANSPORT:
 220   - SMTP transport backend
 221   - HTTPS transport backend
 222     + improved HTTPS support in MHD
 223     + actual plugin
 224   - Implement method of learning our external addresses from
 225     other peers; need some kind of threshold-based
 226     scheme, limiting both the total number of addresses that we accept
 227     this way as well as requiring multiple confirmations; also, we
 228     should possibly try to confirm that the given address works for
 229     us ourselves (loopback-style) before adding it to the list
 230     + we may be able to simplify WELCOME messages (no need to add
 231       addresses there anymore, but may help to learn them there anyway...).
 232     + we probably want some kind of voting/counting for learning IP addresses
 233       (maybe including IP addresses in ads proportional to how often others
 234        report them? we at least need some protection against >64k HELLOs!),
 235     + provide a way to give the user a list of "learned" IP addresses and
 236       a way to easily "veto" addresses off the list!
 237       => If MiM attacker uses vetoed address, blacklist the specific IP for
 238          the presumed neighbour!
 239   - implement gnunet-transport (transport configurator / tester)
 240   - UPnP-based IP detection
 241     (Note: build library always, build service when libxml2/etc. are available)
 242 * FS:
 243   - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
 244   - Allow checking of presence of search results and/or content via command-line tools
 245     (add options to gnunet-search / gnunet-download to limit search to local peer)
 246 * PEERINFO:
 247   - expire 'ancient' HELLOs (those without valid addresses AND that
 248     we have not 'used' (for their public keys) in a while; need a way
 249     to track actual 'use')
 250   - make sue we also trigger notifications whenever HELLOs expire
 251
 252
 253
 254 Optimizations:
 255 * TCP:
 256   - should use hash map to look up sessions
 257 * PEERINFO:
 258   - api creates many, many short-lived TCP connections; either some
 259     clients should use the API differently or we need to change the
 260     API to enable re-use of connections to the service
 261 * STATISTICS:
 262   - should use BIO instead of mmap
 263 * TRANSPORT:
 264   - need to periodically probe latency/transport cost changes & possibly switch transport
 265   - instantly filter addresses from *other* peers that
 266     are *equal* to our own address + port (i.e., localhost:2086).  We
 267     no longer filter those for outgoing (helps with loopback testing
 268     and keeps the code clean), but we should filter strictly *impossible*
 269     incoming addresses!  This is for efficiency, not correctness.
 270   - should use hash map to look up Neighbours
 271
 272 Minor features:
 273 * TCP:
 274   - repeatedly resolve hostname and look up interfaces to determine our own IP
 275   - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used (related to issue above)
 276 * TRANSPORT:
 277   - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used (related to TCP not refreshing external addresses?)
 278
 279
 280