TODO

   1 0.9.0pre0 [April]:
   2 * CORE: [CG]
   3   - "Forcing disconnect of XXX due to inactivity" -- can happen every few MS!?
   4     (disconnect does not really succeed, or what?)
   5     Also, core does not seem to actually decrement the number of active
   6     sessions even if no connections exist for a while! (likely related...)
   7   - transport reports bw quota violations on slow systems (core or
   8     transport issue? tracking issue or actual violation?)
   9 * DATASTORE: [CG]
  10   - utilization can (easily, restart?) go out of control (very large), causing
  11     content expiration job to go crazy and delete everything!
  12 * FS: [CG]
  13   - on some systems, keyword search does not find locally published content
  14     (need testcase of command-line tools! - also good to cover getopt API!)
  15     [could be related to datastore issue above!]
  16   - 2-peer download is still too slow (why? testcases fail on slow systems!)
  17 * WWW:
  18   - Get IPv6 hooked up [AK, after April 12th]
  19   - change DNS [CG, need DNS]
  20
  21 0.9.0pre1:
  22 * PEERINFO:
  23   - trust: need *fast* way to check/update trust in peers
  24            (async peerinfo would not be right; certainly not with the
  25             current API)
  26 * UTIL:
  27   - scheduler should change OS process priority based on task priority;
  28     should make better use of task priorities in general
  29   - only connect() sockets that are ready (select()) [Nils]
  30     [On W32, we need to select after calling socket before
  31      doing connect etc.]
  32 * HELLO: [CG]
  33   - need function to test "equivalency" of HELLOs (or integrate with "merge"?); use in PEERINFO
  34 * SETUP:
  35   - design & implement new setup tool
  36 * TBENCH: [MW]
  37   - good to have for transport/DV evaluation!
  38 * DV: [Nate]
  39   - write DV API
  40   - implement DV service
  41   - implement DV library
  42   - implement DV transport plugin
  43   - implement testcases
  44   - implement performance tests
  45 * STATISTICS:
  46   - does not seem to work with timeouts (especially if service is not running)
  47 * TOPOLOGY:
  48   - needs more testing (especially F2F topology)
  49   - needs to re-try connecting after disconnect (currently, it
  50     initially triggers a connection request, but if that connection
  51     fails / goes down, it does not retry in a timely fashion;
  52     cause seems to be the 'blacklist_after_attempt' being set to 1h,
  53     which is rather long -- and should probably be adjusted based on
  54     the number of connections / known peers)
  55   - If the topology daemon crashes, peers that were put on the
  56     blacklist with transport will never be removed from it (until
  57     transport service dies); we should use the blacklist notification
  58     API to learn about the exact set of blacklisted peers at all times
  59     (FIXME: the transport_api implementation of blacklisting
  60      also does not work nicely for this since it won't let us know about
  61      disconnect-reconnect events and the implicit whitelisting
  62      that might happen here; that's not so bad since we will
  63      re-blacklist on pre-connect attempts anyway, so this is
  64      a minor issue; OTOH, we might want to be more explicit about
  65      allowing/forbidding connects on pre-connect to avoid
  66      entering connect attempts to just be blacklisted shortly afterwards).
  67   - the code uses the term 'blacklist' for both peers that are forbidden
  68     to connect (i.e. F2F mode) as well as peers that we currently
  69     won't try to actively connect to ourselves (since we just tried);
  70     This is confusing.  We need two distinct terms (greylist?).
  71   - move code to use hash table instead of linked list
  72   - instead of periodically discarding blacklisted entries,
  73     simply add task that is triggered at the right time (earlier free,
  74     more balanced load)
  75   - check if new HELLO learned is different from old HELLO
  76     before resetting entire state!
  77 * FS: [CG]
  78   - support recursive download even if filename is NULL and we hence
  79     do not generate files on disk (use temp_filename)
  80   - bound parallelism (# fs downloads)
  81   - distinguish in performance tracking and event signalling between
  82     downloads that are actually running and those that are merely in the queue
  83   - persistence support (publish, unindex, search, download)
  84   - active migration support (in fs or in datastore or new daemon?)
  85   - gnunet-service-fs (hot-path routing, load-based routing, nitpicks)
  86   - [gnunet-service-fs.c:208]: member 'LocalGetContext::results_bf_size' is never used
  87   - [gnunet-service-fs.c:501]: member 'PendingRequest::used_pids_size' is never used
  88   - [gnunet-service-fs.c:654]: member 'ConnectedPeer::last_client_replies' is never used
  89   - [gnunet-service-fs.c:669]: member 'ConnectedPeer::avg_delay' is never used
  90   - [gnunet-service-fs.c:675]: member 'ConnectedPeer::avg_priority' is never used
  91   - [gnunet-service-fs.c:688]: member 'ConnectedPeer::pending_requests' is never used
  92   - [gnunet-service-fs.c:694]: member 'ConnectedPeer::last_p2p_replies_woff' is never used
  93   - [gnunet-service-fs.c:700]: member 'ConnectedPeer::last_client_replies_woff' is never used
  94   - GAP improvements:
  95     + active reply route caching design & implementation of service; gap extension!
  96 * GNUNET-GTK:
  97   - how to integrate scheduler with GTK event loop!?
  98
  99 0.9.0pre2:
 100 * TRACEKIT: [MW]
 101   - good to have for DV/DHT evaluation!
 102 * DHT: [Nate]
 103   - implement DHT service (needs DV, DATACACHE)
 104   - implement DHT library
 105   - implement testcases
 106   - implement performance tests
 107 * TRANSPORT:
 108   - HTTP backend [MW]
 109 * ARM: [Safey]
 110   - need to get rid of synchronous API for service starts (cause all kinds of problems)
 111     [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
 112   - better tracking of which config changes actually need to cause process restarts by ARM.
 113   - listen for requests to discover dependencies between services (and avoid
 114     having to explicitly program start requests)
 115   - better crash management (attach debugging support, capture and analyze
 116     debug output, detect random vs. deterministic crashes)
 117   - shutdown sequence?
 118 * FS: [CG]
 119   - datastore reservation (publishing)
 120   - search: availability probes
 121   - location URIs (publish, search, download)
 122   - non-anonymous FS service (needs DHT)
 123     + DHT integration for search
 124     + CS-DHT-functions (DHT-put of LOC)
 125     + P2P-functions (DHT-get)
 126   - collection API & tests
 127     + gnunet-pseudonym (collection support)
 128   - implement FS performance tests
 129     + insert
 130     + download
 131     + search
 132     + unindex
 133
 134 0.9.0pre3:
 135 * Determine RC bugs and fix those!
 136 * TESTING: [Nate]
 137   - modify configuration to allow controlling connections for non-local starts
 138   - testbed creation with topology (needs working F2F topology)
 139   - testbed with churn
 140   - implement testcases for distributed testing
 141   - test basic peer re-configure
 142   - test topology creation
 143   - test churn generation
 144   - consider changing API for peer-group termination to
 145     call continuation when done
 146 * NAT/UPNP: [MW]
 147   - finalize API design
 148   - code clean up
 149   - testing
 150   - integration with transport service
 151 * MYSQL database backends: [CG]
 152   - datacache
 153   - datastore
 154
 155 0.9.0:
 156 * new webpage:
 157   - expand bibliography
 158   - convert documentation pages to books
 159   - update books (especially for developers)
 160   - create good Drupal theme for GNUnet
 161   - make a NICE download page and figure out how to
 162     enable developers to publish TGZs nicely
 163   - port "contact" page
 164   - add content type for "todo" items?
 165 * POSTGRES database backends: [CG]
 166   - datacache
 167   - datastore
 168 * Determine RC bugs and fix those!
 169
 170 0.9.x:
 171 * TRANSPORT: [MW]
 172   - SMTP transport backend
 173   - HTTPS transport backend
 174     + improved HTTPS support in MHD
 175     + actual plugin
 176   - Implement method of learning our external addresses from
 177     other peers; need some kind of threshold-based
 178     scheme, limiting both the total number of addresses that we accept
 179     this way as well as requiring multiple confirmations; also, we
 180     should possibly try to confirm that the given address works for
 181     us ourselves (loopback-style) before adding it to the list
 182     + we may be able to simplify WELCOME messages (no need to add
 183       addresses there anymore, but may help to learn them there anyway...).
 184     + we probably want some kind of voting/counting for learning IP addresses
 185       (maybe including IP addresses in ads proportional to how often others
 186        report them? we at least need some protection against >64k HELLOs!),
 187     + provide a way to give the user a list of "learned" IP addresses and
 188       a way to easily "veto" addresses off the list!
 189       => If MiM attacker uses vetoed address, blacklist the specific IP for
 190          the presumed neighbour!
 191   - implement gnunet-transport (transport configurator / tester)
 192   - UPnP-based IP detection
 193     (Note: build library always, build service when libxml2/etc. are available)
 194 * FS: [CG]
 195   - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
 196   - Allow checking of presence of search results and/or content via command-line tools
 197     (add options to gnunet-search / gnunet-download to limit search to local peer)
 198 * PEERINFO: [CG]
 199   - expire 'ancient' HELLOs (those without valid addresses AND that
 200     we have not 'used' (for their public keys) in a while; need a way
 201     to track actual 'use')
 202   - make sue we also trigger notifications whenever HELLOs expire
 203 * VPN
 204
 205
 206
 207 Optimizations:
 208 * TCP:
 209   - should use hash map to look up sessions
 210 * PEERINFO:
 211   - api creates many, many short-lived TCP connections; either some
 212     clients should use the API differently or we need to change the
 213     API to enable re-use of connections to the service
 214 * STATISTICS:
 215   - should use BIO instead of mmap
 216 * TRANSPORT:
 217   - need to periodically probe latency/transport cost changes & possibly switch transport
 218   - instantly filter addresses from *other* peers that
 219     are *equal* to our own address + port (i.e., localhost:2086).  We
 220     no longer filter those for outgoing (helps with loopback testing
 221     and keeps the code clean), but we should filter strictly *impossible*
 222     incoming addresses!  This is for efficiency, not correctness.
 223   - should use hash map to look up Neighbours
 224 * HOSTLIST:
 225   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
 226     (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
 227
 228 Minor features:
 229 * TCP:
 230   - repeatedly resolve hostname and look up interfaces to determine our own IP
 231   - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used (related to issue above)
 232 * TRANSPORT:
 233   - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used (related to TCP not refreshing external addresses?)
 234 * DATACACHE:
 235   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
 236 * FS:
 237   - support inline data in directories for recursive file downloads (fs_download)