TODO

   1 PHASE #1: (Goal: settle key design questions)
   2
   3 Util:
   4 * Windows: use events instead of pipes to signal select()s [Nils]
   5 * only connect() sockets that are ready (select()) [Nils]
   6   [On W32, we need to select after calling socket before
   7    doing connect etc.]
   8 * Add "DISK" API for creating of temporary files
   9   (as used in datacache/ module)
  10
  11 PHASE #2: (Goal: recover basic file-sharing functionality)
  12
  13
  14 TESTCASES WANTED:
  15
  16 For these functions, it would be nice if we had testcases ("make check")
  17 that would cause them to be executed and check that they are working:
  18 * gnunet-service-peerinfo:
  19   - change_host_trust / flush_trust
  20   - remove_garbage /
  21   - discard_hosts_helper / cron_clean_data_hosts
  22 * gnunet-service-transport:
  23   - try_unvalidated_addresses
  24   - lookup_address_callback
  25   - lookup_hello_callback
  26   - plugin_env_lookup_address
  27   - notify_clients_disconnect
  28   - list_validated_addresses
  29   - cleanup_validation
  30   - disconnect_neighbour
  31   - handle_set_quota
  32 * plugin_transport_tcp.c:
  33   - tcp_plugin_cancel
  34   - tcp_plugin_address_pretty_printer / append_port
  35   - tcp_plugin_set_receive_quota
  36   - delayed_done
  37 * transport_api:
  38   - GNUNET_TRANSPORT_set_qutoa / send_set_quota
  39   - hello_wait_timeout
  40   - transmit_ready
  41   - transmit_timeout
  42   - remove_from_any_list / remove_neighbour
  43   - GNUNET_TRANSPORT_notify_transmit_ready_cancel
  44   - Testcases for set_quota, timeouts, disconnects, transmit_ready_cancel
  45   - gnunet-service-transport HELLO validation (how good is our coverage?)
  46   - direct test of plugins compliance to plugin API
  47 * core_api:
  48   - timeout_request
  49   - solicit_traffic / copy_and_free
  50   - GNUNET_CORE_peer_configure / produce_configure_message
  51 * gnunet-service-core:
  52   - update_window
  53   - find_client
  54   - handle_client_request_configure
  55   - set_key_retry_task
  56   - align_and_deliver
  57   - handle_transport_notify_disconnect
  58 * hostlist (everything)
  59 * topology (everything)
  60
  61
  62 Module features to implement:
  63 * datacache (needed for DHT)
  64   - implement testcases for dstore API
  65   - implement testcases for dstore plugin
  66   - implement performance tests
  67 * TESTING (needed for DV, DHT, Topology)
  68   - review TESTING API
  69   - implement library for local testing
  70   - implement testcases for library
  71   - implement library for distributed testing
  72   - implement testcases for distributed testing
  73 * TOPOLOGY:
  74   - implement testcases (needs TESTING)
  75 * HOSTLIST:
  76   - implement testcases
  77 * DV (needed for DHT)
  78   - write DV API
  79   - implement DV service
  80   - implement DV library
  81   - implement DV transport plugin
  82   - implement testcases
  83   - implement performance tests
  84 * DHT (needed for FS)
  85   - review DHT API
  86   - implement DHT service (needs DV, DSTORE)
  87   - implement DHT library
  88   - implement testcases
  89   - implement performance tests
  90 * FS
  91   - review FS API
  92   - design network structs (CS)
  93   - implement FS library
  94     + URI API
  95     + getopt API
  96     + persistence mechanism
  97     + sharing API
  98       ~ file-information
  99       ~ insert
 100       ~ download
 101       ~ search
 102       ~ unindex
 103       ~ namespaces
 104       ~ collection
 105     + directory API
 106   - design network structs (P2P)
 107   - datastore request queueing mechanism
 108   - implement FS service (needs DHT)
 109     + insert
 110     + download
 111     + search
 112     + unindex
 113   - implement testcases
 114     + URI API
 115     + getopt API
 116     + sharing API (needs TESTING)
 117       ~ file-information
 118       ~ insert
 119       ~ download
 120       ~ search
 121       ~ unindex
 122       ~ namespaces
 123       ~ collection
 124     + directory API
 125   - implement performance tests (needs TESTING)
 126     + insert
 127     + download
 128     + search
 129     + unindex
 130
 131
 132
 133 PHASE #3: (Goal: ready for pre-release) [completion-goal: end of 2009]
 134
 135 Module features to implement:
 136 * setup
 137   - default generation
 138   - need to settle basic design; do we want to keep guile?
 139 * tbench
 140   - good to have for DV evaluation!
 141 * tracekit
 142   - good to have for DV/DHT evaluation!
 143 * vpn
 144
 145
 146 GUIs to implement:
 147 * gtk
 148 * qt
 149 * fuse
 150
 151
 152 Plugins to implement:
 153 * UDP backend (need LIBRARY to support (de)fragmentation!)
 154 * HTTP backend
 155
 156
 157
 158
 159
 160 Minor TODO items / known bugs:
 161 * UTIL:
 162   - crypto_hash: use libgcrypt (supports SHA-512 since 2003)
 163   - container_bloomfilter: improve efficiency (see FIXME)
 164 * SERVER:
 165   - inefficient memmove
 166 * TRANSPORT:
 167   - transport_api: support forcing disconnects through low quotas!
 168     (required for working F2F support!)
 169   - API: consider having core provide deadline information for each message
 170     (likely important for DV plugin which wants to loop back!)
 171   - implement transport API to pretty-print transport address
 172     + transport_api extension (API extension!)
 173     + service-transport extension (protocol extension)
 174   - add calls to statistics in various places
 175   - implement gnunet-transport (transport configurator / tester)
 176   - UPnP-based IP detection
 177     (Note: build library always, build service when libxml2/etc. are available)
 178   - instantly filter addresses from *other* peers that
 179     are *equal* to our own address + port (i.e., localhost:2086).  We
 180     no longer filter those for outgoing (helps with loopback testing
 181     and keeps the code clean), but we should filter strictly *impossible*
 182     incoming addresses!  This is for efficiency, not correctness.
 183   - We currently are happy to take any address told to us in a WELCOME
 184     to our set of addresses; we should have some minimal threshold-based
 185     scheme, limiting both the total number of addresses that we accept
 186     this way as well as requiring multiple confirmations; also, we
 187     should possibly try to confirm that the given address works for
 188     us ourselves (loopback-style) before adding it to the list
 189     [SECURITY issue]
 190     + we may be able to simplify WELCOME messages (no need to add
 191       addresses there anymore, but may help to learn them there anyway...).
 192     + we probably want some kind of voting/counting for learning IP addresses
 193       (maybe including IP addresses in ads proportional to how often others
 194        report them? we at least need some protection against >64k HELLOs!),
 195     + provide a way to give the user a list of "learned" IP addresses and
 196       a way to easily "veto" addresses off the list!
 197       => If MiM attacker uses vetoed address, blacklist the specific IP for
 198          the presumed neighbour!
 199   - not sure current way of doing ACKs works well-enough
 200     with unreliable transports where the ACK maybe lost;
 201     the "is_new" check would then possibly prevent future
 202     ACKs to be delivered, all while we're happily
 203     receiving messages from that peer!  Worse, the other
 204     peer won't generate another ACK since it thinks we're
 205     connected just fine...
 206     Key questions:
 207     + How necessary is ACKing in the first place? (alternatives?)
 208     + Should we transmit ACKs in response to every HELLO? (would that
 209       fully address the problem?)
 210   - latency measurements implemented in the transport
 211     plugins makes it only work for bi-di transports
 212     and results in code replication
 213   - should latency be included in the ReceiveCallback and
 214     NotifyConnect or passed on request?
 215   - FIXME's with latency being simply set to 0 in a few places
 216   - Memory leak (running valgrind --trace-children=yes on test_transport_api:
 217     ==28393== 16 bytes in 1 blocks are indirectly lost in loss record 1 of 5
 218     ==28393==    at 0x4C2260E: malloc (vg_replace_malloc.c:207)
 219     ==28393==    by 0x52343E3: GNUNET_xmalloc_unchecked_ (common_allocation.c:62)
 220     ==28393==    by 0x5234389: GNUNET_xmalloc_ (common_allocation.c:53)
 221     ==28393==    by 0x524458A: GNUNET_NETWORK_socket_create_from_accept (network.c:289)
 222     ==28393==    by 0x524B2DA: ??? (server.c:332)
 223     ==28393==    by 0x524A4C7: ??? (scheduler.c:425)
 224     ==28393==    by 0x524A73D: GNUNET_SCHEDULER_run (scheduler.c:510)
 225     ==28393==    by 0x524FF8C: GNUNET_SERVICE_run (service.c:1326)
 226     ==28393==    by 0x405500: main (gnunet-service-transport.c:2645)
 227     And also:
 228     ==28393== 65,744 (65,728 direct, 16 indirect) bytes in 1 blocks are definitely lost in loss record 5 of 5
 229     ==28393==    at 0x4C2260E: malloc (vg_replace_malloc.c:207)
 230     ==28393==    by 0x52343E3: GNUNET_xmalloc_unchecked_ (common_allocation.c:62)
 231     ==28393==    by 0x5234389: GNUNET_xmalloc_ (common_allocation.c:53)
 232     ==28393==    by 0x524473E: GNUNET_NETWORK_socket_create_from_accept (network.c:323)
 233     (rest of trace identical)
 234
 235 * DATASTORE:
 236   - mysql backend
 237   - postgres backend
 238 * SETUP:
 239   - auto-generate "defaults.conf" using gnunet-setup from "config.scm"
 240   - integrate all options into "config.scm"
 241   - change config-file writing to exclude options set to default values
 242 * ARM:
 243   - implement exponential back-off for service restarts
 244   - better tracking of which config changes actually need to cause process restarts by ARM.
 245   - have way to specify dependencies between services (to manage ARM restarts better)
 246   - client-API is inefficient since it opens a TCP connection per service that is started
 247     (instead of re-using connections).
 248 * CORE:
 249   - code currently notifies clients about "encrypted" connections being up well before
 250     we get the encrypted PONG; sometimes this may be OK (for topology killing
 251     unwanted connnections), but of course not in general.  I suspect we want
 252     to signal on PONG and have topology hook directly into transport to
 253     kill plaintext connections before they have a chance to become encrypted
 254     (may require minor hack in transport API)
 255 * PEERINFO:
 256   - have gnunet-peerinfo print actual host addresses again
 257   - add option to gnunet-peerinfo to modify trust value
 258 * POSTGRES-DB:
 259   - finish postgres implementation; simplify other SQLs using new stats
 260 * HTTPS transport
 261   - PolariSSL for MHD?
 262   - https integration
 263 * GAP improvements:
 264   - active reply route caching design & implementation of service,
 265     gap extension!
 266 * HOSTLIST:
 267   - implement advertising of hostlist URL
 268   - implement learning of hostlist URLs
 269
 270
 271
 272 => PRE-RELEASE
 273
 274 PHASE #4: [completion-goal: mid 2010]
 275 * Documentation
 276   - Doxygen generation
 277   - lcov generation
 278   - update man pages
 279   - update webpage documentation
 280 * new webpage:
 281   - expand bibliography
 282   - convert documentation pages to books
 283   - update books (especially for developers)
 284   - add content type for links and view
 285   - create good Drupal theme for GNUnet
 286   - make a NICE download page and figure out how to
 287     enable developers to publish TGZs nicely
 288   - port "contact" page; add impressum
 289   - add content type for "todo" items?
 290   - DNS activation
 291
 292
 293 Stuff to remember:
 294 * Features eliminated from util:
 295   - threading (goal: good riddance!)
 296   - complex logging features [ectx-passing, target-kinds] (goal: good riddance!)
 297   - complex configuration features [defaults, notifications] (goal: good riddance!)
 298   - network traffic monitors (goal: eliminate)
 299   - IPC semaphores (goal: d-bus? / eliminate?)
 300   - second timers
 301   - DNS lookup (goal: have async service; issue: still need synchronous resolution in places, current code may not be portable)
 302   => code shrunk from 61 files to 34, 22k LOC to 15k LOC, 470k to 330k (with symbols)
 303 * New features in util:
 304   - scheduler
 305   - service and program boot-strap code
 306 * Major changes in util:
 307   - more expressive server (replaces selector)
 308 * Open questions:
 309   - how to integrate scheduler with GTK event loop!
 310
 311
 312
 313 Test coverage:
 314 * UTIL      : 78.7%
 315 * HELLO     : 93.7%
 316 * ARM       : 69.9%
 317 * RESOLVER  : 60.4%
 318 * STATISTICS: 82.8%
 319 * PEERINFO  : 71.5%
 320 * TRANSPORT : 70.9%
 321 * CORE      : 65.8%
 322 ===================
 323 * TOTAL     : 74.9%
 324
 325 Not yet tested:
 326 * HOSTLIST  :  0.0%
 327 * TOPOLOGY  :  0.0%