use back-off and higher-frequency re-tries to start with for creating connections
[oweals/gnunet.git] / TODO
1 0.9.0pre1:
2 * PEERINFO: [CG]
3   - trust: need *fast* way to check/update trust in peers
4            (async peerinfo would not be right; certainly not with the current API)
5 * TOPOLOGY: [CG]
6   - If the topology daemon crashes, peers that were put on the
7     blacklist with transport will never be removed from it (until
8     transport service dies); we should use the blacklist notification
9     API to learn about the exact set of blacklisted peers at all times
10     (FIXME: the transport_api implementation of blacklisting
11      also does not work nicely for this since it won't let us know about
12      disconnect-reconnect events and the implicit whitelisting
13      that might happen here; that's not so bad since we will
14      re-blacklist on pre-connect attempts anyway, so this is 
15      a minor issue; OTOH, we might want to be more explicit about
16      allowing/forbidding connects on pre-connect to avoid 
17      entering connect attempts to just be blacklisted shortly afterwards).
18   - needs more testing (especially F2F topology)
19 * FS: [CG]
20   - support recursive download even if filename is NULL and we hence
21     do not generate files on disk (use temp_filename)
22   - bound parallelism (# fs downloads)
23   - distinguish in performance tracking and event signalling between
24     downloads that are actually running and those that are merely in the queue
25   - persistence support (publish, unindex, search, download)
26   - active migration support (in fs or in datastore or new daemon?)
27   - gnunet-service-fs (hot-path routing, load-based routing, nitpicks)
28   - [gnunet-service-fs.c:208]: member 'LocalGetContext::results_bf_size' is never used
29   - [gnunet-service-fs.c:501]: member 'PendingRequest::used_pids_size' is never used
30   - [gnunet-service-fs.c:654]: member 'ConnectedPeer::last_client_replies' is never used
31   - [gnunet-service-fs.c:669]: member 'ConnectedPeer::avg_delay' is never used
32   - [gnunet-service-fs.c:675]: member 'ConnectedPeer::avg_priority' is never used
33   - [gnunet-service-fs.c:688]: member 'ConnectedPeer::pending_requests' is never used
34   - [gnunet-service-fs.c:694]: member 'ConnectedPeer::last_p2p_replies_woff' is never used
35   - [gnunet-service-fs.c:700]: member 'ConnectedPeer::last_client_replies_woff' is never used
36   - GAP improvements:
37     + active reply route caching design & implementation of service; gap extension!
38 * TBENCH: [MW]
39   - good to have for transport/DV evaluation! 
40 * DV: [Nate]
41   - write DV API (need to move declarations from dv_api.c to gnunet_dv_service.h!)
42   - implement DV service 
43   - implement DV library (looks done)
44   - implement DV transport plugin
45   - implement testcases 
46   - implement performance tests
47 * UTIL:
48   - only connect() sockets that are ready (select()) [Nils]
49     [On W32, we need to select after calling socket before doing connect etc.]
50 * GNUNET-GTK:
51   - use g_main_context_set_poll_func to integrate GTK with GNUnet Scheduler!? (YUCK!)
52   - OR: add scheduler API to enable integration with GTK main loop instead of doing our own select
53   - use g_main_context_pending, g_main_context_query / g_main_context_check / g_main_context_dispatch
54     and NEVER g_main_loop_run (can this be done? might be the clean way to do this! But how
55     to integrate this with "gtk_main"?  Docu says:
56     "It's OK to use the GLib main loop directly instead of gtk_main(), though it involves 
57      slightly more typing. See GMainLoop in the GLib documentation."
58     => so maybe it "just works"?
59 * SETUP:
60   - design & implement new setup tool
61
62 0.9.0pre2:
63 * TRACEKIT: [MW]
64   - good to have for DV/DHT evaluation!
65 * DHT: [Nate]
66   - implement DHT service 
67   - implement testcases
68   - implement performance tests
69 * TRANSPORT:
70   - HTTP backend [MW]
71 * ARM: [Safey]
72   - need to get rid of synchronous API for service starts (cause all kinds of problems)
73     [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
74   - better tracking of which config changes actually need to cause process restarts by ARM.
75   - listen for requests to discover dependencies between services (and avoid
76     having to explicitly program start requests)
77   - better crash management (attach debugging support, capture and analyze
78     debug output, detect random vs. deterministic crashes)
79   - shutdown sequence?
80 * FS: [CG]
81   - datastore reservation (publishing)
82   - search: availability probes
83   - location URIs (publish, search, download)
84   - non-anonymous FS service (needs DHT)
85     + DHT integration for search
86     + CS-DHT-functions (DHT-put of LOC)
87     + P2P-functions (DHT-get)
88   - collection API & tests
89     + gnunet-pseudonym (collection support)
90   - implement FS performance tests
91     + insert
92     + download
93     + search
94     + unindex
95
96 0.9.0pre3:
97 * Determine RC bugs and fix those!
98 * TESTING: [Nate]
99   - modify configuration to allow controlling connections for non-local starts
100   - testbed creation with topology (needs working F2F topology) 
101   - testbed with churn 
102   - implement testcases for distributed testing
103   - test basic peer re-configure 
104   - test topology creation 
105   - test churn generation 
106   - consider changing API for peer-group termination to 
107     call continuation when done
108 * NAT/UPNP: [MW]
109   - finalize API design
110   - code clean up
111   - testing
112   - integration with transport service
113 * MYSQL database backends: [CG]
114   - datacache
115   - datastore
116
117 0.9.0:
118 * new webpage:
119   - expand bibliography
120   - convert documentation pages to books
121   - update books (especially for developers)
122   - create good Drupal theme for GNUnet
123   - make a NICE download page and figure out how to 
124     enable developers to publish TGZs nicely
125   - port "contact" page
126   - add content type for "todo" items?
127 * POSTGRES database backends: [CG]
128   - datacache
129   - datastore
130 * Determine RC bugs and fix those!
131
132 0.9.x:
133 * TRANSPORT: [MW]
134   - SMTP transport backend
135   - HTTPS transport backend
136     + improved HTTPS support in MHD
137     + actual plugin
138   - Implement method of learning our external addresses from
139     other peers; need some kind of threshold-based
140     scheme, limiting both the total number of addresses that we accept 
141     this way as well as requiring multiple confirmations; also, we
142     should possibly try to confirm that the given address works for
143     us ourselves (loopback-style) before adding it to the list
144     + we may be able to simplify WELCOME messages (no need to add 
145       addresses there anymore, but may help to learn them there anyway...).
146     + we probably want some kind of voting/counting for learning IP addresses
147       (maybe including IP addresses in ads proportional to how often others
148        report them? we at least need some protection against >64k HELLOs!),
149     + provide a way to give the user a list of "learned" IP addresses and
150       a way to easily "veto" addresses off the list!
151       => If MiM attacker uses vetoed address, blacklist the specific IP for
152          the presumed neighbour!
153   - implement gnunet-transport (transport configurator / tester)
154   - UPnP-based IP detection
155     (Note: build library always, build service when libxml2/etc. are available)
156 * FS: [CG]
157   - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
158   - Allow checking of presence of search results and/or content via command-line tools
159     (add options to gnunet-search / gnunet-download to limit search to local peer)
160 * PEERINFO: [CG]
161   - expire 'ancient' HELLOs (those without valid addresses AND that 
162     we have not 'used' (for their public keys) in a while; need a way
163     to track actual 'use')
164   - make sue we also trigger notifications whenever HELLOs expire
165 * VPN
166
167
168
169 Optimizations:
170 * TCP:
171   - should use hash map to look up sessions
172 * STATISTICS:
173   - should use BIO instead of mmap
174 * TRANSPORT:
175   - need to periodically probe latency/transport cost changes & possibly switch transport
176   - instantly filter addresses from *other* peers that 
177     are *equal* to our own address + port (i.e., localhost:2086).  We 
178     no longer filter those for outgoing (helps with loopback testing
179     and keeps the code clean), but we should filter strictly *impossible*
180     incoming addresses!  This is for efficiency, not correctness.
181   - should use hash map to look up Neighbours
182 * HOSTLIST:
183   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
184     (for more instant / up-to-date hostlists at lower cost)
185 * DATASTORE (?):
186   - check for duplicates on insertion (currently, same content is frequently
187     stored again [seen with KBLOCKS and SBLOCKS]!)
188
189 Minor features:
190 * TCP:
191   - repeatedly resolve hostname and look up interfaces to determine our own IP
192   - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used (related to issue above)
193 * TRANSPORT:
194   - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used (related to TCP not refreshing external addresses?)
195 * DATACACHE:
196   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
197 * FS:
198   - support inline data in directories for recursive file downloads (fs_download)
199