fix compile errors
[oweals/gnunet.git] / TODO
1 PHASE #1: (Goal: settle key design questions)
2
3 Util:
4 * Windows: use events instead of pipes to signal select()s [Nils]
5 * only connect() sockets that are ready (select()) [Nils]
6   [On W32, we need to select after calling socket before
7    doing connect etc.]
8
9 PHASE #2: (Goal: recover basic file-sharing functionality)
10
11
12 TESTCASES WANTED:
13
14 For these functions, it would be nice if we had testcases ("make check")
15 that would cause them to be executed and check that they are working:
16 * gnunet-service-peerinfo:
17   - change_host_trust / flush_trust 
18   - remove_garbage / 
19   - discard_hosts_helper / cron_clean_data_hosts
20 * gnunet-service-transport:
21   - try_unvalidated_addresses
22   - lookup_address_callback
23   - lookup_hello_callback
24   - plugin_env_lookup_address
25   - notify_clients_disconnect
26   - list_validated_addresses
27   - cleanup_validation
28   - disconnect_neighbour
29   - handle_set_quota
30 * plugin_transport_tcp.c:
31   - tcp_plugin_cancel
32   - tcp_plugin_address_pretty_printer / append_port
33   - tcp_plugin_set_receive_quota
34   - delayed_done
35 * transport_api:
36   - GNUNET_TRANSPORT_set_qutoa / send_set_quota
37   - hello_wait_timeout 
38   - transmit_ready
39   - transmit_timeout
40   - remove_from_any_list / remove_neighbour
41   - GNUNET_TRANSPORT_notify_transmit_ready_cancel
42   - Testcases for set_quota, timeouts, disconnects, transmit_ready_cancel
43   - gnunet-service-transport HELLO validation (how good is our coverage?)
44   - direct test of plugins compliance to plugin API
45 * core_api:
46   - timeout_request
47   - solicit_traffic / copy_and_free
48   - GNUNET_CORE_peer_configure / produce_configure_message
49 * gnunet-service-core:
50   - update_window
51   - find_client
52   - handle_client_request_configure
53   - set_key_retry_task
54   - align_and_deliver
55   - handle_transport_notify_disconnect
56 * hostlist (everything)
57 * topology (everything)
58
59
60 Module features to implement:
61 * Datastore (needed for FS)
62   - complete service implementation and improve testcase coverage
63 * Dstore (needed for DHT)
64   - design DSTORE API
65   - design network structs
66   - design plugin API
67   - implement sqlite-based dstore plugin
68   - implement dstore service
69   - implement dstore API
70   - implement testcases for dstore API 
71   - implement testcases for dstore plugin
72   - implement performance tests
73 * TESTING (needed for DV, DHT, Topology)
74   - review TESTING API
75   - implement library for local testing
76   - implement testcases for library
77   - implement library for distributed testing
78   - implement testcases for distributed testing
79 * TOPOLOGY:
80   - implement testcases (needs TESTING)
81 * HOSTLIST:
82   - implement testcases
83 * DV (needed for DHT)
84   - write DV API
85   - implement DV service
86   - implement DV library
87   - implement DV transport plugin
88   - implement testcases
89   - implement performance tests
90 * DHT (needed for FS)
91   - review DHT API
92   - implement DHT service (needs DV, DSTORE)
93   - implement DHT library
94   - implement testcases
95   - implement performance tests
96 * FS
97   - review FS API
98   - design network structs (CS)
99   - implement FS library
100     + URI API
101     + getopt API
102     + persistence mechanism
103     + sharing API
104       ~ file-information
105       ~ insert
106       ~ download
107       ~ search
108       ~ unindex
109       ~ namespaces
110       ~ collection
111     + directory API
112   - design network structs (P2P)
113   - datastore request queueing mechanism
114   - implement FS service (needs DHT)
115     + insert
116     + download
117     + search
118     + unindex
119   - implement testcases 
120     + URI API
121     + getopt API
122     + sharing API (needs TESTING)
123       ~ file-information
124       ~ insert
125       ~ download
126       ~ search
127       ~ unindex
128       ~ namespaces
129       ~ collection
130     + directory API
131   - implement performance tests (needs TESTING)
132     + insert
133     + download
134     + search
135     + unindex
136
137
138
139 PHASE #3: (Goal: ready for pre-release) [completion-goal: end of 2009]
140
141 Module features to implement:
142 * setup
143   - default generation
144   - need to settle basic design; do we want to keep guile?
145 * tbench
146   - good to have for DV evaluation!
147 * tracekit
148   - good to have for DV/DHT evaluation!
149 * vpn
150
151
152 GUIs to implement:
153 * gtk
154 * qt
155 * fuse
156
157
158 Plugins to implement:
159 * UDP backend (need LIBRARY to support (de)fragmentation!)
160 * HTTP backend
161
162
163
164
165
166 Minor TODO items / known bugs:
167 * UTIL:
168   - crypto_hash: use libgcrypt (supports SHA-512 since 2003)
169   - container_bloomfilter: improve efficiency (see FIXME)
170 * SERVER:
171   - inefficient memmove
172 * TRANSPORT:
173   - transport_api: support forcing disconnects through low quotas!
174     (required for working F2F support!)
175   - API: consider having core provide deadline information for each message
176     (likely important for DV plugin which wants to loop back!)
177   - implement transport API to pretty-print transport address 
178     + transport_api extension (API extension!)
179     + service-transport extension (protocol extension)
180   - add calls to statistics in various places
181   - implement gnunet-transport (transport configurator / tester)
182   - UPnP-based IP detection
183     (Note: build library always, build service when libxml2/etc. are available)
184   - instantly filter addresses from *other* peers that 
185     are *equal* to our own address + port (i.e., localhost:2086).  We 
186     no longer filter those for outgoing (helps with loopback testing
187     and keeps the code clean), but we should filter strictly *impossible*
188     incoming addresses!  This is for efficiency, not correctness.
189   - We currently are happy to take any address told to us in a WELCOME
190     to our set of addresses; we should have some minimal threshold-based
191     scheme, limiting both the total number of addresses that we accept 
192     this way as well as requiring multiple confirmations; also, we
193     should possibly try to confirm that the given address works for
194     us ourselves (loopback-style) before adding it to the list
195     [SECURITY issue]
196     + we may be able to simplify WELCOME messages (no need to add 
197       addresses there anymore, but may help to learn them there anyway...).
198     + we probably want some kind of voting/counting for learning IP addresses
199       (maybe including IP addresses in ads proportional to how often others
200        report them? we at least need some protection against >64k HELLOs!),
201     + provide a way to give the user a list of "learned" IP addresses and
202       a way to easily "veto" addresses off the list!
203       => If MiM attacker uses vetoed address, blacklist the specific IP for
204          the presumed neighbour!
205   - not sure current way of doing ACKs works well-enough 
206     with unreliable transports where the ACK maybe lost;
207     the "is_new" check would then possibly prevent future
208     ACKs to be delivered, all while we're happily 
209     receiving messages from that peer!  Worse, the other
210     peer won't generate another ACK since it thinks we're
211     connected just fine...
212     Key questions:
213     + How necessary is ACKing in the first place? (alternatives?)
214     + Should we transmit ACKs in response to every HELLO? (would that 
215       fully address the problem?)
216   - latency measurements implemented in the transport
217     plugins makes it only work for bi-di transports
218     and results in code replication
219   - should latency be included in the ReceiveCallback and
220     NotifyConnect or passed on request?
221   - FIXME's with latency being simply set to 0 in a few places
222   - Memory leak (running valgrind --trace-children=yes on test_transport_api:   
223     ==28393== 16 bytes in 1 blocks are indirectly lost in loss record 1 of 5
224     ==28393==    at 0x4C2260E: malloc (vg_replace_malloc.c:207)
225     ==28393==    by 0x52343E3: GNUNET_xmalloc_unchecked_ (common_allocation.c:62)
226     ==28393==    by 0x5234389: GNUNET_xmalloc_ (common_allocation.c:53)
227     ==28393==    by 0x524458A: GNUNET_NETWORK_socket_create_from_accept (network.c:289)
228     ==28393==    by 0x524B2DA: ??? (server.c:332)
229     ==28393==    by 0x524A4C7: ??? (scheduler.c:425)
230     ==28393==    by 0x524A73D: GNUNET_SCHEDULER_run (scheduler.c:510)
231     ==28393==    by 0x524FF8C: GNUNET_SERVICE_run (service.c:1326)
232     ==28393==    by 0x405500: main (gnunet-service-transport.c:2645)
233     And also:
234     ==28393== 65,744 (65,728 direct, 16 indirect) bytes in 1 blocks are definitely lost in loss record 5 of 5
235     ==28393==    at 0x4C2260E: malloc (vg_replace_malloc.c:207)
236     ==28393==    by 0x52343E3: GNUNET_xmalloc_unchecked_ (common_allocation.c:62)
237     ==28393==    by 0x5234389: GNUNET_xmalloc_ (common_allocation.c:53)
238     ==28393==    by 0x524473E: GNUNET_NETWORK_socket_create_from_accept (network.c:323)
239     (rest of trace identical)
240
241 * DATASTORE:
242   - mysql backend
243   - postgres backend
244 * SETUP:
245   - auto-generate "defaults.conf" using gnunet-setup from "config.scm"
246   - integrate all options into "config.scm"
247   - change config-file writing to exclude options set to default values
248 * ARM:
249   - implement exponential back-off for service restarts
250   - better tracking of which config changes actually need to cause process restarts by ARM.
251   - have way to specify dependencies between services (to manage ARM restarts better)
252   - client-API is inefficient since it opens a TCP connection per service that is started
253     (instead of re-using connections).
254 * CORE: 
255   - code currently notifies clients about "encrypted" connections being up well before
256     we get the encrypted PONG; sometimes this may be OK (for topology killing
257     unwanted connnections), but of course not in general.  I suspect we want
258     to signal on PONG and have topology hook directly into transport to
259     kill plaintext connections before they have a chance to become encrypted
260     (may require minor hack in transport API)
261 * PEERINFO:
262   - have gnunet-peerinfo print actual host addresses again
263   - add option to gnunet-peerinfo to modify trust value
264 * POSTGRES-DB:
265   - finish postgres implementation; simplify other SQLs using new stats
266 * HTTPS transport
267   - PolariSSL for MHD?
268   - https integration
269 * GAP improvements:
270   - active reply route caching design & implementation of service,
271     gap extension!
272 * HOSTLIST:
273   - implement advertising of hostlist URL
274   - implement learning of hostlist URLs
275
276
277
278 => PRE-RELEASE
279
280 PHASE #4: [completion-goal: mid 2010]
281 * Documentation
282   - Doxygen generation
283   - lcov generation
284   - update man pages
285   - update webpage documentation
286 * new webpage:
287   - expand bibliography
288   - convert documentation pages to books
289   - update books (especially for developers)
290   - add content type for links and view
291   - create good Drupal theme for GNUnet
292   - make a NICE download page and figure out how to 
293     enable developers to publish TGZs nicely
294   - port "contact" page; add impressum
295   - add content type for "todo" items?
296   - DNS activation
297
298
299 Stuff to remember:
300 * Features eliminated from util:
301   - threading (goal: good riddance!)
302   - complex logging features [ectx-passing, target-kinds] (goal: good riddance!)
303   - complex configuration features [defaults, notifications] (goal: good riddance!)
304   - network traffic monitors (goal: eliminate)
305   - IPC semaphores (goal: d-bus? / eliminate?)
306   - second timers
307   - DNS lookup (goal: have async service; issue: still need synchronous resolution in places, current code may not be portable)
308   => code shrunk from 61 files to 34, 22k LOC to 15k LOC, 470k to 330k (with symbols)
309 * New features in util:
310   - scheduler
311   - service and program boot-strap code
312 * Major changes in util:
313   - more expressive server (replaces selector)
314 * Open questions: 
315   - how to integrate scheduler with GTK event loop!
316
317
318
319 Test coverage:
320 * UTIL      : 78.7%
321 * HELLO     : 93.7%
322 * ARM       : 69.9%
323 * RESOLVER  : 60.4%
324 * STATISTICS: 82.8%
325 * PEERINFO  : 71.5%
326 * TRANSPORT : 70.9%
327 * CORE      : 65.8%
328 ===================
329 * TOTAL     : 74.9%
330
331 Not yet tested:
332 * HOSTLIST  :  0.0%
333 * TOPOLOGY  :  0.0%