first half of new BLOCK API to generalize duplicate detection beyond BFs
[oweals/gnunet.git] / src / include / gnunet_block_lib.h
1 /*
2      This file is part of GNUnet.
3      Copyright (C) 2010 GNUnet e.V.
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
18      Boston, MA 02110-1301, USA.
19 */
20
21 /**
22  * @author Christian Grothoff
23  *
24  * @file
25  * Library for data block manipulation
26  *
27  * @defgroup block  Block library
28  * Library for data block manipulation
29  * @{
30  */
31 #ifndef GNUNET_BLOCK_LIB_H
32 #define GNUNET_BLOCK_LIB_H
33
34 #include "gnunet_util_lib.h"
35 #ifdef __cplusplus
36 extern "C"
37 {
38 #if 0                           /* keep Emacsens' auto-indent happy */
39 }
40 #endif
41 #endif
42
43
44 /**
45  * Blocks in the datastore and the datacache must have a unique type.
46  */
47 enum GNUNET_BLOCK_Type
48 {
49   /**
50    * Any type of block, used as a wildcard when searching.  Should
51    * never be attached to a specific block.
52    */
53   GNUNET_BLOCK_TYPE_ANY = 0,
54
55   /**
56    * Data block (leaf) in the CHK tree.
57    */
58   GNUNET_BLOCK_TYPE_FS_DBLOCK = 1,
59
60   /**
61    * Inner block in the CHK tree.
62    */
63   GNUNET_BLOCK_TYPE_FS_IBLOCK = 2,
64
65   /**
66    * Legacy type, no longer in use.
67    */
68   GNUNET_BLOCK_TYPE_FS_KBLOCK = 3,
69
70   /**
71    * Legacy type, no longer in use.
72    */
73   GNUNET_BLOCK_TYPE_FS_SBLOCK = 4,
74
75   /**
76    * Legacy type, no longer in use.
77    */
78   GNUNET_BLOCK_TYPE_FS_NBLOCK = 5,
79
80   /**
81    * Type of a block representing a block to be encoded on demand from disk.
82    * Should never appear on the network directly.
83    */
84   GNUNET_BLOCK_TYPE_FS_ONDEMAND = 6,
85
86   /**
87    * Type of a block that contains a HELLO for a peer (for
88    * DHT and CADET find-peer operations).
89    */
90   GNUNET_BLOCK_TYPE_DHT_HELLO = 7,
91
92   /**
93    * Block for testing.
94    */
95   GNUNET_BLOCK_TYPE_TEST = 8,
96
97   /**
98    * Type of a block representing any type of search result
99    * (universal).  Implemented in the context of #2564, replaces
100    * SBLOCKS, KBLOCKS and NBLOCKS.
101    */
102   GNUNET_BLOCK_TYPE_FS_UBLOCK = 9,
103
104   /**
105    * Block for storing DNS exit service advertisements.
106    */
107   GNUNET_BLOCK_TYPE_DNS = 10,
108
109   /**
110    * Block for storing record data
111    */
112   GNUNET_BLOCK_TYPE_GNS_NAMERECORD = 11,
113
114   /**
115    * Block to store a cadet regex state
116    */
117   GNUNET_BLOCK_TYPE_REGEX = 22,
118
119   /**
120    * Block to store a cadet regex accepting state
121    */
122   GNUNET_BLOCK_TYPE_REGEX_ACCEPT = 23
123 };
124
125
126 /**
127  * Flags that can be set to control the evaluation.
128  */
129 enum GNUNET_BLOCK_EvaluationOptions
130 {
131
132   /**
133    * Default behavior.
134    */
135   GNUNET_BLOCK_EO_NONE = 0,
136
137   /**
138    * The block is obtained from the local database, skip cryptographic
139    * checks.
140    */
141   GNUNET_BLOCK_EO_LOCAL_SKIP_CRYPTO = 1
142 };
143
144
145 /**
146  * Possible ways for how a block may relate to a query.
147  */
148 enum GNUNET_BLOCK_EvaluationResult
149 {
150   /**
151    * Valid result, and there may be more.
152    */
153   GNUNET_BLOCK_EVALUATION_OK_MORE = 0,
154
155   /**
156    * Last possible valid result.
157    */
158   GNUNET_BLOCK_EVALUATION_OK_LAST = 1,
159
160   /**
161    * Valid result, but suppressed because it is a duplicate.
162    */
163   GNUNET_BLOCK_EVALUATION_OK_DUPLICATE = 2,
164
165   /**
166    * Block does not match query (invalid result)
167    */
168   GNUNET_BLOCK_EVALUATION_RESULT_INVALID = 3,
169
170   /**
171    * Block does not match xquery (valid result, not relevant for the request)
172    */
173   GNUNET_BLOCK_EVALUATION_RESULT_IRRELEVANT = 4,
174
175   /**
176    * Query is valid, no reply given.
177    */
178   GNUNET_BLOCK_EVALUATION_REQUEST_VALID = 10,
179
180   /**
181    * Query format does not match block type (invalid query).  For
182    * example, xquery not given or xquery_size not appropriate for
183    * type.
184    */
185   GNUNET_BLOCK_EVALUATION_REQUEST_INVALID = 11,
186
187   /**
188    * Specified block type not supported by this plugin.
189    */
190   GNUNET_BLOCK_EVALUATION_TYPE_NOT_SUPPORTED = 20
191 };
192
193
194 /**
195  * Handle to an initialized block library.
196  */
197 struct GNUNET_BLOCK_Context;
198
199
200 /**
201  * Mingle hash with the mingle_number to produce different bits.
202  *
203  * @param in original hash code
204  * @param mingle_number number for hash permutation
205  * @param hc where to store the result.
206  */
207 void
208 GNUNET_BLOCK_mingle_hash (const struct GNUNET_HashCode *in,
209                           uint32_t mingle_number,
210                           struct GNUNET_HashCode *hc);
211
212
213 /**
214  * Create a block context.  Loads the block plugins.
215  *
216  * @param cfg configuration to use
217  * @return NULL on error
218  */
219 struct GNUNET_BLOCK_Context *
220 GNUNET_BLOCK_context_create (const struct GNUNET_CONFIGURATION_Handle *cfg);
221
222
223 /**
224  * Destroy the block context.
225  *
226  * @param ctx context to destroy
227  */
228 void
229 GNUNET_BLOCK_context_destroy (struct GNUNET_BLOCK_Context *ctx);
230
231
232 /**
233  * Handle for a group of elements that will be evaluated together.
234  * They must all be of the same type.  A block group allows the
235  * plugin to keep some state across individual evaluations.
236  */
237 struct GNUNET_BLOCK_Group;
238
239
240 /**
241  * Create a new block group.
242  *
243  * @param ctx block context in which the block group is created
244  * @param type type of the block for which we are creating the group
245  * @param nonce random value used to seed the group creation
246  * @param raw_data optional serialized prior state of the group, NULL if unavailable/fresh
247  * @param raw_data_size number of bytes in @a raw_data, 0 if unavailable/fresh
248  * @return block group handle, NULL if block groups are not supported
249  *         by this @a type of block (this is not an error)
250  */
251 struct GNUNET_BLOCK_Group *
252 GNUNET_BLOCK_group_create (struct GNUNET_BLOCK_Context *ctx,
253                            enum GNUNET_BLOCK_Type type,
254                            uint32_t nonce,
255                            const void *raw_data,
256                            size_t raw_data_size);
257
258
259 /**
260  * Serialize state of a block group.
261  *
262  * @param bg group to serialize
263  * @param[out] raw_data set to the serialized state
264  * @param[out] raw_data_size set to the number of bytes in @a raw_data
265  * @return #GNUNET_OK on success, #GNUNET_NO if serialization is not
266  *         supported, #GNUNET_SYSERR on error
267  */
268 int
269 GNUNET_BLOCK_group_serialize (struct GNUNET_BLOCK_Group *bg,
270                               void **raw_data,
271                               size_t *raw_data_size);
272
273
274 /**
275  * Destroy resources used by a block group.
276  *
277  * @param bg group to destroy, NULL is allowed
278  */
279 void
280 GNUNET_BLOCK_group_destroy (struct GNUNET_BLOCK_Group *bg);
281
282
283 /**
284  * Function called to validate a reply or a request.  For
285  * request evaluation, simply pass "NULL" for the @a reply_block.
286  * Note that it is assumed that the reply has already been
287  * matched to the key (and signatures checked) as it would
288  * be done with the #GNUNET_BLOCK_get_key() function.
289  *
290  * @param ctx block contxt
291  * @param type block type
292  * @param eo evaluation options to control evaluation
293  * @param query original query (hash)
294  * @param bf pointer to bloom filter associated with query; possibly updated (!)
295  * @param bf_mutator mutation value for @a bf
296  * @param xquery extrended query data (can be NULL, depending on type)
297  * @param xquery_size number of bytes in @a xquery
298  * @param reply_block response to validate
299  * @param reply_block_size number of bytes in @a reply_block
300  * @return characterization of result
301  */
302 enum GNUNET_BLOCK_EvaluationResult
303 GNUNET_BLOCK_evaluate (struct GNUNET_BLOCK_Context *ctx,
304                        enum GNUNET_BLOCK_Type type,
305                        enum GNUNET_BLOCK_EvaluationOptions eo,
306                        const struct GNUNET_HashCode *query,
307                        struct GNUNET_CONTAINER_BloomFilter **bf,
308                        int32_t bf_mutator,
309                        const void *xquery,
310                        size_t xquery_size,
311                        const void *reply_block,
312                        size_t reply_block_size);
313
314
315 /**
316  * Function called to obtain the key for a block.
317  *
318  * @param ctx block context
319  * @param type block type
320  * @param block block to get the key for
321  * @param block_size number of bytes in @a block
322  * @param key set to the key (query) for the given block
323  * @return #GNUNET_YES on success,
324  *         #GNUNET_NO if the block is malformed
325  *         #GNUNET_SYSERR if type not supported
326  *         (or if extracting a key from a block of this type does not work)
327  */
328 int
329 GNUNET_BLOCK_get_key (struct GNUNET_BLOCK_Context *ctx,
330                       enum GNUNET_BLOCK_Type type,
331                       const void *block,
332                       size_t block_size,
333                       struct GNUNET_HashCode * key);
334
335
336
337 /**
338  * Construct a bloom filter that would filter out the given
339  * results.
340  *
341  * @param bf_mutator mutation value to use
342  * @param seen_results results already seen
343  * @param seen_results_count number of entries in @a seen_results
344  * @return NULL if seen_results_count is 0, otherwise a BF
345  *         that would match the given results.
346  */
347 struct GNUNET_CONTAINER_BloomFilter *
348 GNUNET_BLOCK_construct_bloomfilter (int32_t bf_mutator,
349                                     const struct GNUNET_HashCode *seen_results,
350                                     unsigned int seen_results_count);
351
352
353 #if 0                           /* keep Emacsens' auto-indent happy */
354 {
355 #endif
356 #ifdef __cplusplus
357 }
358 #endif
359
360 /* ifndef GNUNET_BLOCK_LIB_H */
361 #endif
362
363 /** @} */  /* end of group */
364
365 /* end of gnunet_block_lib.h */