x86_64 performance patch.
[oweals/openssl.git] / crypto / des / des_locl.h
1 /* crypto/des/des_locl.h */
2 /* Copyright (C) 1995-1997 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #ifndef HEADER_DES_LOCL_H
60 #define HEADER_DES_LOCL_H
61
62 #include <openssl/e_os2.h>
63
64 #if defined(OPENSSL_SYS_WIN32) || defined(OPENSSL_SYS_WIN16)
65 #ifndef OPENSSL_SYS_MSDOS
66 #define OPENSSL_SYS_MSDOS
67 #endif
68 #endif
69
70 #include <stdio.h>
71 #include <stdlib.h>
72 #include <string.h>
73
74 #ifndef OPENSSL_SYS_MSDOS
75 #if !defined(OPENSSL_SYS_VMS) || defined(__DECC)
76 #ifdef OPENSSL_UNISTD
77 # include OPENSSL_UNISTD
78 #else
79 # include <unistd.h>
80 #endif
81 #include <math.h>
82 #endif
83 #endif
84 #include <openssl/des.h>
85
86 #ifdef OPENSSL_SYS_MSDOS                /* Visual C++ 2.1 (Windows NT/95) */
87 #include <stdlib.h>
88 #include <errno.h>
89 #include <time.h>
90 #include <io.h>
91 #endif
92
93 #ifdef OPENSSL_BUILD_SHLIBCRYPTO
94 # undef OPENSSL_EXTERN
95 # define OPENSSL_EXTERN OPENSSL_EXPORT
96 #endif
97
98 #define ITERATIONS 16
99 #define HALF_ITERATIONS 8
100
101 /* used in des_read and des_write */
102 #define MAXWRITE        (1024*16)
103 #define BSIZE           (MAXWRITE+4)
104
105 #define c2l(c,l)        (l =((DES_LONG)(*((c)++)))    , \
106                          l|=((DES_LONG)(*((c)++)))<< 8L, \
107                          l|=((DES_LONG)(*((c)++)))<<16L, \
108                          l|=((DES_LONG)(*((c)++)))<<24L)
109
110 /* NOTE - c is not incremented as per c2l */
111 #define c2ln(c,l1,l2,n) { \
112                         c+=n; \
113                         l1=l2=0; \
114                         switch (n) { \
115                         case 8: l2 =((DES_LONG)(*(--(c))))<<24L; \
116                         case 7: l2|=((DES_LONG)(*(--(c))))<<16L; \
117                         case 6: l2|=((DES_LONG)(*(--(c))))<< 8L; \
118                         case 5: l2|=((DES_LONG)(*(--(c))));     \
119                         case 4: l1 =((DES_LONG)(*(--(c))))<<24L; \
120                         case 3: l1|=((DES_LONG)(*(--(c))))<<16L; \
121                         case 2: l1|=((DES_LONG)(*(--(c))))<< 8L; \
122                         case 1: l1|=((DES_LONG)(*(--(c))));     \
123                                 } \
124                         }
125
126 #define l2c(l,c)        (*((c)++)=(unsigned char)(((l)     )&0xff), \
127                          *((c)++)=(unsigned char)(((l)>> 8L)&0xff), \
128                          *((c)++)=(unsigned char)(((l)>>16L)&0xff), \
129                          *((c)++)=(unsigned char)(((l)>>24L)&0xff))
130
131 /* replacements for htonl and ntohl since I have no idea what to do
132  * when faced with machines with 8 byte longs. */
133 #define HDRSIZE 4
134
135 #define n2l(c,l)        (l =((DES_LONG)(*((c)++)))<<24L, \
136                          l|=((DES_LONG)(*((c)++)))<<16L, \
137                          l|=((DES_LONG)(*((c)++)))<< 8L, \
138                          l|=((DES_LONG)(*((c)++))))
139
140 #define l2n(l,c)        (*((c)++)=(unsigned char)(((l)>>24L)&0xff), \
141                          *((c)++)=(unsigned char)(((l)>>16L)&0xff), \
142                          *((c)++)=(unsigned char)(((l)>> 8L)&0xff), \
143                          *((c)++)=(unsigned char)(((l)     )&0xff))
144
145 /* NOTE - c is not incremented as per l2c */
146 #define l2cn(l1,l2,c,n) { \
147                         c+=n; \
148                         switch (n) { \
149                         case 8: *(--(c))=(unsigned char)(((l2)>>24L)&0xff); \
150                         case 7: *(--(c))=(unsigned char)(((l2)>>16L)&0xff); \
151                         case 6: *(--(c))=(unsigned char)(((l2)>> 8L)&0xff); \
152                         case 5: *(--(c))=(unsigned char)(((l2)     )&0xff); \
153                         case 4: *(--(c))=(unsigned char)(((l1)>>24L)&0xff); \
154                         case 3: *(--(c))=(unsigned char)(((l1)>>16L)&0xff); \
155                         case 2: *(--(c))=(unsigned char)(((l1)>> 8L)&0xff); \
156                         case 1: *(--(c))=(unsigned char)(((l1)     )&0xff); \
157                                 } \
158                         }
159
160 #if defined(OPENSSL_SYS_WIN32) && defined(_MSC_VER)
161 #define ROTATE(a,n)     (_lrotr(a,n))
162 #elif defined(__GNUC__) && __GNUC__>=2 && !defined(NO_ASM) && !defined(NO_INLINE_ASM)
163 # if defined(__i386) || defined(__i386__) || defined(__x86_64) || defined(__x86_64__)
164 #  define ROTATE(a,n)   ({ register unsigned int ret;   \
165                                 asm ("rorl %1,%0"       \
166                                         : "=r"(ret)     \
167                                         : "I"(n),"0"(a) \
168                                         : "cc");        \
169                            ret;                         \
170                         })
171 # endif
172 #else
173 #define ROTATE(a,n)     (((a)>>(n))+((a)<<(32-(n))))
174 #endif
175
176 /* Don't worry about the LOAD_DATA() stuff, that is used by
177  * fcrypt() to add it's little bit to the front */
178
179 #ifdef DES_FCRYPT
180
181 #define LOAD_DATA_tmp(R,S,u,t,E0,E1) \
182         { DES_LONG tmp; LOAD_DATA(R,S,u,t,E0,E1,tmp); }
183
184 #define LOAD_DATA(R,S,u,t,E0,E1,tmp) \
185         t=R^(R>>16L); \
186         u=t&E0; t&=E1; \
187         tmp=(u<<16); u^=R^s[S  ]; u^=tmp; \
188         tmp=(t<<16); t^=R^s[S+1]; t^=tmp
189 #else
190 #define LOAD_DATA_tmp(a,b,c,d,e,f) LOAD_DATA(a,b,c,d,e,f,g)
191 #define LOAD_DATA(R,S,u,t,E0,E1,tmp) \
192         u=R^s[S  ]; \
193         t=R^s[S+1]
194 #endif
195
196 /* The changes to this macro may help or hinder, depending on the
197  * compiler and the architecture.  gcc2 always seems to do well :-).
198  * Inspired by Dana How <how@isl.stanford.edu>
199  * DO NOT use the alternative version on machines with 8 byte longs.
200  * It does not seem to work on the Alpha, even when DES_LONG is 4
201  * bytes, probably an issue of accessing non-word aligned objects :-( */
202 #ifdef DES_PTR
203
204 /* It recently occurred to me that 0^0^0^0^0^0^0 == 0, so there
205  * is no reason to not xor all the sub items together.  This potentially
206  * saves a register since things can be xored directly into L */
207
208 #if defined(DES_RISC1) || defined(DES_RISC2)
209 #ifdef DES_RISC1
210 #define D_ENCRYPT(LL,R,S) { \
211         unsigned int u1,u2,u3; \
212         LOAD_DATA(R,S,u,t,E0,E1,u1); \
213         u2=(int)u>>8L; \
214         u1=(int)u&0xfc; \
215         u2&=0xfc; \
216         t=ROTATE(t,4); \
217         u>>=16L; \
218         LL^= *(const DES_LONG *)(des_SP      +u1); \
219         LL^= *(const DES_LONG *)(des_SP+0x200+u2); \
220         u3=(int)(u>>8L); \
221         u1=(int)u&0xfc; \
222         u3&=0xfc; \
223         LL^= *(const DES_LONG *)(des_SP+0x400+u1); \
224         LL^= *(const DES_LONG *)(des_SP+0x600+u3); \
225         u2=(int)t>>8L; \
226         u1=(int)t&0xfc; \
227         u2&=0xfc; \
228         t>>=16L; \
229         LL^= *(const DES_LONG *)(des_SP+0x100+u1); \
230         LL^= *(const DES_LONG *)(des_SP+0x300+u2); \
231         u3=(int)t>>8L; \
232         u1=(int)t&0xfc; \
233         u3&=0xfc; \
234         LL^= *(const DES_LONG *)(des_SP+0x500+u1); \
235         LL^= *(const DES_LONG *)(des_SP+0x700+u3); }
236 #endif
237 #ifdef DES_RISC2
238 #define D_ENCRYPT(LL,R,S) { \
239         unsigned int u1,u2,s1,s2; \
240         LOAD_DATA(R,S,u,t,E0,E1,u1); \
241         u2=(int)u>>8L; \
242         u1=(int)u&0xfc; \
243         u2&=0xfc; \
244         t=ROTATE(t,4); \
245         LL^= *(const DES_LONG *)(des_SP      +u1); \
246         LL^= *(const DES_LONG *)(des_SP+0x200+u2); \
247         s1=(int)(u>>16L); \
248         s2=(int)(u>>24L); \
249         s1&=0xfc; \
250         s2&=0xfc; \
251         LL^= *(const DES_LONG *)(des_SP+0x400+s1); \
252         LL^= *(const DES_LONG *)(des_SP+0x600+s2); \
253         u2=(int)t>>8L; \
254         u1=(int)t&0xfc; \
255         u2&=0xfc; \
256         LL^= *(const DES_LONG *)(des_SP+0x100+u1); \
257         LL^= *(const DES_LONG *)(des_SP+0x300+u2); \
258         s1=(int)(t>>16L); \
259         s2=(int)(t>>24L); \
260         s1&=0xfc; \
261         s2&=0xfc; \
262         LL^= *(const DES_LONG *)(des_SP+0x500+s1); \
263         LL^= *(const DES_LONG *)(des_SP+0x700+s2); }
264 #endif
265 #else
266 #define D_ENCRYPT(LL,R,S) { \
267         LOAD_DATA_tmp(R,S,u,t,E0,E1); \
268         t=ROTATE(t,4); \
269         LL^= \
270         *(const DES_LONG *)(des_SP      +((u     )&0xfc))^ \
271         *(const DES_LONG *)(des_SP+0x200+((u>> 8L)&0xfc))^ \
272         *(const DES_LONG *)(des_SP+0x400+((u>>16L)&0xfc))^ \
273         *(const DES_LONG *)(des_SP+0x600+((u>>24L)&0xfc))^ \
274         *(const DES_LONG *)(des_SP+0x100+((t     )&0xfc))^ \
275         *(const DES_LONG *)(des_SP+0x300+((t>> 8L)&0xfc))^ \
276         *(const DES_LONG *)(des_SP+0x500+((t>>16L)&0xfc))^ \
277         *(const DES_LONG *)(des_SP+0x700+((t>>24L)&0xfc)); }
278 #endif
279
280 #else /* original version */
281
282 #if defined(DES_RISC1) || defined(DES_RISC2)
283 #ifdef DES_RISC1
284 #define D_ENCRYPT(LL,R,S) {\
285         unsigned int u1,u2,u3; \
286         LOAD_DATA(R,S,u,t,E0,E1,u1); \
287         u>>=2L; \
288         t=ROTATE(t,6); \
289         u2=(int)u>>8L; \
290         u1=(int)u&0x3f; \
291         u2&=0x3f; \
292         u>>=16L; \
293         LL^=DES_SPtrans[0][u1]; \
294         LL^=DES_SPtrans[2][u2]; \
295         u3=(int)u>>8L; \
296         u1=(int)u&0x3f; \
297         u3&=0x3f; \
298         LL^=DES_SPtrans[4][u1]; \
299         LL^=DES_SPtrans[6][u3]; \
300         u2=(int)t>>8L; \
301         u1=(int)t&0x3f; \
302         u2&=0x3f; \
303         t>>=16L; \
304         LL^=DES_SPtrans[1][u1]; \
305         LL^=DES_SPtrans[3][u2]; \
306         u3=(int)t>>8L; \
307         u1=(int)t&0x3f; \
308         u3&=0x3f; \
309         LL^=DES_SPtrans[5][u1]; \
310         LL^=DES_SPtrans[7][u3]; }
311 #endif
312 #ifdef DES_RISC2
313 #define D_ENCRYPT(LL,R,S) {\
314         unsigned int u1,u2,s1,s2; \
315         LOAD_DATA(R,S,u,t,E0,E1,u1); \
316         u>>=2L; \
317         t=ROTATE(t,6); \
318         u2=(int)u>>8L; \
319         u1=(int)u&0x3f; \
320         u2&=0x3f; \
321         LL^=DES_SPtrans[0][u1]; \
322         LL^=DES_SPtrans[2][u2]; \
323         s1=(int)u>>16L; \
324         s2=(int)u>>24L; \
325         s1&=0x3f; \
326         s2&=0x3f; \
327         LL^=DES_SPtrans[4][s1]; \
328         LL^=DES_SPtrans[6][s2]; \
329         u2=(int)t>>8L; \
330         u1=(int)t&0x3f; \
331         u2&=0x3f; \
332         LL^=DES_SPtrans[1][u1]; \
333         LL^=DES_SPtrans[3][u2]; \
334         s1=(int)t>>16; \
335         s2=(int)t>>24L; \
336         s1&=0x3f; \
337         s2&=0x3f; \
338         LL^=DES_SPtrans[5][s1]; \
339         LL^=DES_SPtrans[7][s2]; }
340 #endif
341
342 #else
343
344 #define D_ENCRYPT(LL,R,S) {\
345         LOAD_DATA_tmp(R,S,u,t,E0,E1); \
346         t=ROTATE(t,4); \
347         LL^=\
348                 DES_SPtrans[0][(u>> 2L)&0x3f]^ \
349                 DES_SPtrans[2][(u>>10L)&0x3f]^ \
350                 DES_SPtrans[4][(u>>18L)&0x3f]^ \
351                 DES_SPtrans[6][(u>>26L)&0x3f]^ \
352                 DES_SPtrans[1][(t>> 2L)&0x3f]^ \
353                 DES_SPtrans[3][(t>>10L)&0x3f]^ \
354                 DES_SPtrans[5][(t>>18L)&0x3f]^ \
355                 DES_SPtrans[7][(t>>26L)&0x3f]; }
356 #endif
357 #endif
358
359         /* IP and FP
360          * The problem is more of a geometric problem that random bit fiddling.
361          0  1  2  3  4  5  6  7      62 54 46 38 30 22 14  6
362          8  9 10 11 12 13 14 15      60 52 44 36 28 20 12  4
363         16 17 18 19 20 21 22 23      58 50 42 34 26 18 10  2
364         24 25 26 27 28 29 30 31  to  56 48 40 32 24 16  8  0
365
366         32 33 34 35 36 37 38 39      63 55 47 39 31 23 15  7
367         40 41 42 43 44 45 46 47      61 53 45 37 29 21 13  5
368         48 49 50 51 52 53 54 55      59 51 43 35 27 19 11  3
369         56 57 58 59 60 61 62 63      57 49 41 33 25 17  9  1
370
371         The output has been subject to swaps of the form
372         0 1 -> 3 1 but the odd and even bits have been put into
373         2 3    2 0
374         different words.  The main trick is to remember that
375         t=((l>>size)^r)&(mask);
376         r^=t;
377         l^=(t<<size);
378         can be used to swap and move bits between words.
379
380         So l =  0  1  2  3  r = 16 17 18 19
381                 4  5  6  7      20 21 22 23
382                 8  9 10 11      24 25 26 27
383                12 13 14 15      28 29 30 31
384         becomes (for size == 2 and mask == 0x3333)
385            t =   2^16  3^17 -- --   l =  0  1 16 17  r =  2  3 18 19
386                  6^20  7^21 -- --        4  5 20 21       6  7 22 23
387                 10^24 11^25 -- --        8  9 24 25      10 11 24 25
388                 14^28 15^29 -- --       12 13 28 29      14 15 28 29
389
390         Thanks for hints from Richard Outerbridge - he told me IP&FP
391         could be done in 15 xor, 10 shifts and 5 ands.
392         When I finally started to think of the problem in 2D
393         I first got ~42 operations without xors.  When I remembered
394         how to use xors :-) I got it to its final state.
395         */
396 #define PERM_OP(a,b,t,n,m) ((t)=((((a)>>(n))^(b))&(m)),\
397         (b)^=(t),\
398         (a)^=((t)<<(n)))
399
400 #define IP(l,r) \
401         { \
402         register DES_LONG tt; \
403         PERM_OP(r,l,tt, 4,0x0f0f0f0fL); \
404         PERM_OP(l,r,tt,16,0x0000ffffL); \
405         PERM_OP(r,l,tt, 2,0x33333333L); \
406         PERM_OP(l,r,tt, 8,0x00ff00ffL); \
407         PERM_OP(r,l,tt, 1,0x55555555L); \
408         }
409
410 #define FP(l,r) \
411         { \
412         register DES_LONG tt; \
413         PERM_OP(l,r,tt, 1,0x55555555L); \
414         PERM_OP(r,l,tt, 8,0x00ff00ffL); \
415         PERM_OP(l,r,tt, 2,0x33333333L); \
416         PERM_OP(r,l,tt,16,0x0000ffffL); \
417         PERM_OP(l,r,tt, 4,0x0f0f0f0fL); \
418         }
419
420 OPENSSL_EXTERN const DES_LONG DES_SPtrans[8][64];
421
422 void fcrypt_body(DES_LONG *out,DES_key_schedule *ks,
423                  DES_LONG Eswap0, DES_LONG Eswap1);
424 #endif