3 # ====================================================================
4 # Written by Andy Polyakov, @dot-asm, initially for use with OpenSSL.
5 # ====================================================================
7 # ChaCha20 for Itanium.
11 # Itanium 9xxx, which has pair of shifters, manages to process one byte
12 # in 9.3 cycles. This aligns perfectly with theoretical estimate.
13 # On the other hand, pre-9000 CPU has single shifter and each extr/dep
14 # pairs below takes additional cycle. Then final input->xor->output
15 # pass runs slower than expected... Overall result is 15.6 cpb, two
16 # cycles more than theoretical estimate.
18 $output = pop and open STDOUT, ">$output";
20 my @k = map("r$_",(16..31));
21 my @x = map("r$_",(38..53));
22 my @y = map("r$_",(8..11));
23 my @z = map("r$_",(15,35..37));
24 my ($out,$inp,$len,$key,$counter) = map("r$_",(32..36));
27 #if defined(_HPUX_SOURCE)
39 .global ChaCha20_ctr32#
45 { .mmi; alloc r2=ar.pfs,5,17,0,0
49 { .mmi; ADDP $key=0,$key
50 ADDP $counter=0,$counter
55 { .mlx; ld4 @k[4]=[$key],8
56 movl @k[0]=0x61707865 }
57 { .mlx; ld4 @k[5]=[@k[11]],8
58 movl @k[1]=0x3320646e };;
59 { .mlx; ld4 @k[6]=[$key],8
60 movl @k[2]=0x79622d32 }
61 { .mlx; ld4 @k[7]=[@k[11]],8
62 movl @k[3]=0x6b206574 };;
63 { .mmi; ld4 @k[8]=[$key],8
65 add @k[15]=4,$counter };;
66 { .mmi; ld4 @k[10]=[$key]
69 { .mmi; ld4 @k[12]=[$counter],8
72 { .mmi; ld4 @k[14]=[$counter]
75 { .mmi; mov @x[3]=@k[3]
78 { .mmi; mov @x[6]=@k[6]
81 { .mmi; mov @x[9]=@k[9]
84 { .mmi; mov @x[12]=@k[12]
89 { .mii; mov @x[15]=@k[15]
92 { .mmb; cmp.geu p6,p0=64,$len
94 brp.loop.imp .Loop_top,.Loop_end-16 };;
99 my ($a0,$b0,$c0,$d0)=@_;
100 my ($a1,$b1,$c1,$d1)=map(($_&~3)+(($_+1)&3),($a0,$b0,$c0,$d0));
101 my ($a2,$b2,$c2,$d2)=map(($_&~3)+(($_+1)&3),($a1,$b1,$c1,$d1));
102 my ($a3,$b3,$c3,$d3)=map(($_&~3)+(($_+1)&3),($a2,$b2,$c2,$d2));
105 { .mmi; add @x[$a0]=@x[$a0],@x[$b0]
106 add @x[$a1]=@x[$a1],@x[$b1]
107 add @x[$a2]=@x[$a2],@x[$b2] };;
108 { .mmi; add @x[$a3]=@x[$a3],@x[$b3]
109 xor @x[$d0]=@x[$d0],@x[$a0]
110 xor @x[$d1]=@x[$d1],@x[$a1] };;
111 { .mmi; xor @x[$d2]=@x[$d2],@x[$a2]
112 xor @x[$d3]=@x[$d3],@x[$a3]
113 extr.u @y[0]=@x[$d0],16,16 };;
114 { .mii; extr.u @y[1]=@x[$d1],16,16
115 dep @x[$d0]=@x[$d0],@y[0],16,16 };;
116 { .mii; add @x[$c0]=@x[$c0],@x[$d0]
117 extr.u @y[2]=@x[$d2],16,16
118 dep @x[$d1]=@x[$d1],@y[1],16,16 };;
119 { .mii; add @x[$c1]=@x[$c1],@x[$d1]
120 xor @x[$b0]=@x[$b0],@x[$c0]
121 extr.u @y[3]=@x[$d3],16,16 };;
122 { .mii; xor @x[$b1]=@x[$b1],@x[$c1]
123 dep @x[$d2]=@x[$d2],@y[2],16,16
124 dep @x[$d3]=@x[$d3],@y[3],16,16 };;
125 { .mmi; add @x[$c2]=@x[$c2],@x[$d2]
126 add @x[$c3]=@x[$c3],@x[$d3]
127 extr.u @y[0]=@x[$b0],20,12 };;
128 { .mmi; xor @x[$b2]=@x[$b2],@x[$c2]
129 xor @x[$b3]=@x[$b3],@x[$c3]
130 dep.z @x[$b0]=@x[$b0],12,20 };;
131 { .mii; or @x[$b0]=@x[$b0],@y[0]
132 extr.u @y[1]=@x[$b1],20,12
133 dep.z @x[$b1]=@x[$b1],12,20 };;
134 { .mii; add @x[$a0]=@x[$a0],@x[$b0]
135 extr.u @y[2]=@x[$b2],20,12
136 extr.u @y[3]=@x[$b3],20,12 }
137 { .mii; or @x[$b1]=@x[$b1],@y[1]
138 dep.z @x[$b2]=@x[$b2],12,20
139 dep.z @x[$b3]=@x[$b3],12,20 };;
140 { .mmi; or @x[$b2]=@x[$b2],@y[2]
141 or @x[$b3]=@x[$b3],@y[3]
142 add @x[$a1]=@x[$a1],@x[$b1] };;
143 { .mmi; add @x[$a2]=@x[$a2],@x[$b2]
144 add @x[$a3]=@x[$a3],@x[$b3]
145 xor @x[$d0]=@x[$d0],@x[$a0] };;
146 { .mii; xor @x[$d1]=@x[$d1],@x[$a1]
147 extr.u @y[0]=@x[$d0],24,8
148 dep.z @x[$d0]=@x[$d0],8,24 };;
149 { .mii; or @x[$d0]=@x[$d0],@y[0]
150 extr.u @y[1]=@x[$d1],24,8
151 dep.z @x[$d1]=@x[$d1],8,24 };;
152 { .mmi; or @x[$d1]=@x[$d1],@y[1]
153 xor @x[$d2]=@x[$d2],@x[$a2]
154 xor @x[$d3]=@x[$d3],@x[$a3] };;
155 { .mii; add @x[$c0]=@x[$c0],@x[$d0]
156 extr.u @y[2]=@x[$d2],24,8
157 dep.z @x[$d2]=@x[$d2],8,24 };;
158 { .mii; xor @x[$b0]=@x[$b0],@x[$c0]
159 extr.u @y[3]=@x[$d3],24,8
160 dep.z @x[$d3]=@x[$d3],8,24 };;
161 { .mmi; or @x[$d2]=@x[$d2],@y[2]
162 or @x[$d3]=@x[$d3],@y[3]
163 extr.u @y[0]=@x[$b0],25,7 };;
164 { .mmi; add @x[$c1]=@x[$c1],@x[$d1]
165 add @x[$c2]=@x[$c2],@x[$d2]
166 dep.z @x[$b0]=@x[$b0],7,25 };;
167 { .mmi; xor @x[$b1]=@x[$b1],@x[$c1]
168 xor @x[$b2]=@x[$b2],@x[$c2]
169 add @x[$c3]=@x[$c3],@x[$d3] };;
170 { .mii; xor @x[$b3]=@x[$b3],@x[$c3]
171 extr.u @y[1]=@x[$b1],25,7
172 dep.z @x[$b1]=@x[$b1],7,25 };;
173 { .mii; or @x[$b0]=@x[$b0],@y[0]
174 extr.u @y[2]=@x[$b2],25,7
175 dep.z @x[$b2]=@x[$b2],7,25 };;
176 { .mii; or @x[$b1]=@x[$b1],@y[1]
177 extr.u @y[3]=@x[$b3],25,7
178 dep.z @x[$b3]=@x[$b3],7,25 };;
180 $code.=<<___ if ($d0 == 12);
181 { .mmi; or @x[$b2]=@x[$b2],@y[2]
182 or @x[$b3]=@x[$b3],@y[3]
185 $code.=<<___ if ($d0 == 15);
186 { .mmb; or @x[$b2]=@x[$b2],@y[2]
187 or @x[$b3]=@x[$b3],@y[3]
188 br.ctop.sptk .Loop_top };;
192 &ROUND(0, 5, 10, 15);
196 { .mmi; add @x[0]=@x[0],@k[0]
197 add @x[1]=@x[1],@k[1]
198 (p6) shr.u @z[0]=@z[0],@z[1] }
199 { .mmb; add @x[2]=@x[2],@k[2]
200 add @x[3]=@x[3],@k[3]
202 { .mmi; add @x[4]=@x[4],@k[4]
203 add @x[5]=@x[5],@k[5]
204 add @x[6]=@x[6],@k[6] }
205 { .mmi; add @x[7]=@x[7],@k[7]
206 add @x[8]=@x[8],@k[8]
207 add @x[9]=@x[9],@k[9] }
208 { .mmi; add @x[10]=@x[10],@k[10]
209 add @x[11]=@x[11],@k[11]
210 add @x[12]=@x[12],@k[12] }
211 { .mmi; add @x[13]=@x[13],@k[13]
212 add @x[14]=@x[14],@k[14]
213 add @x[15]=@x[15],@k[15] }
214 { .mmi; add @k[12]=1,@k[12] // next counter
215 mov pr=@z[0],0x1ffff };;
217 //////////////////////////////////////////////////////////////////
218 // Each predicate bit corresponds to byte to be processed. Note
219 // that p0 is wired to 1, but it works out, because there always
220 // is at least one byte to process...
221 { .mmi; (p0) ld1 @z[0]=[$inp],1
222 shr.u @y[1]=@x[0],8 };;
223 { .mmi; (p1) ld1 @z[1]=[$inp],1
224 (p2) shr.u @y[2]=@x[0],16 };;
225 { .mmi; (p2) ld1 @z[2]=[$inp],1
226 (p0) xor @z[0]=@z[0],@x[0]
227 (p3) shr.u @y[3]=@x[0],24 };;
229 for(my $i0=0; $i0<60; $i0+=4) {
230 my ($i1, $i2, $i3, $i4, $i5, $i6, $i7) = map($i0+$_,(1..7));
234 { .mmi; (p$i3) ld1 @z[3]=[$inp],1
235 (p$i0) st1 [$out]=@z[0],1
236 (p$i1) xor @z[1]=@z[1],@y[1] };;
237 { .mmi; (p$i4) ld1 @z[0]=[$inp],1
238 (p$i5) shr.u @y[1]=@x[$k],8 }
239 { .mmi; (p$i1) st1 [$out]=@z[1],1
240 (p$i2) xor @z[2]=@z[2],@y[2]
241 (p1) mov @x[$k-1]=@k[$k-1] };;
242 { .mfi; (p$i5) ld1 @z[1]=[$inp],1
243 (p$i6) shr.u @y[2]=@x[$k],16 }
244 { .mfi; (p$i2) st1 [$out]=@z[2],1
245 (p$i3) xor @z[3]=@z[3],@y[3] };;
246 { .mfi; (p$i6) ld1 @z[2]=[$inp],1
247 (p$i7) shr.u @y[3]=@x[$k],24 }
249 $code.=<<___ if ($i0==0); # p1,p2 are available for reuse in first round
250 { .mmi; (p$i3) st1 [$out]=@z[3],1
251 (p$i4) xor @z[0]=@z[0],@x[$k]
252 cmp.ltu p1,p2=64,$len };;
254 $code.=<<___ if ($i0>0);
255 { .mfi; (p$i3) st1 [$out]=@z[3],1
256 (p$i4) xor @z[0]=@z[0],@x[$k] };;
260 { .mmi; (p63) ld1 @z[3]=[$inp],1
261 (p60) st1 [$out]=@z[0],1
262 (p61) xor @z[1]=@z[1],@y[1] };;
263 { .mmi; (p61) st1 [$out]=@z[1],1
264 (p62) xor @z[2]=@z[2],@y[2] };;
265 { .mmi; (p62) st1 [$out]=@z[2],1
266 (p63) xor @z[3]=@z[3],@y[3]
267 (p2) mov ar.lc=r3 };;
268 { .mib; (p63) st1 [$out]=@z[3],1
269 (p1) add $len=-64,$len
270 (p1) br.dptk.many .Loop_outer };;
272 { .mmi; mov @k[4]=0 // wipe key material
284 { .mib; mov pr=r14,0x1ffff
285 br.ret.sptk.many b0 };;
286 .endp ChaCha20_ctr32#
287 stringz "ChaCha20 for IA64, CRYPTOGAMS by \@dot-asm"