luna - wolfssl/wolfcrypt/src/port/arm/armv8-32-chacha-asm.S

   1/* armv8-32-chacha-asm
   2 *
   3 * Copyright (C) 2006-2026 wolfSSL Inc.
   4 *
   5 * This file is part of wolfSSL.
   6 *
   7 * wolfSSL is free software; you can redistribute it and/or modify
   8 * it under the terms of the GNU General Public License as published by
   9 * the Free Software Foundation; either version 3 of the License, or
  10 * (at your option) any later version.
  11 *
  12 * wolfSSL is distributed in the hope that it will be useful,
  13 * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 * GNU General Public License for more details.
  16 *
  17 * You should have received a copy of the GNU General Public License
  18 * along with this program; if not, write to the Free Software
  19 * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1335, USA
  20 */
  21
  22/* Generated using (from wolfssl):
  23 *   cd ../scripts
  24 *   ruby ./chacha/chacha.rb arm32 \
  25 *       ../wolfssl/wolfcrypt/src/port/arm/armv8-32-chacha-asm.S
  26 */
  27
  28#include <wolfssl/wolfcrypt/libwolfssl_sources_asm.h>
  29
  30#ifdef WOLFSSL_ARMASM
  31#if !defined(__aarch64__) && !defined(WOLFSSL_ARMASM_THUMB2)
  32#ifndef WOLFSSL_ARMASM_INLINE
  33#ifdef HAVE_CHACHA
  34	.text
  35	.align	4
  36	.globl	wc_chacha_setiv
  37	.type	wc_chacha_setiv, %function
  38wc_chacha_setiv:
  39	push	{r4, lr}
  40	add	r3, r0, #52
  41	ldr	r4, [r1]
  42	ldr	r12, [r1, #4]
  43	ldr	lr, [r1, #8]
  44	str	r2, [r0, #48]
  45#ifdef BIG_ENDIAN_ORDER
  46	rev	r4, r4
  47	rev	r12, r12
  48	rev	lr, lr
  49#endif /* BIG_ENDIAN_ORDER */
  50	stm	r3, {r4, r12, lr}
  51	pop	{r4, pc}
  52	.size	wc_chacha_setiv,.-wc_chacha_setiv
  53#ifdef WOLFSSL_ARMASM_NO_NEON
  54#ifndef __APPLE__
  55	.text
  56	.type	L_chacha_arm32_constants, %object
  57	.size	L_chacha_arm32_constants, 32
  58#else
  59	.section	__DATA,__data
  60#endif /* __APPLE__ */
  61	# 8-byte aligned, 64-bit aligned
  62#ifndef __APPLE__
  63	.align	3
  64#else
  65	.p2align	3
  66#endif /* __APPLE__ */
  67L_chacha_arm32_constants:
  68	.long	0x61707865,0x3120646e,0x79622d36,0x6b206574
  69	.long	0x61707865,0x3320646e,0x79622d32,0x6b206574
  70	.text
  71	.align	4
  72	.globl	wc_chacha_setkey
  73	.type	wc_chacha_setkey, %function
  74wc_chacha_setkey:
  75	push	{r4, r5, lr}
  76	adr	r3, L_chacha_arm32_constants
  77	subs	r2, r2, #16
  78	add	r3, r3, r2
  79	# Start state with constants
  80	ldm	r3, {r4, r5, r12, lr}
  81	stm	r0!, {r4, r5, r12, lr}
  82	# Next is first 16 bytes of key.
  83	ldr	r4, [r1]
  84	ldr	r5, [r1, #4]
  85	ldr	r12, [r1, #8]
  86	ldr	lr, [r1, #12]
  87#ifdef BIG_ENDIAN_ORDER
  88	rev	r4, r4
  89	rev	r5, r5
  90	rev	r12, r12
  91	rev	lr, lr
  92#endif /* BIG_ENDIAN_ORDER */
  93	stm	r0!, {r4, r5, r12, lr}
  94	# Next 16 bytes of key.
  95	beq	L_chacha_arm32_setkey_same_key_bytes
  96	# Update key pointer for next 16 bytes.
  97	add	r1, r1, r2
  98	ldr	r4, [r1]
  99	ldr	r5, [r1, #4]
 100	ldr	r12, [r1, #8]
 101	ldr	lr, [r1, #12]
 102L_chacha_arm32_setkey_same_key_bytes:
 103	stm	r0, {r4, r5, r12, lr}
 104	pop	{r4, r5, pc}
 105	.size	wc_chacha_setkey,.-wc_chacha_setkey
 106	.text
 107	.align	4
 108	.globl	wc_chacha_crypt_bytes
 109	.type	wc_chacha_crypt_bytes, %function
 110wc_chacha_crypt_bytes:
 111	push	{r4, r5, r6, r7, r8, r9, r10, r11, lr}
 112	sub	sp, sp, #52
 113	mov	lr, r0
 114#if defined(WOLFSSL_ARM_ARCH) && (WOLFSSL_ARM_ARCH < 7)
 115	str	r0, [sp, #32]
 116	str	r1, [sp, #36]
 117#else
 118	strd	r0, r1, [sp, #32]
 119#endif
 120#if defined(WOLFSSL_ARM_ARCH) && (WOLFSSL_ARM_ARCH < 7)
 121	str	r2, [sp, #40]
 122	str	r3, [sp, #44]
 123#else
 124	strd	r2, r3, [sp, #40]
 125#endif
 126L_chacha_arm32_crypt_block:
 127	# Put x[12]..x[15] onto stack.
 128#if defined(WOLFSSL_ARM_ARCH) && (WOLFSSL_ARM_ARCH < 7)
 129	ldr	r4, [lr, #48]
 130	ldr	r5, [lr, #52]
 131#else
 132	ldrd	r4, r5, [lr, #48]
 133#endif
 134#if defined(WOLFSSL_ARM_ARCH) && (WOLFSSL_ARM_ARCH < 7)
 135	ldr	r6, [lr, #56]
 136	ldr	r7, [lr, #60]
 137#else
 138	ldrd	r6, r7, [lr, #56]
 139#endif
 140#if defined(WOLFSSL_ARM_ARCH) && (WOLFSSL_ARM_ARCH < 7)
 141	str	r4, [sp, #16]
 142	str	r5, [sp, #20]
 143#else
 144	strd	r4, r5, [sp, #16]
 145#endif
 146#if defined(WOLFSSL_ARM_ARCH) && (WOLFSSL_ARM_ARCH < 7)
 147	str	r6, [sp, #24]
 148	str	r7, [sp, #28]
 149#else
 150	strd	r6, r7, [sp, #24]
 151#endif
 152	# Load x[0]..x[12] into registers.
 153	ldm	lr, {r0, r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, r12}
 154	# 10x 2 full rounds to perform.
 155	mov	lr, #10
 156	str	lr, [sp, #48]
 157L_chacha_arm32_crypt_loop:
 158	# 0, 4,  8, 12
 159	# 1, 5,  9, 13
 160	ldr	lr, [sp, #20]
 161	add	r0, r0, r4
 162	add	r1, r1, r5
 163	eor	r12, r12, r0
 164	eor	lr, lr, r1
 165	ror	r12, r12, #16
 166	ror	lr, lr, #16
 167	add	r8, r8, r12
 168	add	r9, r9, lr
 169	eor	r4, r4, r8
 170	eor	r5, r5, r9
 171	ror	r4, r4, #20
 172	ror	r5, r5, #20
 173	add	r0, r0, r4
 174	add	r1, r1, r5
 175	eor	r12, r12, r0
 176	eor	lr, lr, r1
 177	ror	r12, r12, #24
 178	ror	lr, lr, #24
 179	add	r8, r8, r12
 180	add	r9, r9, lr
 181	eor	r4, r4, r8
 182	eor	r5, r5, r9
 183	ror	r4, r4, #25
 184	ror	r5, r5, #25
 185	str	r12, [sp, #16]
 186	str	lr, [sp, #20]
 187	# 2, 6, 10, 14
 188	# 3, 7, 11, 15
 189	ldr	r12, [sp, #24]
 190	ldr	lr, [sp, #28]
 191	add	r2, r2, r6
 192	add	r3, r3, r7
 193	eor	r12, r12, r2
 194	eor	lr, lr, r3
 195	ror	r12, r12, #16
 196	ror	lr, lr, #16
 197	add	r10, r10, r12
 198	add	r11, r11, lr
 199	eor	r6, r6, r10
 200	eor	r7, r7, r11
 201	ror	r6, r6, #20
 202	ror	r7, r7, #20
 203	add	r2, r2, r6
 204	add	r3, r3, r7
 205	eor	r12, r12, r2
 206	eor	lr, lr, r3
 207	ror	r12, r12, #24
 208	ror	lr, lr, #24
 209	add	r10, r10, r12
 210	add	r11, r11, lr
 211	eor	r6, r6, r10
 212	eor	r7, r7, r11
 213	ror	r6, r6, #25
 214	ror	r7, r7, #25
 215	# 3, 4,  9, 14
 216	# 0, 5, 10, 15
 217	add	r3, r3, r4
 218	add	r0, r0, r5
 219	eor	r12, r12, r3
 220	eor	lr, lr, r0
 221	ror	r12, r12, #16
 222	ror	lr, lr, #16
 223	add	r9, r9, r12
 224	add	r10, r10, lr
 225	eor	r4, r4, r9
 226	eor	r5, r5, r10
 227	ror	r4, r4, #20
 228	ror	r5, r5, #20
 229	add	r3, r3, r4
 230	add	r0, r0, r5
 231	eor	r12, r12, r3
 232	eor	lr, lr, r0
 233	ror	r12, r12, #24
 234	ror	lr, lr, #24
 235	add	r9, r9, r12
 236	add	r10, r10, lr
 237	eor	r4, r4, r9
 238	eor	r5, r5, r10
 239	ror	r4, r4, #25
 240	ror	r5, r5, #25
 241	str	r12, [sp, #24]
 242	str	lr, [sp, #28]
 243	ldr	r12, [sp, #16]
 244	ldr	lr, [sp, #20]
 245	# 1, 6, 11, 12
 246	# 2, 7,  8, 13
 247	add	r1, r1, r6
 248	add	r2, r2, r7
 249	eor	r12, r12, r1
 250	eor	lr, lr, r2
 251	ror	r12, r12, #16
 252	ror	lr, lr, #16
 253	add	r11, r11, r12
 254	add	r8, r8, lr
 255	eor	r6, r6, r11
 256	eor	r7, r7, r8
 257	ror	r6, r6, #20
 258	ror	r7, r7, #20
 259	add	r1, r1, r6
 260	add	r2, r2, r7
 261	eor	r12, r12, r1
 262	eor	lr, lr, r2
 263	ror	r12, r12, #24
 264	ror	lr, lr, #24
 265	add	r11, r11, r12
 266	add	r8, r8, lr
 267	eor	r6, r6, r11
 268	eor	r7, r7, r8
 269	ror	r6, r6, #25
 270	ror	r7, r7, #25
 271	str	lr, [sp, #20]
 272	# Check if we have done enough rounds.
 273	ldr	lr, [sp, #48]
 274	subs	lr, lr, #1
 275	str	lr, [sp, #48]
 276	bgt	L_chacha_arm32_crypt_loop
 277	stm	sp, {r8, r9, r10, r11, r12}
 278	ldr	lr, [sp, #32]
 279	mov	r12, sp
 280	# Add in original state
 281	ldm	lr!, {r8, r9, r10, r11}
 282	add	r0, r0, r8
 283	add	r1, r1, r9
 284	add	r2, r2, r10
 285	add	r3, r3, r11
 286	ldm	lr!, {r8, r9, r10, r11}
 287	add	r4, r4, r8
 288	add	r5, r5, r9
 289	add	r6, r6, r10
 290	add	r7, r7, r11
 291	ldm	r12, {r8, r9}
 292	ldm	lr!, {r10, r11}
 293	add	r8, r8, r10
 294	add	r9, r9, r11
 295	stm	r12!, {r8, r9}
 296	ldm	r12, {r8, r9}
 297	ldm	lr!, {r10, r11}
 298	add	r8, r8, r10
 299	add	r9, r9, r11
 300	stm	r12!, {r8, r9}
 301	ldm	r12, {r8, r9}
 302	ldm	lr!, {r10, r11}
 303	add	r8, r8, r10
 304	add	r9, r9, r11
 305	add	r10, r10, #1
 306	stm	r12!, {r8, r9}
 307	str	r10, [lr, #-8]
 308	ldm	r12, {r8, r9}
 309	ldm	lr, {r10, r11}
 310	add	r8, r8, r10
 311	add	r9, r9, r11
 312	stm	r12, {r8, r9}
 313	ldr	r12, [sp, #44]
 314	cmp	r12, #0x40
 315	blt	L_chacha_arm32_crypt_lt_block
 316	ldr	r12, [sp, #40]
 317	ldr	lr, [sp, #36]
 318	# XOR state into 64 bytes.
 319	ldr	r8, [r12]
 320	ldr	r9, [r12, #4]
 321	ldr	r10, [r12, #8]
 322	ldr	r11, [r12, #12]
 323	eor	r0, r0, r8
 324	eor	r1, r1, r9
 325	eor	r2, r2, r10
 326	eor	r3, r3, r11
 327	str	r0, [lr]
 328	str	r1, [lr, #4]
 329	str	r2, [lr, #8]
 330	str	r3, [lr, #12]
 331	ldr	r8, [r12, #16]
 332	ldr	r9, [r12, #20]
 333	ldr	r10, [r12, #24]
 334	ldr	r11, [r12, #28]
 335	eor	r4, r4, r8
 336	eor	r5, r5, r9
 337	eor	r6, r6, r10
 338	eor	r7, r7, r11
 339	str	r4, [lr, #16]
 340	str	r5, [lr, #20]
 341	str	r6, [lr, #24]
 342	str	r7, [lr, #28]
 343	ldr	r4, [sp]
 344	ldr	r5, [sp, #4]
 345	ldr	r6, [sp, #8]
 346	ldr	r7, [sp, #12]
 347	ldr	r8, [r12, #32]
 348	ldr	r9, [r12, #36]
 349	ldr	r10, [r12, #40]
 350	ldr	r11, [r12, #44]
 351	eor	r4, r4, r8
 352	eor	r5, r5, r9
 353	eor	r6, r6, r10
 354	eor	r7, r7, r11
 355	str	r4, [lr, #32]
 356	str	r5, [lr, #36]
 357	str	r6, [lr, #40]
 358	str	r7, [lr, #44]
 359	ldr	r4, [sp, #16]
 360	ldr	r5, [sp, #20]
 361	ldr	r6, [sp, #24]
 362	ldr	r7, [sp, #28]
 363	ldr	r8, [r12, #48]
 364	ldr	r9, [r12, #52]
 365	ldr	r10, [r12, #56]
 366	ldr	r11, [r12, #60]
 367	eor	r4, r4, r8
 368	eor	r5, r5, r9
 369	eor	r6, r6, r10
 370	eor	r7, r7, r11
 371	str	r4, [lr, #48]
 372	str	r5, [lr, #52]
 373	str	r6, [lr, #56]
 374	str	r7, [lr, #60]
 375	ldr	r3, [sp, #44]
 376	add	r12, r12, #0x40
 377	add	lr, lr, #0x40
 378	str	r12, [sp, #40]
 379	str	lr, [sp, #36]
 380	subs	r3, r3, #0x40
 381	ldr	lr, [sp, #32]
 382	str	r3, [sp, #44]
 383	bne	L_chacha_arm32_crypt_block
 384	b	L_chacha_arm32_crypt_done
 385L_chacha_arm32_crypt_lt_block:
 386	# Store in over field of ChaCha.
 387	ldr	lr, [sp, #32]
 388	add	r12, lr, #0x44
 389	stm	r12!, {r0, r1, r2, r3, r4, r5, r6, r7}
 390	ldm	sp, {r0, r1, r2, r3, r4, r5, r6, r7}
 391	stm	r12, {r0, r1, r2, r3, r4, r5, r6, r7}
 392#if defined(WOLFSSL_ARM_ARCH) && (WOLFSSL_ARM_ARCH < 7)
 393	ldr	r2, [sp, #40]
 394	ldr	r3, [sp, #44]
 395#else
 396	ldrd	r2, r3, [sp, #40]
 397#endif
 398	ldr	r1, [sp, #36]
 399	rsb	r12, r3, #0x40
 400	str	r12, [lr, #64]
 401	add	lr, lr, #0x44
 402L_chacha_arm32_crypt_16byte_loop:
 403	cmp	r3, #16
 404	blt	L_chacha_arm32_crypt_word_loop
 405	# 16 bytes of state XORed into message.
 406	ldm	lr!, {r4, r5, r6, r7}
 407	ldr	r8, [r2]
 408	ldr	r9, [r2, #4]
 409	ldr	r10, [r2, #8]
 410	ldr	r11, [r2, #12]
 411	eor	r8, r8, r4
 412	eor	r9, r9, r5
 413	eor	r10, r10, r6
 414	eor	r11, r11, r7
 415	subs	r3, r3, #16
 416	str	r8, [r1]
 417	str	r9, [r1, #4]
 418	str	r10, [r1, #8]
 419	str	r11, [r1, #12]
 420	beq	L_chacha_arm32_crypt_done
 421	add	r2, r2, #16
 422	add	r1, r1, #16
 423	b	L_chacha_arm32_crypt_16byte_loop
 424L_chacha_arm32_crypt_word_loop:
 425	cmp	r3, #4
 426	blt	L_chacha_arm32_crypt_byte_start
 427	# 4 bytes of state XORed into message.
 428	ldr	r4, [lr]
 429	ldr	r8, [r2]
 430	eor	r8, r8, r4
 431	subs	r3, r3, #4
 432	str	r8, [r1]
 433	beq	L_chacha_arm32_crypt_done
 434	add	lr, lr, #4
 435	add	r2, r2, #4
 436	add	r1, r1, #4
 437	b	L_chacha_arm32_crypt_word_loop
 438L_chacha_arm32_crypt_byte_start:
 439	ldr	r4, [lr]
 440L_chacha_arm32_crypt_byte_loop:
 441	ldrb	r8, [r2]
 442	eor	r8, r8, r4
 443	subs	r3, r3, #1
 444	strb	r8, [r1]
 445	beq	L_chacha_arm32_crypt_done
 446	lsr	r4, r4, #8
 447	add	r2, r2, #1
 448	add	r1, r1, #1
 449	b	L_chacha_arm32_crypt_byte_loop
 450L_chacha_arm32_crypt_done:
 451	add	sp, sp, #52
 452	pop	{r4, r5, r6, r7, r8, r9, r10, r11, pc}
 453	.size	wc_chacha_crypt_bytes,.-wc_chacha_crypt_bytes
 454	.text
 455	.align	4
 456	.globl	wc_chacha_use_over
 457	.type	wc_chacha_use_over, %function
 458wc_chacha_use_over:
 459	push	{r4, r5, r6, r7, r8, r9, lr}
 460L_chacha_arm32_over_16byte_loop:
 461	cmp	r3, #16
 462	blt	L_chacha_arm32_over_word_loop
 463	# 16 bytes of state XORed into message.
 464	ldr	r12, [r0]
 465	ldr	lr, [r0, #4]
 466	ldr	r4, [r0, #8]
 467	ldr	r5, [r0, #12]
 468	ldr	r6, [r2]
 469	ldr	r7, [r2, #4]
 470	ldr	r8, [r2, #8]
 471	ldr	r9, [r2, #12]
 472	eor	r12, r12, r6
 473	eor	lr, lr, r7
 474	eor	r4, r4, r8
 475	eor	r5, r5, r9
 476	subs	r3, r3, #16
 477	str	r12, [r1]
 478	str	lr, [r1, #4]
 479	str	r4, [r1, #8]
 480	str	r5, [r1, #12]
 481	beq	L_chacha_arm32_over_done
 482	add	r0, r0, #16
 483	add	r2, r2, #16
 484	add	r1, r1, #16
 485	b	L_chacha_arm32_over_16byte_loop
 486L_chacha_arm32_over_word_loop:
 487	cmp	r3, #4
 488	blt	L_chacha_arm32_over_byte_loop
 489	# 4 bytes of state XORed into message.
 490	ldr	r12, [r0]
 491	ldr	r6, [r2]
 492	eor	r12, r12, r6
 493	subs	r3, r3, #4
 494	str	r12, [r1]
 495	beq	L_chacha_arm32_over_done
 496	add	r0, r0, #4
 497	add	r2, r2, #4
 498	add	r1, r1, #4
 499	b	L_chacha_arm32_over_word_loop
 500L_chacha_arm32_over_byte_loop:
 501	# 4 bytes of state XORed into message.
 502	ldrb	r12, [r0]
 503	ldrb	r6, [r2]
 504	eor	r12, r12, r6
 505	subs	r3, r3, #1
 506	strb	r12, [r1]
 507	beq	L_chacha_arm32_over_done
 508	add	r0, r0, #1
 509	add	r2, r2, #1
 510	add	r1, r1, #1
 511	b	L_chacha_arm32_over_byte_loop
 512L_chacha_arm32_over_done:
 513	pop	{r4, r5, r6, r7, r8, r9, pc}
 514	.size	wc_chacha_use_over,.-wc_chacha_use_over
 515#endif /* WOLFSSL_ARMASM_NO_NEON */
 516#ifndef WOLFSSL_ARMASM_NO_NEON
 517	.text
 518	.align	4
 519	.globl	wc_chacha_crypt_bytes
 520	.type	wc_chacha_crypt_bytes, %function
 521wc_chacha_crypt_bytes:
 522	push	{r4, r5, r6, r7, r8, r9, r10, r11, lr}
 523	vpush	{d8-d15}
 524	sub	sp, sp, #44
 525	# Load state to encrypt
 526	vldm.32	r0, {q12-q15}
 527	cmp	r3, #0x100
 528	blt	L_chacha_crypt_bytes_arm32_lt_256
 529	str	r0, [sp, #28]
 530L_chacha_crypt_bytes_arm32_start_256:
 531	str	r2, [sp, #32]
 532	str	r1, [sp, #36]
 533	str	r3, [sp, #40]
 534	# Move state into regular register
 535	vmov	r1, r3, d29
 536	vmov	r8, r9, d28
 537	stm	sp, {r1, r3}
 538	vmov	r12, lr, d31
 539	vmov	r10, r11, d30
 540	str	lr, [sp, #8]
 541	vmov	r0, r2, d24
 542	vmov	r1, r3, d25
 543	vmov	r4, r5, d26
 544	vmov	r6, r7, d27
 545	# Move state into vector registers
 546	vmov	q0, q12
 547	vmov	q1, q13
 548	add	lr, r10, #1
 549	vmov	q2, q14
 550	vmov	q3, q15
 551	vmov	d6[0], lr
 552	vmov	q4, q12
 553	vmov	q5, q13
 554	add	lr, r10, #2
 555	vmov	q6, q14
 556	vmov	q7, q15
 557	vmov	d14[0], lr
 558	add	r10, r10, #3
 559	# Set number of odd+even rounds to perform
 560	mov	lr, #10
 561L_chacha_crypt_bytes_arm32_round_start_256:
 562	subs	lr, lr, #1
 563	# Round odd
 564	# a += b; d ^= a; d <<<= 16;
 565	add	r0, r0, r4
 566	vadd.i32	q12, q12, q13
 567	add	r2, r2, r5
 568	vadd.i32	q0, q0, q1
 569	eor	r10, r10, r0
 570	vadd.i32	q4, q4, q5
 571	eor	r11, r11, r2
 572	veor	q15, q15, q12
 573	ror	r10, r10, #16
 574	veor	q3, q3, q0
 575	ror	r11, r11, #16
 576	veor	q7, q7, q4
 577	add	r8, r8, r10
 578	vrev32.16	q15, q15
 579	add	r9, r9, r11
 580	vrev32.16	q3, q3
 581	eor	r4, r4, r8
 582	vrev32.16	q7, q7
 583	eor	r5, r5, r9
 584	# c += d; b ^= c; b <<<= 12;
 585	vadd.i32	q14, q14, q15
 586	ror	r4, r4, #20
 587	vadd.i32	q2, q2, q3
 588	ror	r5, r5, #20
 589	vadd.i32	q6, q6, q7
 590	add	r0, r0, r4
 591	veor	q8, q13, q14
 592	add	r2, r2, r5
 593	veor	q9, q1, q2
 594	eor	r10, r10, r0
 595	veor	q10, q5, q6
 596	eor	r11, r11, r2
 597	vshl.i32	q13, q8, #12
 598	ror	r10, r10, #24
 599	vshl.i32	q1, q9, #12
 600	ror	r11, r11, #24
 601	vshl.i32	q5, q10, #12
 602	add	r8, r8, r10
 603	vsri.i32	q13, q8, #20
 604	add	r9, r9, r11
 605	vsri.i32	q1, q9, #20
 606	eor	r4, r4, r8
 607	vsri.i32	q5, q10, #20
 608	str	r11, [sp, #20]
 609	# a += b; d ^= a; d <<<= 8;
 610	vadd.i32	q12, q12, q13
 611	eor	r5, r5, r9
 612	vadd.i32	q0, q0, q1
 613	ldr	r11, [sp, #8]
 614	vadd.i32	q4, q4, q5
 615	ror	r4, r4, #25
 616	veor	q8, q15, q12
 617	ror	r5, r5, #25
 618	veor	q9, q3, q0
 619	add	r1, r1, r6
 620	veor	q10, q7, q4
 621	str	r8, [sp, #12]
 622	vshl.i32	q15, q8, #8
 623	add	r3, r3, r7
 624	vshl.i32	q3, q9, #8
 625	ldr	r8, [sp]
 626	vshl.i32	q7, q10, #8
 627	eor	r12, r12, r1
 628	vsri.i32	q15, q8, #24
 629	str	r9, [sp, #16]
 630	vsri.i32	q3, q9, #24
 631	eor	r11, r11, r3
 632	vsri.i32	q7, q10, #24
 633	ldr	r9, [sp, #4]
 634	# c += d; b ^= c; b <<<= 7;
 635	vadd.i32	q14, q14, q15
 636	ror	r12, r12, #16
 637	vadd.i32	q2, q2, q3
 638	ror	r11, r11, #16
 639	vadd.i32	q6, q6, q7
 640	add	r8, r8, r12
 641	veor	q8, q13, q14
 642	add	r9, r9, r11
 643	veor	q9, q1, q2
 644	eor	r6, r6, r8
 645	veor	q10, q5, q6
 646	eor	r7, r7, r9
 647	vshl.i32	q13, q8, #7
 648	ror	r6, r6, #20
 649	vshl.i32	q1, q9, #7
 650	ror	r7, r7, #20
 651	vshl.i32	q5, q10, #7
 652	add	r1, r1, r6
 653	vsri.i32	q13, q8, #25
 654	add	r3, r3, r7
 655	vsri.i32	q1, q9, #25
 656	eor	r12, r12, r1
 657	vsri.i32	q5, q10, #25
 658	eor	r11, r11, r3
 659	vext.8	q15, q15, q15, #12
 660	ror	r12, r12, #24
 661	vext.8	q3, q3, q3, #12
 662	ror	r11, r11, #24
 663	vext.8	q7, q7, q7, #12
 664	add	r8, r8, r12
 665	vext.8	q13, q13, q13, #4
 666	add	r9, r9, r11
 667	vext.8	q1, q1, q1, #4
 668	eor	r6, r6, r8
 669	vext.8	q5, q5, q5, #4
 670	eor	r7, r7, r9
 671	vext.8	q14, q14, q14, #8
 672	ror	r6, r6, #25
 673	vext.8	q2, q2, q2, #8
 674	ror	r7, r7, #25
 675	vext.8	q6, q6, q6, #8
 676	# Round even
 677	# a += b; d ^= a; d <<<= 16;
 678	add	r0, r0, r5
 679	vadd.i32	q12, q12, q13
 680	add	r2, r2, r6
 681	vadd.i32	q0, q0, q1
 682	eor	r11, r11, r0
 683	vadd.i32	q4, q4, q5
 684	eor	r10, r10, r2
 685	veor	q15, q15, q12
 686	ror	r11, r11, #16
 687	veor	q3, q3, q0
 688	ror	r10, r10, #16
 689	veor	q7, q7, q4
 690	add	r8, r8, r11
 691	vrev32.16	q15, q15
 692	add	r9, r9, r10
 693	vrev32.16	q3, q3
 694	eor	r5, r5, r8
 695	vrev32.16	q7, q7
 696	eor	r6, r6, r9
 697	# c += d; b ^= c; b <<<= 12;
 698	vadd.i32	q14, q14, q15
 699	ror	r5, r5, #20
 700	vadd.i32	q2, q2, q3
 701	ror	r6, r6, #20
 702	vadd.i32	q6, q6, q7
 703	add	r0, r0, r5
 704	veor	q8, q13, q14
 705	add	r2, r2, r6
 706	veor	q9, q1, q2
 707	eor	r11, r11, r0
 708	veor	q10, q5, q6
 709	eor	r10, r10, r2
 710	vshl.i32	q13, q8, #12
 711	ror	r11, r11, #24
 712	vshl.i32	q1, q9, #12
 713	ror	r10, r10, #24
 714	vshl.i32	q5, q10, #12
 715	add	r8, r8, r11
 716	vsri.i32	q13, q8, #20
 717	add	r9, r9, r10
 718	vsri.i32	q1, q9, #20
 719	eor	r5, r5, r8
 720	vsri.i32	q5, q10, #20
 721	eor	r6, r6, r9
 722	str	r11, [sp, #8]
 723	# a += b; d ^= a; d <<<= 8;
 724	vadd.i32	q12, q12, q13
 725	vadd.i32	q0, q0, q1
 726	ldr	r11, [sp, #20]
 727	vadd.i32	q4, q4, q5
 728	ror	r5, r5, #25
 729	veor	q8, q15, q12
 730	ror	r6, r6, #25
 731	veor	q9, q3, q0
 732	add	r1, r1, r7
 733	veor	q10, q7, q4
 734	str	r8, [sp]
 735	vshl.i32	q15, q8, #8
 736	add	r3, r3, r4
 737	vshl.i32	q3, q9, #8
 738	ldr	r8, [sp, #12]
 739	vshl.i32	q7, q10, #8
 740	eor	r11, r11, r1
 741	vsri.i32	q15, q8, #24
 742	str	r9, [sp, #4]
 743	vsri.i32	q3, q9, #24
 744	eor	r12, r12, r3
 745	vsri.i32	q7, q10, #24
 746	ldr	r9, [sp, #16]
 747	# c += d; b ^= c; b <<<= 7;
 748	vadd.i32	q14, q14, q15
 749	ror	r11, r11, #16
 750	vadd.i32	q2, q2, q3
 751	ror	r12, r12, #16
 752	vadd.i32	q6, q6, q7
 753	add	r8, r8, r11
 754	veor	q8, q13, q14
 755	add	r9, r9, r12
 756	veor	q9, q1, q2
 757	eor	r7, r7, r8
 758	veor	q10, q5, q6
 759	eor	r4, r4, r9
 760	vshl.i32	q13, q8, #7
 761	ror	r7, r7, #20
 762	vshl.i32	q1, q9, #7
 763	ror	r4, r4, #20
 764	vshl.i32	q5, q10, #7
 765	add	r1, r1, r7
 766	vsri.i32	q13, q8, #25
 767	add	r3, r3, r4
 768	vsri.i32	q1, q9, #25
 769	eor	r11, r11, r1
 770	vsri.i32	q5, q10, #25
 771	eor	r12, r12, r3
 772	vext.8	q15, q15, q15, #4
 773	ror	r11, r11, #24
 774	vext.8	q3, q3, q3, #4
 775	ror	r12, r12, #24
 776	vext.8	q7, q7, q7, #4
 777	add	r8, r8, r11
 778	vext.8	q13, q13, q13, #12
 779	add	r9, r9, r12
 780	vext.8	q1, q1, q1, #12
 781	eor	r7, r7, r8
 782	vext.8	q5, q5, q5, #12
 783	eor	r4, r4, r9
 784	vext.8	q14, q14, q14, #8
 785	ror	r7, r7, #25
 786	vext.8	q2, q2, q2, #8
 787	ror	r4, r4, #25
 788	vext.8	q6, q6, q6, #8
 789	bne	L_chacha_crypt_bytes_arm32_round_start_256
 790	str	r3, [sp, #24]
 791	# Add back state
 792	ldr	lr, [sp, #28]
 793	vldm	lr, {q8-q11}
 794	ldr	lr, [lr, #48]
 795	vadd.i32	q12, q12, q8
 796	vadd.i32	q13, q13, q9
 797	vadd.i32	q14, q14, q10
 798	vadd.i32	q15, q15, q11
 799	add	lr, lr, #1
 800	vadd.i32	q0, q0, q8
 801	vadd.i32	q1, q1, q9
 802	vmov	d22[0], lr
 803	vadd.i32	q2, q2, q10
 804	vadd.i32	q3, q3, q11
 805	add	lr, lr, #1
 806	vadd.i32	q4, q4, q8
 807	vadd.i32	q5, q5, q9
 808	vmov	d22[0], lr
 809	vadd.i32	q6, q6, q10
 810	vadd.i32	q7, q7, q11
 811	ldr	lr, [sp, #28]
 812	# Load and XOR in message
 813	ldr	lr, [sp, #32]
 814	ldr	r3, [sp, #36]
 815	vld1.8	{q8-q9}, [lr]!
 816	vld1.8	{q10-q11}, [lr]!
 817	veor	q12, q12, q8
 818	veor	q13, q13, q9
 819	veor	q14, q14, q10
 820	veor	q15, q15, q11
 821	vst1.8	{q12-q13}, [r3]!
 822	vst1.8	{q14-q15}, [r3]!
 823	vld1.8	{q8-q9}, [lr]!
 824	vld1.8	{q10-q11}, [lr]!
 825	veor	q0, q0, q8
 826	veor	q1, q1, q9
 827	veor	q2, q2, q10
 828	veor	q3, q3, q11
 829	vst1.8	{q0-q1}, [r3]!
 830	vst1.8	{q2-q3}, [r3]!
 831	vld1.8	{q8-q9}, [lr]!
 832	vld1.8	{q10-q11}, [lr]!
 833	veor	q4, q4, q8
 834	veor	q5, q5, q9
 835	veor	q6, q6, q10
 836	veor	q7, q7, q11
 837	vst1.8	{q4-q5}, [r3]!
 838	vst1.8	{q6-q7}, [r3]!
 839	str	r3, [sp, #36]
 840	ldr	r3, [sp, #24]
 841	add	r10, r10, #3
 842	vmov	d0, r0, r2
 843	mov	r2, lr
 844	vmov	d1, r1, r3
 845	ldr	r1, [sp]
 846	vmov	d2, r4, r5
 847	ldr	r3, [sp, #4]
 848	vmov	d3, r6, r7
 849	ldr	lr, [sp, #8]
 850	vmov	d4, r8, r9
 851	vmov	d5, r1, r3
 852	ldr	r0, [sp, #28]
 853	vmov	d6, r10, r11
 854	ldr	r1, [sp, #36]
 855	vmov	d7, r12, lr
 856	ldr	r3, [sp, #40]
 857	vldm	r0, {q12-q15}
 858	vld1.8	{q4-q5}, [r2]!
 859	vld1.8	{q6-q7}, [r2]!
 860	vadd.i32	q0, q0, q12
 861	vadd.i32	q1, q1, q13
 862	vadd.i32	q2, q2, q14
 863	vadd.i32	q3, q3, q15
 864	ldr	lr, [r0, #48]
 865	veor	q0, q0, q4
 866	veor	q1, q1, q5
 867	add	lr, lr, #4
 868	veor	q2, q2, q6
 869	veor	q3, q3, q7
 870	vst1.8	{q0-q1}, [r1]!
 871	vst1.8	{q2-q3}, [r1]!
 872	vmov	d30[0], lr
 873	str	lr, [r0, #48]
 874	sub	r3, r3, #0x100
 875	# Done 256-byte block
 876	cmp	r3, #0x100
 877	bge	L_chacha_crypt_bytes_arm32_start_256
 878L_chacha_crypt_bytes_arm32_lt_256:
 879	cmp	r3, #0x80
 880	blt	L_chacha_crypt_bytes_arm32_lt_128
 881	# Move state into vector registers
 882	veor	q8, q8, q8
 883	mov	r12, #1
 884	vmov	q4, q12
 885	vmov	q5, q13
 886	vmov	q6, q14
 887	vmov	q7, q15
 888	vmov	q0, q12
 889	vmov	q1, q13
 890	vmov	q2, q14
 891	vmov	q3, q15
 892	# Add counter word
 893	vmov.i32	d16[0], r12
 894	vadd.i32	q7, q7, q8
 895	# Set number of odd+even rounds to perform
 896	mov	lr, #10
 897L_chacha_crypt_bytes_arm32_round_start_128:
 898	subs	lr, lr, #1
 899	# Round odd
 900	# a += b; d ^= a; d <<<= 16;
 901	vadd.i32	q0, q0, q1
 902	vadd.i32	q4, q4, q5
 903	veor	q3, q3, q0
 904	veor	q7, q7, q4
 905	vrev32.16	q3, q3
 906	vrev32.16	q7, q7
 907	# c += d; b ^= c; b <<<= 12;
 908	vadd.i32	q2, q2, q3
 909	vadd.i32	q6, q6, q7
 910	veor	q8, q1, q2
 911	veor	q9, q5, q6
 912	vshl.i32	q1, q8, #12
 913	vshl.i32	q5, q9, #12
 914	vsri.i32	q1, q8, #20
 915	vsri.i32	q5, q9, #20
 916	# a += b; d ^= a; d <<<= 8;
 917	vadd.i32	q0, q0, q1
 918	vadd.i32	q4, q4, q5
 919	veor	q8, q3, q0
 920	veor	q9, q7, q4
 921	vshl.i32	q3, q8, #8
 922	vshl.i32	q7, q9, #8
 923	vsri.i32	q3, q8, #24
 924	vsri.i32	q7, q9, #24
 925	# c += d; b ^= c; b <<<= 7;
 926	vadd.i32	q2, q2, q3
 927	vadd.i32	q6, q6, q7
 928	veor	q8, q1, q2
 929	veor	q9, q5, q6
 930	vshl.i32	q1, q8, #7
 931	vshl.i32	q5, q9, #7
 932	vsri.i32	q1, q8, #25
 933	vsri.i32	q5, q9, #25
 934	vext.8	q3, q3, q3, #12
 935	vext.8	q7, q7, q7, #12
 936	vext.8	q1, q1, q1, #4
 937	vext.8	q5, q5, q5, #4
 938	vext.8	q2, q2, q2, #8
 939	vext.8	q6, q6, q6, #8
 940	# Round even
 941	# a += b; d ^= a; d <<<= 16;
 942	vadd.i32	q0, q0, q1
 943	vadd.i32	q4, q4, q5
 944	veor	q3, q3, q0
 945	veor	q7, q7, q4
 946	vrev32.16	q3, q3
 947	vrev32.16	q7, q7
 948	# c += d; b ^= c; b <<<= 12;
 949	vadd.i32	q2, q2, q3
 950	vadd.i32	q6, q6, q7
 951	veor	q8, q1, q2
 952	veor	q9, q5, q6
 953	vshl.i32	q1, q8, #12
 954	vshl.i32	q5, q9, #12
 955	vsri.i32	q1, q8, #20
 956	vsri.i32	q5, q9, #20
 957	# a += b; d ^= a; d <<<= 8;
 958	vadd.i32	q0, q0, q1
 959	vadd.i32	q4, q4, q5
 960	veor	q8, q3, q0
 961	veor	q9, q7, q4
 962	vshl.i32	q3, q8, #8
 963	vshl.i32	q7, q9, #8
 964	vsri.i32	q3, q8, #24
 965	vsri.i32	q7, q9, #24
 966	# c += d; b ^= c; b <<<= 7;
 967	vadd.i32	q2, q2, q3
 968	vadd.i32	q6, q6, q7
 969	veor	q8, q1, q2
 970	veor	q9, q5, q6
 971	vshl.i32	q1, q8, #7
 972	vshl.i32	q5, q9, #7
 973	vsri.i32	q1, q8, #25
 974	vsri.i32	q5, q9, #25
 975	vext.8	q3, q3, q3, #4
 976	vext.8	q7, q7, q7, #4
 977	vext.8	q1, q1, q1, #12
 978	vext.8	q5, q5, q5, #12
 979	vext.8	q2, q2, q2, #8
 980	vext.8	q6, q6, q6, #8
 981	bne	L_chacha_crypt_bytes_arm32_round_start_128
 982	# Add back state, XOR in message and store (load next block)
 983	vld1.8	{q8-q9}, [r2]!
 984	vld1.8	{q10-q11}, [r2]!
 985	vadd.i32	q0, q0, q12
 986	vadd.i32	q1, q1, q13
 987	vadd.i32	q2, q2, q14
 988	vadd.i32	q3, q3, q15
 989	veor	q0, q0, q8
 990	veor	q1, q1, q9
 991	veor	q2, q2, q10
 992	veor	q3, q3, q11
 993	vld1.8	{q8-q9}, [r2]!
 994	vld1.8	{q10-q11}, [r2]!
 995	vst1.8	{q0-q1}, [r1]!
 996	vst1.8	{q2-q3}, [r1]!
 997	veor	q0, q0, q0
 998	mov	r12, #1
 999	vmov.i32	d0[0], r12
1000	vadd.i32	q15, q15, q0
1001	vadd.i32	q4, q4, q12
1002	vadd.i32	q5, q5, q13
1003	vadd.i32	q6, q6, q14
1004	vadd.i32	q7, q7, q15
1005	veor	q4, q4, q8
1006	veor	q5, q5, q9
1007	veor	q6, q6, q10
1008	veor	q7, q7, q11
1009	vst1.8	{q4-q5}, [r1]!
1010	vst1.8	{q6-q7}, [r1]!
1011	vadd.i32	q15, q15, q0
1012	sub	r3, r3, #0x80
1013	# Done 128-byte block
1014L_chacha_crypt_bytes_arm32_lt_128:
1015	cmp	r3, #0
1016	beq	L_chacha_crypt_bytes_arm32_done_all
1017	mov	r12, #1
1018	veor	q9, q9, q9
1019	add	r5, r0, #0x44
1020	vmov	d18[0], r12
1021	mov	r12, #0x40
1022L_chacha_crypt_bytes_arm32_loop_64:
1023	# Move state into vector registers
1024	vmov	q0, q12
1025	vmov	q1, q13
1026	vmov	q2, q14
1027	vmov	q3, q15
1028	# Set number of odd+even rounds to perform
1029	mov	lr, #10
1030L_chacha_crypt_bytes_arm32_round_64:
1031	subs	lr, lr, #1
1032	# Round odd
1033	# a += b; d ^= a; d <<<= 16;
1034	vadd.i32	q0, q0, q1
1035	veor	q3, q3, q0
1036	vrev32.16	q3, q3
1037	# c += d; b ^= c; b <<<= 12;
1038	vadd.i32	q2, q2, q3
1039	veor	q8, q1, q2
1040	vshl.i32	q1, q8, #12
1041	vsri.i32	q1, q8, #20
1042	# a += b; d ^= a; d <<<= 8;
1043	vadd.i32	q0, q0, q1
1044	veor	q8, q3, q0
1045	vshl.i32	q3, q8, #8
1046	vsri.i32	q3, q8, #24
1047	# c += d; b ^= c; b <<<= 7;
1048	vadd.i32	q2, q2, q3
1049	veor	q8, q1, q2
1050	vshl.i32	q1, q8, #7
1051	vsri.i32	q1, q8, #25
1052	vext.8	q3, q3, q3, #12
1053	vext.8	q1, q1, q1, #4
1054	vext.8	q2, q2, q2, #8
1055	# Round even
1056	# a += b; d ^= a; d <<<= 16;
1057	vadd.i32	q0, q0, q1
1058	veor	q3, q3, q0
1059	vrev32.16	q3, q3
1060	# c += d; b ^= c; b <<<= 12;
1061	vadd.i32	q2, q2, q3
1062	veor	q8, q1, q2
1063	vshl.i32	q1, q8, #12
1064	vsri.i32	q1, q8, #20
1065	# a += b; d ^= a; d <<<= 8;
1066	vadd.i32	q0, q0, q1
1067	veor	q8, q3, q0
1068	vshl.i32	q3, q8, #8
1069	vsri.i32	q3, q8, #24
1070	# c += d; b ^= c; b <<<= 7;
1071	vadd.i32	q2, q2, q3
1072	veor	q8, q1, q2
1073	vshl.i32	q1, q8, #7
1074	vsri.i32	q1, q8, #25
1075	vext.8	q3, q3, q3, #4
1076	vext.8	q1, q1, q1, #12
1077	vext.8	q2, q2, q2, #8
1078	bne	L_chacha_crypt_bytes_arm32_round_64
1079	# Add back state
1080	vadd.i32	q0, q0, q12
1081	vadd.i32	q1, q1, q13
1082	vadd.i32	q2, q2, q14
1083	vadd.i32	q3, q3, q15
1084	# Check if data is less than 64 bytes - store in over
1085	cmp	r3, #0x40
1086	vadd.i32	q15, q15, q9
1087	blt	L_chacha_crypt_bytes_arm32_lt_64
1088	# Encipher 64 bytes
1089	vld1.8	{q4-q5}, [r2]!
1090	vld1.8	{q6-q7}, [r2]!
1091	veor	q4, q4, q0
1092	veor	q5, q5, q1
1093	veor	q6, q6, q2
1094	veor	q7, q7, q3
1095	vst1.8	{q4-q5}, [r1]!
1096	vst1.8	{q6-q7}, [r1]!
1097	# Check for more bytes to be enciphered
1098	subs	r3, r3, #0x40
1099	bne	L_chacha_crypt_bytes_arm32_loop_64
1100	b	L_chacha_crypt_bytes_arm32_done
1101L_chacha_crypt_bytes_arm32_lt_64:
1102	# Calculate bytes left in block not used
1103	sub	r12, r12, r3
1104	# Store encipher block in over for further operations and left
1105	vstm	r5, {q0-q3}
1106	sub	r5, r5, #32
1107	str	r12, [r0, #64]
1108	# Encipher 32 bytes
1109	cmp	r3, #32
1110	blt	L_chacha_crypt_bytes_arm32_lt_32
1111	vld1.8	{q4-q5}, [r2]!
1112	veor	q4, q4, q0
1113	veor	q5, q5, q1
1114	vst1.8	{q4-q5}, [r1]!
1115	subs	r3, r3, #32
1116	vmov	q0, q2
1117	vmov	q1, q3
1118	beq	L_chacha_crypt_bytes_arm32_done
1119L_chacha_crypt_bytes_arm32_lt_32:
1120	cmp	r3, #16
1121	blt	L_chacha_crypt_bytes_arm32_lt_16
1122	# Encipher 16 bytes
1123	vld1.8	{q4}, [r2]!
1124	veor	q4, q4, q0
1125	vst1.8	{q4}, [r1]!
1126	subs	r3, r3, #16
1127	vmov	q0, q1
1128	beq	L_chacha_crypt_bytes_arm32_done
1129L_chacha_crypt_bytes_arm32_lt_16:
1130	cmp	r3, #8
1131	blt	L_chacha_crypt_bytes_arm32_lt_8
1132	# Encipher 8 bytes
1133	vld1.8	{d8}, [r2]!
1134	veor	d8, d8, d0
1135	vst1.8	{d8}, [r1]!
1136	subs	r3, r3, #8
1137	vmov	d0, d1
1138	beq	L_chacha_crypt_bytes_arm32_done
1139L_chacha_crypt_bytes_arm32_lt_8:
1140	cmp	r3, #4
1141	blt	L_chacha_crypt_bytes_arm32_lt_4
1142	# Encipher 8 bytes
1143	ldr	r12, [r2], #4
1144	vmov	r4, d0[0]
1145	eor	r12, r12, r4
1146	str	r12, [r1], #4
1147	subs	r3, r3, #4
1148	vshr.u64	d0, d0, #32
1149	beq	L_chacha_crypt_bytes_arm32_done
1150L_chacha_crypt_bytes_arm32_lt_4:
1151	vmov	r12, s0
1152L_chacha_crypt_bytes_arm32loop_lt_4:
1153	# Encipher 1 byte at a time
1154	ldrb	r4, [r2], #1
1155	eor	r4, r4, r12
1156	strb	r4, [r1], #1
1157	subs	r3, r3, #1
1158	lsr	r12, r12, #8
1159	bgt	L_chacha_crypt_bytes_arm32loop_lt_4
1160L_chacha_crypt_bytes_arm32_done:
1161L_chacha_crypt_bytes_arm32_done_all:
1162	vstm.32	r0, {q12-q15}
1163	add	sp, sp, #44
1164	vpop	{d8-d15}
1165	pop	{r4, r5, r6, r7, r8, r9, r10, r11, pc}
1166	.size	wc_chacha_crypt_bytes,.-wc_chacha_crypt_bytes
1167#ifndef __APPLE__
1168	.text
1169	.type	L_chacha_setkey_arm32_constant, %object
1170	.size	L_chacha_setkey_arm32_constant, 32
1171#else
1172	.section	__DATA,__data
1173#endif /* __APPLE__ */
1174	# 8-byte aligned, 64-bit aligned
1175#ifndef __APPLE__
1176	.align	3
1177#else
1178	.p2align	3
1179#endif /* __APPLE__ */
1180L_chacha_setkey_arm32_constant:
1181	.long	0x61707865,0x3120646e,0x79622d36,0x6b206574
1182	.long	0x61707865,0x3320646e,0x79622d32,0x6b206574
1183	.text
1184	.align	4
1185	.globl	wc_chacha_setkey
1186	.type	wc_chacha_setkey, %function
1187wc_chacha_setkey:
1188	adr	r3, L_chacha_setkey_arm32_constant
1189	subs	r2, r2, #16
1190	add	r3, r3, r2
1191	# Start with constants
1192	vldm	r3, {q0}
1193	vld1.8	{q1}, [r1]!
1194#ifdef BIG_ENDIAN_ORDER
1195	vrev32.16	q1, q1
1196#endif /* BIG_ENDIAN_ORDER */
1197	vstm	r0!, {q0-q1}
1198	beq	L_chacha_setkey_arm32_done
1199	vld1.8	{q1}, [r1]
1200#ifdef BIG_ENDIAN_ORDER
1201	vrev32.16	q1, q1
1202#endif /* BIG_ENDIAN_ORDER */
1203L_chacha_setkey_arm32_done:
1204	vstm	r0, {q1}
1205	bx	lr
1206	.size	wc_chacha_setkey,.-wc_chacha_setkey
1207	.text
1208	.align	4
1209	.globl	wc_chacha_use_over
1210	.type	wc_chacha_use_over, %function
1211wc_chacha_use_over:
1212	push	{lr}
1213L_chacha_use_over_arm32_16byte_loop:
1214	cmp	r3, #16
1215	blt	L_chacha_use_over_arm32_word_loop
1216	# 16 bytes of state XORed into message.
1217	vld1.8	{q0}, [r0]!
1218	vld1.8	{q1}, [r2]!
1219	veor	q1, q1, q0
1220	subs	r3, r3, #16
1221	vst1.8	{q1}, [r1]!
1222	beq	L_chacha_use_over_arm32_done
1223	b	L_chacha_use_over_arm32_16byte_loop
1224L_chacha_use_over_arm32_word_loop:
1225	cmp	r3, #4
1226	blt	L_chacha_use_over_arm32_byte_loop
1227	# 4 bytes of state XORed into message.
1228	ldr	r12, [r0], #4
1229	ldr	lr, [r2], #4
1230	eor	lr, lr, r12
1231	subs	r3, r3, #4
1232	str	lr, [r1], #4
1233	beq	L_chacha_use_over_arm32_done
1234	b	L_chacha_use_over_arm32_word_loop
1235L_chacha_use_over_arm32_byte_loop:
1236	# 1 bytes of state XORed into message.
1237	ldrb	r12, [r0], #1
1238	ldrb	lr, [r2], #1
1239	eor	lr, lr, r12
1240	subs	r3, r3, #1
1241	strb	lr, [r1], #1
1242	beq	L_chacha_use_over_arm32_done
1243	b	L_chacha_use_over_arm32_byte_loop
1244L_chacha_use_over_arm32_done:
1245	pop	{pc}
1246	.size	wc_chacha_use_over,.-wc_chacha_use_over
1247#endif /* !WOLFSSL_ARMASM_NO_NEON */
1248#endif /* HAVE_CHACHA */
1249#endif /* !__aarch64__ && !WOLFSSL_ARMASM_THUMB2 */
1250#endif /* WOLFSSL_ARMASM */
1251
1252#if defined(__linux__) && defined(__ELF__)
1253.section	.note.GNU-stack,"",%progbits
1254#endif
1255#endif /* !WOLFSSL_ARMASM_INLINE */