luna - wolfssl/wolfcrypt/src/aes

   1/* aes_asm.S
   2 *
   3 * Copyright (C) 2006-2026 wolfSSL Inc.
   4 *
   5 * This file is part of wolfSSL.
   6 *
   7 * wolfSSL is free software; you can redistribute it and/or modify
   8 * it under the terms of the GNU General Public License as published by
   9 * the Free Software Foundation; either version 3 of the License, or
  10 * (at your option) any later version.
  11 *
  12 * wolfSSL is distributed in the hope that it will be useful,
  13 * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 * GNU General Public License for more details.
  16 *
  17 * You should have received a copy of the GNU General Public License
  18 * along with this program; if not, write to the Free Software
  19 * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1335, USA
  20 */
  21
  22
  23
  24/* This file is in at&t asm syntax, see .asm for intel syntax */
  25
  26/* See Intel Advanced Encryption Standard (AES) Instructions Set White Paper
  27 * by Intel Mobility Group, Israel Development Center, Israel Shay Gueron
  28 */
  29
  30#ifdef WOLFSSL_USER_SETTINGS
  31#ifdef WOLFSSL_USER_SETTINGS_ASM
  32/*
  33 * user_settings_asm.h is a file generated by the script user_settings_asm.sh.
  34 * The script takes in a user_settings.h and produces user_settings_asm.h, which
  35 * is a stripped down version of user_settings.h containing only preprocessor
  36 * directives. This makes the header safe to include in assembly (.S) files.
  37 */
  38#include "user_settings_asm.h"
  39#else
  40/*
  41 * Note: if user_settings.h contains any C code (e.g. a typedef or function
  42 * prototype), including it here in an assembly (.S) file will cause an
  43 * assembler failure. See user_settings_asm.h above.
  44 */
  45#include "user_settings.h"
  46#endif /* WOLFSSL_USER_SETTINGS_ASM */
  47#endif /* WOLFSSL_USER_SETTINGS */
  48
  49#ifdef WOLFSSL_X86_64_BUILD
  50
  51/*
  52AES_CBC_encrypt_AESNI (const unsigned char *in,
  53	unsigned char *out,
  54	unsigned char ivec[16],
  55	unsigned long length,
  56	const unsigned char *KS,
  57	int nr)
  58*/
  59#ifndef __APPLE__
  60.globl AES_CBC_encrypt_AESNI
  61AES_CBC_encrypt_AESNI:
  62#else
  63.globl _AES_CBC_encrypt_AESNI
  64_AES_CBC_encrypt_AESNI:
  65#endif
  66# parameter 1: %rdi
  67# parameter 2: %rsi
  68# parameter 3: %rdx
  69# parameter 4: %rcx
  70# parameter 5: %r8
  71# parameter 6: %r9d
  72movq	%rcx, %r10
  73shrq	$4, %rcx
  74shlq	$60, %r10
  75je	NO_PARTS
  76addq	$1, %rcx
  77NO_PARTS:
  78subq	$16, %rsi
  79movdqa	(%rdx), %xmm1
  80LOOP:
  81pxor	(%rdi), %xmm1
  82pxor	(%r8), %xmm1
  83addq	$16,%rsi
  84addq	$16,%rdi
  85cmpl	$12, %r9d
  86aesenc	16(%r8),%xmm1
  87aesenc	32(%r8),%xmm1
  88aesenc	48(%r8),%xmm1
  89aesenc	64(%r8),%xmm1
  90aesenc	80(%r8),%xmm1
  91aesenc	96(%r8),%xmm1
  92aesenc	112(%r8),%xmm1
  93aesenc	128(%r8),%xmm1
  94aesenc	144(%r8),%xmm1
  95movdqa	160(%r8),%xmm2
  96jb	LAST
  97cmpl	$14, %r9d
  98
  99aesenc	160(%r8),%xmm1
 100aesenc	176(%r8),%xmm1
 101movdqa	192(%r8),%xmm2
 102jb	LAST
 103aesenc	192(%r8),%xmm1
 104aesenc	208(%r8),%xmm1
 105movdqa	224(%r8),%xmm2
 106LAST:
 107decq	%rcx
 108aesenclast %xmm2,%xmm1
 109movdqu	%xmm1,(%rsi)
 110jne	LOOP
 111ret
 112
 113
 114#if defined(WOLFSSL_AESNI_BY4)
 115
 116/*
 117AES_CBC_decrypt_AESNI_by4 (const unsigned char *in,
 118  unsigned char *out,
 119  unsigned char ivec[16],
 120  unsigned long length,
 121  const unsigned char *KS,
 122  int nr)
 123*/
 124#ifndef __APPLE__
 125.globl AES_CBC_decrypt_AESNI_by4
 126AES_CBC_decrypt_AESNI_by4:
 127#else
 128.globl _AES_CBC_decrypt_AESNI_by4
 129_AES_CBC_decrypt_AESNI_by4:
 130#endif
 131# parameter 1: %rdi
 132# parameter 2: %rsi
 133# parameter 3: %rdx
 134# parameter 4: %rcx
 135# parameter 5: %r8
 136# parameter 6: %r9d
 137
 138        movq        %rcx, %r10
 139        shrq        $4, %rcx
 140        shlq        $60, %r10
 141        je          DNO_PARTS_4
 142        addq        $1, %rcx
 143DNO_PARTS_4:
 144        movq        %rcx, %r10
 145        shlq        $62, %r10
 146        shrq        $62, %r10
 147        shrq        $2, %rcx
 148        movdqu      (%rdx),%xmm5
 149        je          DREMAINDER_4
 150        subq        $64, %rsi
 151DLOOP_4:
 152        movdqu      (%rdi), %xmm1
 153        movdqu      16(%rdi), %xmm2
 154        movdqu      32(%rdi), %xmm3
 155        movdqu      48(%rdi), %xmm4
 156        movdqa      %xmm1, %xmm6
 157        movdqa      %xmm2, %xmm7
 158        movdqa      %xmm3, %xmm8
 159        movdqa      %xmm4, %xmm15
 160        movdqa      (%r8), %xmm9
 161        movdqa      16(%r8), %xmm10
 162        movdqa      32(%r8), %xmm11
 163        movdqa      48(%r8), %xmm12
 164        pxor        %xmm9, %xmm1
 165        pxor        %xmm9, %xmm2
 166        pxor        %xmm9, %xmm3
 167        pxor        %xmm9, %xmm4
 168        aesdec      %xmm10, %xmm1
 169        aesdec      %xmm10, %xmm2
 170        aesdec      %xmm10, %xmm3
 171        aesdec      %xmm10, %xmm4
 172        aesdec      %xmm11, %xmm1
 173        aesdec      %xmm11, %xmm2
 174        aesdec      %xmm11, %xmm3
 175        aesdec      %xmm11, %xmm4
 176        aesdec      %xmm12, %xmm1
 177        aesdec      %xmm12, %xmm2
 178        aesdec      %xmm12, %xmm3
 179        aesdec      %xmm12, %xmm4
 180        movdqa      64(%r8), %xmm9
 181        movdqa      80(%r8), %xmm10
 182        movdqa      96(%r8), %xmm11
 183        movdqa      112(%r8), %xmm12
 184        aesdec      %xmm9, %xmm1
 185        aesdec      %xmm9, %xmm2
 186        aesdec      %xmm9, %xmm3
 187        aesdec      %xmm9, %xmm4
 188        aesdec      %xmm10, %xmm1
 189        aesdec      %xmm10, %xmm2
 190        aesdec      %xmm10, %xmm3
 191        aesdec      %xmm10, %xmm4
 192        aesdec      %xmm11, %xmm1
 193        aesdec      %xmm11, %xmm2
 194        aesdec      %xmm11, %xmm3
 195        aesdec      %xmm11, %xmm4
 196        aesdec      %xmm12, %xmm1
 197        aesdec      %xmm12, %xmm2
 198        aesdec      %xmm12, %xmm3
 199        aesdec      %xmm12, %xmm4
 200        movdqa      128(%r8), %xmm9
 201        movdqa      144(%r8), %xmm10
 202        movdqa      160(%r8), %xmm11
 203        cmpl        $12, %r9d
 204        aesdec      %xmm9, %xmm1
 205        aesdec      %xmm9, %xmm2
 206        aesdec      %xmm9, %xmm3
 207        aesdec      %xmm9, %xmm4
 208        aesdec      %xmm10, %xmm1
 209        aesdec      %xmm10, %xmm2
 210        aesdec      %xmm10, %xmm3
 211        aesdec      %xmm10, %xmm4
 212        jb          DLAST_4
 213        movdqa      160(%r8), %xmm9
 214        movdqa      176(%r8), %xmm10
 215        movdqa      192(%r8), %xmm11
 216        cmpl        $14, %r9d
 217        aesdec      %xmm9, %xmm1
 218        aesdec      %xmm9, %xmm2
 219        aesdec      %xmm9, %xmm3
 220        aesdec      %xmm9, %xmm4
 221        aesdec      %xmm10, %xmm1
 222        aesdec      %xmm10, %xmm2
 223        aesdec      %xmm10, %xmm3
 224        aesdec      %xmm10, %xmm4
 225        jb          DLAST_4
 226        movdqa      192(%r8), %xmm9
 227        movdqa      208(%r8), %xmm10
 228        movdqa      224(%r8), %xmm11
 229        aesdec      %xmm9, %xmm1
 230        aesdec      %xmm9, %xmm2
 231        aesdec      %xmm9, %xmm3
 232        aesdec      %xmm9, %xmm4
 233        aesdec      %xmm10, %xmm1
 234        aesdec      %xmm10, %xmm2
 235        aesdec      %xmm10, %xmm3
 236        aesdec      %xmm10, %xmm4
 237DLAST_4:
 238        addq        $64, %rdi
 239        addq        $64, %rsi
 240        decq        %rcx
 241        aesdeclast  %xmm11, %xmm1
 242        aesdeclast  %xmm11, %xmm2
 243        aesdeclast  %xmm11, %xmm3
 244        aesdeclast  %xmm11, %xmm4
 245        pxor        %xmm5, %xmm1
 246        pxor        %xmm6, %xmm2
 247        pxor        %xmm7, %xmm3
 248        pxor        %xmm8, %xmm4
 249        movdqu      %xmm1, (%rsi)
 250        movdqu      %xmm2, 16(%rsi)
 251        movdqu      %xmm3, 32(%rsi)
 252        movdqu      %xmm4, 48(%rsi)
 253        movdqa      %xmm15,%xmm5
 254        jne         DLOOP_4
 255        addq        $64, %rsi
 256DREMAINDER_4:
 257        cmpq        $0, %r10
 258        je          DEND_4
 259DLOOP_4_2:
 260        movdqu      (%rdi), %xmm1
 261        movdqa      %xmm1, %xmm15
 262        addq        $16, %rdi
 263        pxor        (%r8), %xmm1
 264        movdqu      160(%r8), %xmm2
 265        cmpl        $12, %r9d
 266        aesdec      16(%r8), %xmm1
 267        aesdec      32(%r8), %xmm1
 268        aesdec      48(%r8), %xmm1
 269        aesdec      64(%r8), %xmm1
 270        aesdec      80(%r8), %xmm1
 271        aesdec      96(%r8), %xmm1
 272        aesdec      112(%r8), %xmm1
 273        aesdec      128(%r8), %xmm1
 274        aesdec      144(%r8), %xmm1
 275        jb          DLAST_4_2
 276        movdqu      192(%r8), %xmm2
 277        cmpl        $14, %r9d
 278        aesdec      160(%r8), %xmm1
 279        aesdec      176(%r8), %xmm1
 280        jb          DLAST_4_2
 281        movdqu      224(%r8), %xmm2
 282        aesdec      192(%r8), %xmm1
 283        aesdec      208(%r8), %xmm1
 284DLAST_4_2:
 285        aesdeclast  %xmm2, %xmm1
 286        pxor        %xmm5, %xmm1
 287        movdqa      %xmm15, %xmm5
 288        movdqu      %xmm1, (%rsi)
 289        addq        $16, %rsi
 290        decq        %r10
 291        jne         DLOOP_4_2
 292DEND_4:
 293        ret
 294
 295#elif defined(WOLFSSL_AESNI_BY6)
 296
 297/*
 298AES_CBC_decrypt_AESNI_by6 (const unsigned char *in,
 299  unsigned char *out,
 300  unsigned char ivec[16],
 301  unsigned long length,
 302  const unsigned char *KS,
 303  int nr)
 304*/
 305#ifndef __APPLE__
 306.globl AES_CBC_decrypt_AESNI_by6
 307AES_CBC_decrypt_AESNI_by6:
 308#else
 309.globl _AES_CBC_decrypt_AESNI_by6
 310_AES_CBC_decrypt_AESNI_by6:
 311#endif
 312# parameter 1: %rdi - in
 313# parameter 2: %rsi - out
 314# parameter 3: %rdx - ivec
 315# parameter 4: %rcx - length
 316# parameter 5: %r8  - KS
 317# parameter 6: %r9d - nr
 318
 319        movq        %rcx, %r10
 320        shrq        $4, %rcx
 321        shlq        $60, %r10
 322        je          DNO_PARTS_6
 323        addq        $1, %rcx
 324DNO_PARTS_6:
 325        movq        %rax, %r12
 326        movq        %rdx, %r13
 327        movq        %rbx, %r14
 328        movq        $0, %rdx
 329        movq        %rcx, %rax
 330        movq        $6, %rbx
 331        div         %rbx
 332        movq        %rax, %rcx
 333        movq        %rdx, %r10
 334        movq        %r12, %rax
 335        movq        %r13, %rdx
 336        movq        %r14, %rbx
 337        cmpq        $0, %rcx
 338        movdqu      (%rdx), %xmm7
 339        je          DREMAINDER_6
 340        subq        $96, %rsi
 341DLOOP_6:
 342        movdqu      (%rdi), %xmm1
 343        movdqu      16(%rdi), %xmm2
 344        movdqu      32(%rdi), %xmm3
 345        movdqu      48(%rdi), %xmm4
 346        movdqu      64(%rdi), %xmm5
 347        movdqu      80(%rdi), %xmm6
 348        movdqa      (%r8), %xmm8
 349        movdqa      16(%r8), %xmm9
 350        movdqa      32(%r8), %xmm10
 351        movdqa      48(%r8), %xmm11
 352        pxor        %xmm8, %xmm1
 353        pxor        %xmm8, %xmm2
 354        pxor        %xmm8, %xmm3
 355        pxor        %xmm8, %xmm4
 356        pxor        %xmm8, %xmm5
 357        pxor        %xmm8, %xmm6
 358        aesdec      %xmm9, %xmm1
 359        aesdec      %xmm9, %xmm2
 360        aesdec      %xmm9, %xmm3
 361        aesdec      %xmm9, %xmm4
 362        aesdec      %xmm9, %xmm5
 363        aesdec      %xmm9, %xmm6
 364        aesdec      %xmm10, %xmm1
 365        aesdec      %xmm10, %xmm2
 366        aesdec      %xmm10, %xmm3
 367        aesdec      %xmm10, %xmm4
 368        aesdec      %xmm10, %xmm5
 369        aesdec      %xmm10, %xmm6
 370        aesdec      %xmm11, %xmm1
 371        aesdec      %xmm11, %xmm2
 372        aesdec      %xmm11, %xmm3
 373        aesdec      %xmm11, %xmm4
 374        aesdec      %xmm11, %xmm5
 375        aesdec      %xmm11, %xmm6
 376        movdqa      64(%r8), %xmm8
 377        movdqa      80(%r8), %xmm9
 378        movdqa      96(%r8), %xmm10
 379        movdqa      112(%r8), %xmm11
 380        aesdec      %xmm8, %xmm1
 381        aesdec      %xmm8, %xmm2
 382        aesdec      %xmm8, %xmm3
 383        aesdec      %xmm8, %xmm4
 384        aesdec      %xmm8, %xmm5
 385        aesdec      %xmm8, %xmm6
 386        aesdec      %xmm9, %xmm1
 387        aesdec      %xmm9, %xmm2
 388        aesdec      %xmm9, %xmm3
 389        aesdec      %xmm9, %xmm4
 390        aesdec      %xmm9, %xmm5
 391        aesdec      %xmm9, %xmm6
 392        aesdec      %xmm10, %xmm1
 393        aesdec      %xmm10, %xmm2
 394        aesdec      %xmm10, %xmm3
 395        aesdec      %xmm10, %xmm4
 396        aesdec      %xmm10, %xmm5
 397        aesdec      %xmm10, %xmm6
 398        aesdec      %xmm11, %xmm1
 399        aesdec      %xmm11, %xmm2
 400        aesdec      %xmm11, %xmm3
 401        aesdec      %xmm11, %xmm4
 402        aesdec      %xmm11, %xmm5
 403        aesdec      %xmm11, %xmm6
 404        movdqa      128(%r8), %xmm8
 405        movdqa      144(%r8), %xmm9
 406        movdqa      160(%r8), %xmm10
 407        cmpl        $12, %r9d
 408        aesdec      %xmm8, %xmm1
 409        aesdec      %xmm8, %xmm2
 410        aesdec      %xmm8, %xmm3
 411        aesdec      %xmm8, %xmm4
 412        aesdec      %xmm8, %xmm5
 413        aesdec      %xmm8, %xmm6
 414        aesdec      %xmm9, %xmm1
 415        aesdec      %xmm9, %xmm2
 416        aesdec      %xmm9, %xmm3
 417        aesdec      %xmm9, %xmm4
 418        aesdec      %xmm9, %xmm5
 419        aesdec      %xmm9, %xmm6
 420        jb          DLAST_6
 421        movdqa      160(%r8), %xmm8
 422        movdqa      176(%r8), %xmm9
 423        movdqa      192(%r8), %xmm10
 424        cmpl        $14, %r9d
 425        aesdec      %xmm8, %xmm1
 426        aesdec      %xmm8, %xmm2
 427        aesdec      %xmm8, %xmm3
 428        aesdec      %xmm8, %xmm4
 429        aesdec      %xmm8, %xmm5
 430        aesdec      %xmm8, %xmm6
 431        aesdec      %xmm9, %xmm1
 432        aesdec      %xmm9, %xmm2
 433        aesdec      %xmm9, %xmm3
 434        aesdec      %xmm9, %xmm4
 435        aesdec      %xmm9, %xmm5
 436        aesdec      %xmm9, %xmm6
 437        jb          DLAST_6
 438        movdqa      192(%r8), %xmm8
 439        movdqa      208(%r8), %xmm9
 440        movdqa      224(%r8), %xmm10
 441        aesdec      %xmm8, %xmm1
 442        aesdec      %xmm8, %xmm2
 443        aesdec      %xmm8, %xmm3
 444        aesdec      %xmm8, %xmm4
 445        aesdec      %xmm8, %xmm5
 446        aesdec      %xmm8, %xmm6
 447        aesdec      %xmm9, %xmm1
 448        aesdec      %xmm9, %xmm2
 449        aesdec      %xmm9, %xmm3
 450        aesdec      %xmm9, %xmm4
 451        aesdec      %xmm9, %xmm5
 452        aesdec      %xmm9, %xmm6
 453DLAST_6:
 454        addq        $96, %rsi
 455        aesdeclast  %xmm10, %xmm1
 456        aesdeclast  %xmm10, %xmm2
 457        aesdeclast  %xmm10, %xmm3
 458        aesdeclast  %xmm10, %xmm4
 459        aesdeclast  %xmm10, %xmm5
 460        aesdeclast  %xmm10, %xmm6
 461        movdqu      (%rdi), %xmm8
 462        movdqu      16(%rdi), %xmm9
 463        movdqu      32(%rdi), %xmm10
 464        movdqu      48(%rdi), %xmm11
 465        movdqu      64(%rdi), %xmm12
 466        movdqu      80(%rdi), %xmm13
 467        pxor        %xmm7, %xmm1
 468        pxor        %xmm8, %xmm2
 469        pxor        %xmm9, %xmm3
 470        pxor        %xmm10, %xmm4
 471        pxor        %xmm11, %xmm5
 472        pxor        %xmm12, %xmm6
 473        movdqu      %xmm13, %xmm7
 474        movdqu      %xmm1, (%rsi)
 475        movdqu      %xmm2, 16(%rsi)
 476        movdqu      %xmm3, 32(%rsi)
 477        movdqu      %xmm4, 48(%rsi)
 478        movdqu      %xmm5, 64(%rsi)
 479        movdqu      %xmm6, 80(%rsi)
 480        addq        $96, %rdi
 481        decq        %rcx
 482        jne         DLOOP_6
 483        addq        $96, %rsi
 484DREMAINDER_6:
 485        cmpq        $0, %r10
 486        je          DEND_6
 487DLOOP_6_2:
 488        movdqu      (%rdi), %xmm1
 489        movdqa      %xmm1, %xmm10
 490        addq        $16, %rdi
 491        pxor        (%r8), %xmm1
 492        movdqu      160(%r8), %xmm2
 493        cmpl        $12, %r9d
 494        aesdec      16(%r8), %xmm1
 495        aesdec      32(%r8), %xmm1
 496        aesdec      48(%r8), %xmm1
 497        aesdec      64(%r8), %xmm1
 498        aesdec      80(%r8), %xmm1
 499        aesdec      96(%r8), %xmm1
 500        aesdec      112(%r8), %xmm1
 501        aesdec      128(%r8), %xmm1
 502        aesdec      144(%r8), %xmm1
 503        jb          DLAST_6_2
 504        movdqu      192(%r8), %xmm2
 505        cmpl        $14, %r9d
 506        aesdec      160(%r8), %xmm1
 507        aesdec      176(%r8), %xmm1
 508        jb          DLAST_6_2
 509        movdqu      224(%r8), %xmm2
 510        aesdec      192(%r8), %xmm1
 511        aesdec      208(%r8), %xmm1
 512DLAST_6_2:
 513        aesdeclast  %xmm2, %xmm1
 514        pxor        %xmm7, %xmm1
 515        movdqa      %xmm10, %xmm7
 516        movdqu      %xmm1, (%rsi)
 517        addq        $16, %rsi
 518        decq        %r10
 519        jne         DLOOP_6_2
 520DEND_6:
 521        ret
 522
 523#else /* WOLFSSL_AESNI_BYx */
 524
 525/*
 526AES_CBC_decrypt_AESNI_by8 (const unsigned char *in,
 527  unsigned char *out,
 528  unsigned char ivec[16],
 529  unsigned long length,
 530  const unsigned char *KS,
 531  int nr)
 532*/
 533#ifndef __APPLE__
 534.globl AES_CBC_decrypt_AESNI_by8
 535AES_CBC_decrypt_AESNI_by8:
 536#else
 537.globl _AES_CBC_decrypt_AESNI_by8
 538_AES_CBC_decrypt_AESNI_by8:
 539#endif
 540# parameter 1: %rdi - in
 541# parameter 2: %rsi - out
 542# parameter 3: %rdx - ivec
 543# parameter 4: %rcx - length
 544# parameter 5: %r8  - KS
 545# parameter 6: %r9d - nr
 546
 547        movq        %rcx, %r10
 548        shrq        $4, %rcx
 549        shlq        $60, %r10
 550        je          DNO_PARTS_8
 551        addq        $1, %rcx
 552DNO_PARTS_8:
 553        movq        %rcx, %r10
 554        shlq        $61, %r10
 555        shrq        $61, %r10
 556        shrq        $3, %rcx
 557        movdqu      (%rdx), %xmm9
 558        je          DREMAINDER_8
 559        subq        $128, %rsi
 560DLOOP_8:
 561        movdqu      (%rdi), %xmm1
 562        movdqu      16(%rdi), %xmm2
 563        movdqu      32(%rdi), %xmm3
 564        movdqu      48(%rdi), %xmm4
 565        movdqu      64(%rdi), %xmm5
 566        movdqu      80(%rdi), %xmm6
 567        movdqu      96(%rdi), %xmm7
 568        movdqu      112(%rdi), %xmm8
 569        movdqa      (%r8), %xmm10
 570        movdqa      16(%r8), %xmm11
 571        movdqa      32(%r8), %xmm12
 572        movdqa      48(%r8), %xmm13
 573        pxor        %xmm10, %xmm1
 574        pxor        %xmm10, %xmm2
 575        pxor        %xmm10, %xmm3
 576        pxor        %xmm10, %xmm4
 577        pxor        %xmm10, %xmm5
 578        pxor        %xmm10, %xmm6
 579        pxor        %xmm10, %xmm7
 580        pxor        %xmm10, %xmm8
 581        aesdec      %xmm11, %xmm1
 582        aesdec      %xmm11, %xmm2
 583        aesdec      %xmm11, %xmm3
 584        aesdec      %xmm11, %xmm4
 585        aesdec      %xmm11, %xmm5
 586        aesdec      %xmm11, %xmm6
 587        aesdec      %xmm11, %xmm7
 588        aesdec      %xmm11, %xmm8
 589        aesdec      %xmm12, %xmm1
 590        aesdec      %xmm12, %xmm2
 591        aesdec      %xmm12, %xmm3
 592        aesdec      %xmm12, %xmm4
 593        aesdec      %xmm12, %xmm5
 594        aesdec      %xmm12, %xmm6
 595        aesdec      %xmm12, %xmm7
 596        aesdec      %xmm12, %xmm8
 597        aesdec      %xmm13, %xmm1
 598        aesdec      %xmm13, %xmm2
 599        aesdec      %xmm13, %xmm3
 600        aesdec      %xmm13, %xmm4
 601        aesdec      %xmm13, %xmm5
 602        aesdec      %xmm13, %xmm6
 603        aesdec      %xmm13, %xmm7
 604        aesdec      %xmm13, %xmm8
 605        movdqa      64(%r8), %xmm10
 606        movdqa      80(%r8), %xmm11
 607        movdqa      96(%r8), %xmm12
 608        movdqa      112(%r8), %xmm13
 609        aesdec      %xmm10, %xmm1
 610        aesdec      %xmm10, %xmm2
 611        aesdec      %xmm10, %xmm3
 612        aesdec      %xmm10, %xmm4
 613        aesdec      %xmm10, %xmm5
 614        aesdec      %xmm10, %xmm6
 615        aesdec      %xmm10, %xmm7
 616        aesdec      %xmm10, %xmm8
 617        aesdec      %xmm11, %xmm1
 618        aesdec      %xmm11, %xmm2
 619        aesdec      %xmm11, %xmm3
 620        aesdec      %xmm11, %xmm4
 621        aesdec      %xmm11, %xmm5
 622        aesdec      %xmm11, %xmm6
 623        aesdec      %xmm11, %xmm7
 624        aesdec      %xmm11, %xmm8
 625        aesdec      %xmm12, %xmm1
 626        aesdec      %xmm12, %xmm2
 627        aesdec      %xmm12, %xmm3
 628        aesdec      %xmm12, %xmm4
 629        aesdec      %xmm12, %xmm5
 630        aesdec      %xmm12, %xmm6
 631        aesdec      %xmm12, %xmm7
 632        aesdec      %xmm12, %xmm8
 633        aesdec      %xmm13, %xmm1
 634        aesdec      %xmm13, %xmm2
 635        aesdec      %xmm13, %xmm3
 636        aesdec      %xmm13, %xmm4
 637        aesdec      %xmm13, %xmm5
 638        aesdec      %xmm13, %xmm6
 639        aesdec      %xmm13, %xmm7
 640        aesdec      %xmm13, %xmm8
 641        movdqa      128(%r8), %xmm10
 642        movdqa      144(%r8), %xmm11
 643        movdqa      160(%r8), %xmm12
 644        cmpl        $12, %r9d
 645        aesdec      %xmm10, %xmm1
 646        aesdec      %xmm10, %xmm2
 647        aesdec      %xmm10, %xmm3
 648        aesdec      %xmm10, %xmm4
 649        aesdec      %xmm10, %xmm5
 650        aesdec      %xmm10, %xmm6
 651        aesdec      %xmm10, %xmm7
 652        aesdec      %xmm10, %xmm8
 653        aesdec      %xmm11, %xmm1
 654        aesdec      %xmm11, %xmm2
 655        aesdec      %xmm11, %xmm3
 656        aesdec      %xmm11, %xmm4
 657        aesdec      %xmm11, %xmm5
 658        aesdec      %xmm11, %xmm6
 659        aesdec      %xmm11, %xmm7
 660        aesdec      %xmm11, %xmm8
 661        jb          DLAST_8
 662        movdqa      160(%r8), %xmm10
 663        movdqa      176(%r8), %xmm11
 664        movdqa      192(%r8), %xmm12
 665        cmpl        $14, %r9d
 666        aesdec      %xmm10, %xmm1
 667        aesdec      %xmm10, %xmm2
 668        aesdec      %xmm10, %xmm3
 669        aesdec      %xmm10, %xmm4
 670        aesdec      %xmm10, %xmm5
 671        aesdec      %xmm10, %xmm6
 672        aesdec      %xmm10, %xmm7
 673        aesdec      %xmm10, %xmm8
 674        aesdec      %xmm11, %xmm1
 675        aesdec      %xmm11, %xmm2
 676        aesdec      %xmm11, %xmm3
 677        aesdec      %xmm11, %xmm4
 678        aesdec      %xmm11, %xmm5
 679        aesdec      %xmm11, %xmm6
 680        aesdec      %xmm11, %xmm7
 681        aesdec      %xmm11, %xmm8
 682        jb          DLAST_8
 683        movdqa      192(%r8), %xmm10
 684        movdqa      208(%r8), %xmm11
 685        movdqa      224(%r8), %xmm12
 686        aesdec      %xmm10, %xmm1
 687        aesdec      %xmm10, %xmm2
 688        aesdec      %xmm10, %xmm3
 689        aesdec      %xmm10, %xmm4
 690        aesdec      %xmm10, %xmm5
 691        aesdec      %xmm10, %xmm6
 692        aesdec      %xmm10, %xmm7
 693        aesdec      %xmm10, %xmm8
 694        aesdec      %xmm11, %xmm1
 695        aesdec      %xmm11, %xmm2
 696        aesdec      %xmm11, %xmm3
 697        aesdec      %xmm11, %xmm4
 698        aesdec      %xmm11, %xmm5
 699        aesdec      %xmm11, %xmm6
 700        aesdec      %xmm11, %xmm7
 701        aesdec      %xmm11, %xmm8
 702DLAST_8:
 703        addq        $128, %rsi
 704        aesdeclast  %xmm12, %xmm1
 705        aesdeclast  %xmm12, %xmm2
 706        aesdeclast  %xmm12, %xmm3
 707        aesdeclast  %xmm12, %xmm4
 708        aesdeclast  %xmm12, %xmm5
 709        aesdeclast  %xmm12, %xmm6
 710        aesdeclast  %xmm12, %xmm7
 711        aesdeclast  %xmm12, %xmm8
 712        movdqu      (%rdi), %xmm10
 713        movdqu      16(%rdi), %xmm11
 714        movdqu      32(%rdi), %xmm12
 715        movdqu      48(%rdi), %xmm13
 716        pxor        %xmm9, %xmm1
 717        pxor        %xmm10, %xmm2
 718        pxor        %xmm11, %xmm3
 719        pxor        %xmm12, %xmm4
 720        pxor        %xmm13, %xmm5
 721        movdqu      64(%rdi), %xmm10
 722        movdqu      80(%rdi), %xmm11
 723        movdqu      96(%rdi), %xmm12
 724        movdqu      112(%rdi), %xmm9
 725        pxor        %xmm10, %xmm6
 726        pxor        %xmm11, %xmm7
 727        pxor        %xmm12, %xmm8
 728        movdqu      %xmm1, (%rsi)
 729        movdqu      %xmm2, 16(%rsi)
 730        movdqu      %xmm3, 32(%rsi)
 731        movdqu      %xmm4, 48(%rsi)
 732        movdqu      %xmm5, 64(%rsi)
 733        movdqu      %xmm6, 80(%rsi)
 734        movdqu      %xmm7, 96(%rsi)
 735        movdqu      %xmm8, 112(%rsi)
 736        addq        $128, %rdi
 737        decq        %rcx
 738        jne         DLOOP_8
 739        addq        $128, %rsi
 740DREMAINDER_8:
 741        cmpq        $0, %r10
 742        je          DEND_8
 743DLOOP_8_2:
 744        movdqu      (%rdi), %xmm1
 745        movdqa      %xmm1, %xmm10
 746        addq        $16, %rdi
 747        pxor        (%r8), %xmm1
 748        movdqu      160(%r8), %xmm2
 749        cmpl        $12, %r9d
 750        aesdec      16(%r8), %xmm1
 751        aesdec      32(%r8), %xmm1
 752        aesdec      48(%r8), %xmm1
 753        aesdec      64(%r8), %xmm1
 754        aesdec      80(%r8), %xmm1
 755        aesdec      96(%r8), %xmm1
 756        aesdec      112(%r8), %xmm1
 757        aesdec      128(%r8), %xmm1
 758        aesdec      144(%r8), %xmm1
 759        jb          DLAST_8_2
 760        movdqu      192(%r8), %xmm2
 761        cmpl        $14, %r9d
 762        aesdec      160(%r8), %xmm1
 763        aesdec      176(%r8), %xmm1
 764        jb          DLAST_8_2
 765        movdqu      224(%r8), %xmm2
 766        aesdec      192(%r8), %xmm1
 767        aesdec      208(%r8), %xmm1
 768DLAST_8_2:
 769        aesdeclast  %xmm2, %xmm1
 770        pxor        %xmm9, %xmm1
 771        movdqa      %xmm10, %xmm9
 772        movdqu      %xmm1, (%rsi)
 773        addq        $16, %rsi
 774        decq        %r10
 775        jne         DLOOP_8_2
 776DEND_8:
 777        ret
 778
 779#endif /* WOLFSSL_AESNI_BYx */
 780
 781
 782/*
 783AES_ECB_encrypt_AESNI (const unsigned char *in,
 784	unsigned char *out,
 785	unsigned long length,
 786	const unsigned char *KS,
 787	int nr)
 788*/
 789#ifndef __APPLE__
 790.globl AES_ECB_encrypt_AESNI
 791AES_ECB_encrypt_AESNI:
 792#else
 793.globl _AES_ECB_encrypt_AESNI
 794_AES_ECB_encrypt_AESNI:
 795#endif
 796# parameter 1: %rdi
 797# parameter 2: %rsi
 798# parameter 3: %rdx
 799# parameter 4: %rcx
 800# parameter 5: %r8d
 801        movq    %rdx, %r10
 802        shrq    $4, %rdx
 803        shlq    $60, %r10
 804        je      EECB_NO_PARTS_4
 805        addq    $1, %rdx
 806EECB_NO_PARTS_4:
 807        movq    %rdx, %r10
 808        shlq    $62, %r10
 809        shrq    $62, %r10
 810        shrq    $2, %rdx
 811        je      EECB_REMAINDER_4
 812        subq    $64, %rsi
 813EECB_LOOP_4:
 814        movdqu  (%rdi), %xmm1
 815        movdqu  16(%rdi), %xmm2
 816        movdqu  32(%rdi), %xmm3
 817        movdqu  48(%rdi), %xmm4
 818        movdqa  (%rcx), %xmm9
 819        movdqa  16(%rcx), %xmm10
 820        movdqa  32(%rcx), %xmm11
 821        movdqa  48(%rcx), %xmm12
 822        pxor    %xmm9, %xmm1
 823        pxor    %xmm9, %xmm2
 824        pxor    %xmm9, %xmm3
 825        pxor    %xmm9, %xmm4
 826        aesenc  %xmm10, %xmm1
 827        aesenc  %xmm10, %xmm2
 828        aesenc  %xmm10, %xmm3
 829        aesenc  %xmm10, %xmm4
 830        aesenc  %xmm11, %xmm1
 831        aesenc  %xmm11, %xmm2
 832        aesenc  %xmm11, %xmm3
 833        aesenc  %xmm11, %xmm4
 834        aesenc  %xmm12, %xmm1
 835        aesenc  %xmm12, %xmm2
 836        aesenc  %xmm12, %xmm3
 837        aesenc  %xmm12, %xmm4
 838        movdqa  64(%rcx), %xmm9
 839        movdqa  80(%rcx), %xmm10
 840        movdqa  96(%rcx), %xmm11
 841        movdqa  112(%rcx), %xmm12
 842        aesenc  %xmm9, %xmm1
 843        aesenc  %xmm9, %xmm2
 844        aesenc  %xmm9, %xmm3
 845        aesenc  %xmm9, %xmm4
 846        aesenc  %xmm10, %xmm1
 847        aesenc  %xmm10, %xmm2
 848        aesenc  %xmm10, %xmm3
 849        aesenc  %xmm10, %xmm4
 850        aesenc  %xmm11, %xmm1
 851        aesenc  %xmm11, %xmm2
 852        aesenc  %xmm11, %xmm3
 853        aesenc  %xmm11, %xmm4
 854        aesenc  %xmm12, %xmm1
 855        aesenc  %xmm12, %xmm2
 856        aesenc  %xmm12, %xmm3
 857        aesenc  %xmm12, %xmm4
 858        movdqa  128(%rcx), %xmm9
 859        movdqa  144(%rcx), %xmm10
 860        movdqa  160(%rcx), %xmm11
 861        cmpl    $12, %r8d
 862        aesenc  %xmm9, %xmm1
 863        aesenc  %xmm9, %xmm2
 864        aesenc  %xmm9, %xmm3
 865        aesenc  %xmm9, %xmm4
 866        aesenc  %xmm10, %xmm1
 867        aesenc  %xmm10, %xmm2
 868        aesenc  %xmm10, %xmm3
 869        aesenc  %xmm10, %xmm4
 870        jb      EECB_LAST_4
 871        movdqa  160(%rcx), %xmm9
 872        movdqa  176(%rcx), %xmm10
 873        movdqa  192(%rcx), %xmm11
 874        cmpl    $14, %r8d
 875        aesenc  %xmm9, %xmm1
 876        aesenc  %xmm9, %xmm2
 877        aesenc  %xmm9, %xmm3
 878        aesenc  %xmm9, %xmm4
 879        aesenc  %xmm10, %xmm1
 880        aesenc  %xmm10, %xmm2
 881        aesenc  %xmm10, %xmm3
 882        aesenc  %xmm10, %xmm4
 883        jb      EECB_LAST_4
 884        movdqa  192(%rcx), %xmm9
 885        movdqa  208(%rcx), %xmm10
 886        movdqa  224(%rcx), %xmm11
 887        aesenc  %xmm9, %xmm1
 888        aesenc  %xmm9, %xmm2
 889        aesenc  %xmm9, %xmm3
 890        aesenc  %xmm9, %xmm4
 891        aesenc  %xmm10, %xmm1
 892        aesenc  %xmm10, %xmm2
 893        aesenc  %xmm10, %xmm3
 894        aesenc  %xmm10, %xmm4
 895EECB_LAST_4:
 896        addq    $64, %rdi
 897        addq    $64, %rsi
 898        decq    %rdx
 899        aesenclast %xmm11, %xmm1
 900        aesenclast %xmm11, %xmm2
 901        aesenclast %xmm11, %xmm3
 902        aesenclast %xmm11, %xmm4
 903        movdqu  %xmm1, (%rsi)
 904        movdqu  %xmm2, 16(%rsi)
 905        movdqu  %xmm3, 32(%rsi)
 906        movdqu  %xmm4, 48(%rsi)
 907        jne     EECB_LOOP_4
 908        addq    $64, %rsi
 909EECB_REMAINDER_4:
 910        cmpq    $0, %r10
 911        je      EECB_END_4
 912EECB_LOOP_4_2:
 913        movdqu  (%rdi), %xmm1
 914        addq    $16, %rdi
 915        pxor    (%rcx), %xmm1
 916        movdqu  160(%rcx), %xmm2
 917        aesenc  16(%rcx), %xmm1
 918        aesenc  32(%rcx), %xmm1
 919        aesenc  48(%rcx), %xmm1
 920        aesenc  64(%rcx), %xmm1
 921        aesenc  80(%rcx), %xmm1
 922        aesenc  96(%rcx), %xmm1
 923        aesenc  112(%rcx), %xmm1
 924        aesenc  128(%rcx), %xmm1
 925        aesenc  144(%rcx), %xmm1
 926        cmpl    $12, %r8d
 927        jb      EECB_LAST_4_2
 928        movdqu  192(%rcx), %xmm2
 929        aesenc  160(%rcx), %xmm1
 930        aesenc  176(%rcx), %xmm1
 931        cmpl    $14, %r8d
 932        jb      EECB_LAST_4_2
 933        movdqu  224(%rcx), %xmm2
 934        aesenc  192(%rcx), %xmm1
 935        aesenc  208(%rcx), %xmm1
 936EECB_LAST_4_2:
 937        aesenclast %xmm2, %xmm1
 938        movdqu  %xmm1, (%rsi)
 939        addq    $16, %rsi
 940        decq    %r10
 941        jne     EECB_LOOP_4_2
 942EECB_END_4:
 943        ret
 944
 945
 946/*
 947AES_ECB_decrypt_AESNI (const unsigned char *in,
 948  unsigned char *out,
 949  unsigned long length,
 950  const unsigned char *KS,
 951  int nr)
 952*/
 953#ifndef __APPLE__
 954.globl AES_ECB_decrypt_AESNI
 955AES_ECB_decrypt_AESNI:
 956#else
 957.globl _AES_ECB_decrypt_AESNI
 958_AES_ECB_decrypt_AESNI:
 959#endif
 960# parameter 1: %rdi
 961# parameter 2: %rsi
 962# parameter 3: %rdx
 963# parameter 4: %rcx
 964# parameter 5: %r8d
 965
 966        movq    %rdx, %r10
 967        shrq    $4, %rdx
 968        shlq    $60, %r10
 969        je      DECB_NO_PARTS_4
 970        addq    $1, %rdx
 971DECB_NO_PARTS_4:
 972        movq    %rdx, %r10
 973        shlq    $62, %r10
 974        shrq    $62, %r10
 975        shrq    $2, %rdx
 976        je      DECB_REMAINDER_4
 977        subq    $64, %rsi
 978DECB_LOOP_4:
 979        movdqu  (%rdi), %xmm1
 980        movdqu  16(%rdi), %xmm2
 981        movdqu  32(%rdi), %xmm3
 982        movdqu  48(%rdi), %xmm4
 983        movdqa  (%rcx), %xmm9
 984        movdqa  16(%rcx), %xmm10
 985        movdqa  32(%rcx), %xmm11
 986        movdqa  48(%rcx), %xmm12
 987        pxor    %xmm9, %xmm1
 988        pxor    %xmm9, %xmm2
 989        pxor    %xmm9, %xmm3
 990        pxor    %xmm9, %xmm4
 991        aesdec  %xmm10, %xmm1
 992        aesdec  %xmm10, %xmm2
 993        aesdec  %xmm10, %xmm3
 994        aesdec  %xmm10, %xmm4
 995        aesdec  %xmm11, %xmm1
 996        aesdec  %xmm11, %xmm2
 997        aesdec  %xmm11, %xmm3
 998        aesdec  %xmm11, %xmm4
 999        aesdec  %xmm12, %xmm1
1000        aesdec  %xmm12, %xmm2
1001        aesdec  %xmm12, %xmm3
1002        aesdec  %xmm12, %xmm4
1003        movdqa  64(%rcx), %xmm9
1004        movdqa  80(%rcx), %xmm10
1005        movdqa  96(%rcx), %xmm11
1006        movdqa  112(%rcx), %xmm12
1007        aesdec  %xmm9, %xmm1
1008        aesdec  %xmm9, %xmm2
1009        aesdec  %xmm9, %xmm3
1010        aesdec  %xmm9, %xmm4
1011        aesdec  %xmm10, %xmm1
1012        aesdec  %xmm10, %xmm2
1013        aesdec  %xmm10, %xmm3
1014        aesdec  %xmm10, %xmm4
1015        aesdec  %xmm11, %xmm1
1016        aesdec  %xmm11, %xmm2
1017        aesdec  %xmm11, %xmm3
1018        aesdec  %xmm11, %xmm4
1019        aesdec  %xmm12, %xmm1
1020        aesdec  %xmm12, %xmm2
1021        aesdec  %xmm12, %xmm3
1022        aesdec  %xmm12, %xmm4
1023        movdqa  128(%rcx), %xmm9
1024        movdqa  144(%rcx), %xmm10
1025        movdqa  160(%rcx), %xmm11
1026        cmpl    $12, %r8d
1027        aesdec  %xmm9, %xmm1
1028        aesdec  %xmm9, %xmm2
1029        aesdec  %xmm9, %xmm3
1030        aesdec  %xmm9, %xmm4
1031        aesdec  %xmm10, %xmm1
1032        aesdec  %xmm10, %xmm2
1033        aesdec  %xmm10, %xmm3
1034        aesdec  %xmm10, %xmm4
1035        jb      DECB_LAST_4
1036        movdqa  160(%rcx), %xmm9
1037        movdqa  176(%rcx), %xmm10
1038        movdqa  192(%rcx), %xmm11
1039        cmpl    $14, %r8d
1040        aesdec  %xmm9, %xmm1
1041        aesdec  %xmm9, %xmm2
1042        aesdec  %xmm9, %xmm3
1043        aesdec  %xmm9, %xmm4
1044        aesdec  %xmm10, %xmm1
1045        aesdec  %xmm10, %xmm2
1046        aesdec  %xmm10, %xmm3
1047        aesdec  %xmm10, %xmm4
1048        jb      DECB_LAST_4
1049        movdqa  192(%rcx), %xmm9
1050        movdqa  208(%rcx), %xmm10
1051        movdqa  224(%rcx), %xmm11
1052        aesdec  %xmm9, %xmm1
1053        aesdec  %xmm9, %xmm2
1054        aesdec  %xmm9, %xmm3
1055        aesdec  %xmm9, %xmm4
1056        aesdec  %xmm10, %xmm1
1057        aesdec  %xmm10, %xmm2
1058        aesdec  %xmm10, %xmm3
1059        aesdec  %xmm10, %xmm4
1060DECB_LAST_4:
1061        addq    $64, %rdi
1062        addq    $64, %rsi
1063        decq    %rdx
1064        aesdeclast %xmm11, %xmm1
1065        aesdeclast %xmm11, %xmm2
1066        aesdeclast %xmm11, %xmm3
1067        aesdeclast %xmm11, %xmm4
1068        movdqu  %xmm1, (%rsi)
1069        movdqu  %xmm2, 16(%rsi)
1070        movdqu  %xmm3, 32(%rsi)
1071        movdqu  %xmm4, 48(%rsi)
1072        jne     DECB_LOOP_4
1073        addq    $64, %rsi
1074DECB_REMAINDER_4:
1075        cmpq    $0, %r10
1076        je      DECB_END_4
1077DECB_LOOP_4_2:
1078        movdqu  (%rdi), %xmm1
1079        addq    $16, %rdi
1080        pxor    (%rcx), %xmm1
1081        movdqu  160(%rcx), %xmm2
1082        cmpl    $12, %r8d
1083        aesdec  16(%rcx), %xmm1
1084        aesdec  32(%rcx), %xmm1
1085        aesdec  48(%rcx), %xmm1
1086        aesdec  64(%rcx), %xmm1
1087        aesdec  80(%rcx), %xmm1
1088        aesdec  96(%rcx), %xmm1
1089        aesdec  112(%rcx), %xmm1
1090        aesdec  128(%rcx), %xmm1
1091        aesdec  144(%rcx), %xmm1
1092        jb      DECB_LAST_4_2
1093        cmpl    $14, %r8d
1094        movdqu  192(%rcx), %xmm2
1095        aesdec  160(%rcx), %xmm1
1096        aesdec  176(%rcx), %xmm1
1097        jb      DECB_LAST_4_2
1098        movdqu  224(%rcx), %xmm2
1099        aesdec  192(%rcx), %xmm1
1100        aesdec  208(%rcx), %xmm1
1101DECB_LAST_4_2:
1102        aesdeclast %xmm2, %xmm1
1103        movdqu  %xmm1, (%rsi)
1104        addq    $16, %rsi
1105        decq    %r10
1106        jne     DECB_LOOP_4_2
1107DECB_END_4:
1108        ret
1109
1110
1111
1112
1113/*
1114void AES_128_Key_Expansion_AESNI(const unsigned char* userkey,
1115   unsigned char* key_schedule);
1116*/
1117#ifndef __APPLE__
1118.globl AES_128_Key_Expansion_AESNI
1119.align  16,0x90
1120AES_128_Key_Expansion_AESNI:
1121#else
1122.globl _AES_128_Key_Expansion_AESNI
1123.p2align  4
1124_AES_128_Key_Expansion_AESNI:
1125#endif
1126# parameter 1: %rdi
1127# parameter 2: %rsi
1128
1129movdqu  (%rdi), %xmm1
1130movdqa    %xmm1, (%rsi)
1131
1132
1133ASSISTS:
1134aeskeygenassist $1, %xmm1, %xmm2
1135call PREPARE_ROUNDKEY_128
1136movdqa %xmm1, 16(%rsi)
1137aeskeygenassist $2, %xmm1, %xmm2
1138call PREPARE_ROUNDKEY_128
1139movdqa %xmm1, 32(%rsi)
1140aeskeygenassist $4, %xmm1, %xmm2
1141call PREPARE_ROUNDKEY_128
1142movdqa %xmm1, 48(%rsi)
1143aeskeygenassist $8, %xmm1, %xmm2
1144call PREPARE_ROUNDKEY_128
1145movdqa %xmm1, 64(%rsi)
1146aeskeygenassist $16, %xmm1, %xmm2
1147call PREPARE_ROUNDKEY_128
1148movdqa %xmm1, 80(%rsi)
1149aeskeygenassist $32, %xmm1, %xmm2
1150call PREPARE_ROUNDKEY_128
1151movdqa %xmm1, 96(%rsi)
1152aeskeygenassist $64, %xmm1, %xmm2
1153call PREPARE_ROUNDKEY_128
1154movdqa %xmm1, 112(%rsi)
1155aeskeygenassist $0x80, %xmm1, %xmm2
1156call PREPARE_ROUNDKEY_128
1157movdqa %xmm1, 128(%rsi)
1158aeskeygenassist $0x1b, %xmm1, %xmm2
1159call PREPARE_ROUNDKEY_128
1160movdqa %xmm1, 144(%rsi)
1161aeskeygenassist $0x36, %xmm1, %xmm2
1162call PREPARE_ROUNDKEY_128
1163movdqa %xmm1, 160(%rsi)
1164ret
1165
1166PREPARE_ROUNDKEY_128:
1167pshufd $255, %xmm2, %xmm2
1168movdqa %xmm1, %xmm3
1169pslldq $4, %xmm3
1170pxor %xmm3, %xmm1
1171pslldq $4, %xmm3
1172pxor %xmm3, %xmm1
1173pslldq $4, %xmm3
1174pxor %xmm3, %xmm1
1175pxor %xmm2, %xmm1
1176ret
1177
1178
1179/*
1180void AES_192_Key_Expansion_AESNI (const unsigned char *userkey,
1181  unsigned char *key)
1182*/
1183#ifndef __APPLE__
1184.globl AES_192_Key_Expansion_AESNI
1185AES_192_Key_Expansion_AESNI:
1186#else
1187.globl _AES_192_Key_Expansion_AESNI
1188_AES_192_Key_Expansion_AESNI:
1189#endif
1190# parameter 1: %rdi
1191# parameter 2: %rsi
1192
1193movdqu (%rdi), %xmm1
1194movq 16(%rdi), %xmm3
1195movdqa %xmm1, (%rsi)
1196movdqa %xmm3, %xmm5
1197
1198aeskeygenassist $0x1, %xmm3, %xmm2
1199call PREPARE_ROUNDKEY_192
1200shufpd $0, %xmm1, %xmm5
1201movdqa %xmm5, 16(%rsi)
1202movdqa %xmm1, %xmm6
1203shufpd $1, %xmm3, %xmm6
1204movdqa %xmm6, 32(%rsi)
1205
1206aeskeygenassist $0x2, %xmm3, %xmm2
1207call PREPARE_ROUNDKEY_192
1208movdqa %xmm1, 48(%rsi)
1209movdqa %xmm3, %xmm5
1210
1211aeskeygenassist $0x4, %xmm3, %xmm2
1212call PREPARE_ROUNDKEY_192
1213shufpd $0, %xmm1, %xmm5
1214movdqa %xmm5, 64(%rsi)
1215movdqa %xmm1, %xmm6
1216shufpd $1, %xmm3, %xmm6
1217movdqa %xmm6, 80(%rsi)
1218
1219aeskeygenassist $0x8, %xmm3, %xmm2
1220call PREPARE_ROUNDKEY_192
1221movdqa %xmm1, 96(%rsi)
1222movdqa %xmm3, %xmm5
1223
1224aeskeygenassist $0x10, %xmm3, %xmm2
1225call PREPARE_ROUNDKEY_192
1226shufpd $0, %xmm1, %xmm5
1227movdqa %xmm5, 112(%rsi)
1228movdqa %xmm1, %xmm6
1229shufpd $1, %xmm3, %xmm6
1230movdqa %xmm6, 128(%rsi)
1231
1232aeskeygenassist $0x20, %xmm3, %xmm2
1233call PREPARE_ROUNDKEY_192
1234movdqa %xmm1, 144(%rsi)
1235movdqa %xmm3, %xmm5
1236
1237aeskeygenassist $0x40, %xmm3, %xmm2
1238call PREPARE_ROUNDKEY_192
1239shufpd $0, %xmm1, %xmm5
1240movdqa %xmm5, 160(%rsi)
1241movdqa %xmm1, %xmm6
1242shufpd $1, %xmm3, %xmm6
1243movdqa %xmm6, 176(%rsi)
1244
1245aeskeygenassist $0x80, %xmm3, %xmm2
1246call PREPARE_ROUNDKEY_192
1247movdqa %xmm1, 192(%rsi)
1248movdqa %xmm3, 208(%rsi)
1249ret
1250
1251PREPARE_ROUNDKEY_192:
1252pshufd $0x55, %xmm2, %xmm2
1253movdqu %xmm1, %xmm4
1254pslldq $4, %xmm4
1255pxor   %xmm4, %xmm1
1256
1257pslldq $4, %xmm4
1258pxor   %xmm4, %xmm1
1259pslldq $4, %xmm4
1260pxor  %xmm4, %xmm1
1261pxor   %xmm2, %xmm1
1262pshufd $0xff, %xmm1, %xmm2
1263movdqu %xmm3, %xmm4
1264pslldq $4, %xmm4
1265pxor   %xmm4, %xmm3
1266pxor   %xmm2, %xmm3
1267ret
1268
1269
1270/*
1271void AES_256_Key_Expansion_AESNI (const unsigned char *userkey,
1272  unsigned char *key)
1273*/
1274#ifndef __APPLE__
1275.globl AES_256_Key_Expansion_AESNI
1276AES_256_Key_Expansion_AESNI:
1277#else
1278.globl _AES_256_Key_Expansion_AESNI
1279_AES_256_Key_Expansion_AESNI:
1280#endif
1281# parameter 1: %rdi
1282# parameter 2: %rsi
1283
1284movdqu (%rdi), %xmm1
1285movdqu 16(%rdi), %xmm3
1286movdqa %xmm1, (%rsi)
1287movdqa %xmm3, 16(%rsi)
1288
1289aeskeygenassist $0x1, %xmm3, %xmm2
1290call MAKE_RK256_a
1291movdqa %xmm1, 32(%rsi)
1292aeskeygenassist $0x0, %xmm1, %xmm2
1293call MAKE_RK256_b
1294movdqa %xmm3, 48(%rsi)
1295aeskeygenassist $0x2, %xmm3, %xmm2
1296call MAKE_RK256_a
1297movdqa %xmm1, 64(%rsi)
1298aeskeygenassist $0x0, %xmm1, %xmm2
1299call MAKE_RK256_b
1300movdqa %xmm3, 80(%rsi)
1301aeskeygenassist $0x4, %xmm3, %xmm2
1302call MAKE_RK256_a
1303movdqa %xmm1, 96(%rsi)
1304aeskeygenassist $0x0, %xmm1, %xmm2
1305call MAKE_RK256_b
1306movdqa %xmm3, 112(%rsi)
1307aeskeygenassist $0x8, %xmm3, %xmm2
1308call MAKE_RK256_a
1309movdqa %xmm1, 128(%rsi)
1310aeskeygenassist $0x0, %xmm1, %xmm2
1311call MAKE_RK256_b
1312movdqa %xmm3, 144(%rsi)
1313aeskeygenassist $0x10, %xmm3, %xmm2
1314call MAKE_RK256_a
1315movdqa %xmm1, 160(%rsi)
1316aeskeygenassist $0x0, %xmm1, %xmm2
1317call MAKE_RK256_b
1318movdqa %xmm3, 176(%rsi)
1319aeskeygenassist $0x20, %xmm3, %xmm2
1320call MAKE_RK256_a
1321movdqa %xmm1, 192(%rsi)
1322
1323aeskeygenassist $0x0, %xmm1, %xmm2
1324call MAKE_RK256_b
1325movdqa %xmm3, 208(%rsi)
1326aeskeygenassist $0x40, %xmm3, %xmm2
1327call MAKE_RK256_a
1328movdqa %xmm1, 224(%rsi)
1329
1330ret
1331
1332MAKE_RK256_a:
1333pshufd $0xff, %xmm2, %xmm2
1334movdqa %xmm1, %xmm4
1335pslldq $4, %xmm4
1336pxor   %xmm4, %xmm1
1337pslldq $4, %xmm4
1338pxor  %xmm4, %xmm1
1339pslldq $4, %xmm4
1340pxor  %xmm4, %xmm1
1341pxor   %xmm2, %xmm1
1342ret
1343
1344MAKE_RK256_b:
1345pshufd $0xaa, %xmm2, %xmm2
1346movdqa %xmm3, %xmm4
1347pslldq $4, %xmm4
1348pxor   %xmm4, %xmm3
1349pslldq $4, %xmm4
1350pxor  %xmm4, %xmm3
1351pslldq $4, %xmm4
1352pxor  %xmm4, %xmm3
1353pxor   %xmm2, %xmm3
1354ret
1355
1356#elif defined WOLFSSL_X86_BUILD
1357
1358/*
1359AES_CBC_encrypt_AESNI (const unsigned char *in,
1360	unsigned char *out,
1361	unsigned char ivec[16],
1362	unsigned long length,
1363	const unsigned char *KS,
1364	int nr)
1365*/
1366#ifndef __APPLE__
1367.globl AES_CBC_encrypt_AESNI
1368AES_CBC_encrypt_AESNI:
1369#else
1370.globl _AES_CBC_encrypt_AESNI
1371_AES_CBC_encrypt_AESNI:
1372#endif
1373        # parameter 1: stack[4] => %edi
1374        # parameter 2: stack[8] => %esi
1375        # parameter 3: stack[12] => %edx
1376        # parameter 4: stack[16] => %ecx
1377        # parameter 5: stack[20] => %eax
1378        # parameter 6: stack[24] => %ebx
1379        push	%edi
1380        push	%esi
1381        push	%ebx
1382        push	%ebp
1383        movl	20(%esp), %edi
1384        movl	24(%esp), %esi
1385        movl	28(%esp), %edx
1386        movl	32(%esp), %ecx
1387        movl	36(%esp), %eax
1388        movl	40(%esp), %ebx
1389
1390        movl	%ecx, %ebp
1391        shrl	$4, %ecx
1392        shll	$60, %ebp
1393        je	NO_PARTS
1394        addl	$1, %ecx
1395        NO_PARTS:
1396        subl	$16, %esi
1397        movdqa	(%edx), %xmm1
1398        LOOP:
1399        pxor	(%edi), %xmm1
1400        pxor	(%eax), %xmm1
1401        addl	$16,%esi
1402        addl	$16,%edi
1403        cmpl	$12, %ebx
1404        aesenc	16(%eax),%xmm1
1405        aesenc	32(%eax),%xmm1
1406        aesenc	48(%eax),%xmm1
1407        aesenc	64(%eax),%xmm1
1408        aesenc	80(%eax),%xmm1
1409        aesenc	96(%eax),%xmm1
1410        aesenc	112(%eax),%xmm1
1411        aesenc	128(%eax),%xmm1
1412        aesenc	144(%eax),%xmm1
1413        movdqa	160(%eax),%xmm2
1414        jb	LAST
1415        cmpl	$14, %ebx
1416
1417        aesenc	160(%eax),%xmm1
1418        aesenc	176(%eax),%xmm1
1419        movdqa	192(%eax),%xmm2
1420        jb	LAST
1421        aesenc	192(%eax),%xmm1
1422        aesenc	208(%eax),%xmm1
1423        movdqa	224(%eax),%xmm2
1424        LAST:
1425        decl	%ecx
1426        aesenclast %xmm2,%xmm1
1427        movdqu	%xmm1,(%esi)
1428        jne	LOOP
1429
1430        pop	%ebp
1431        pop	%ebx
1432        pop	%esi
1433        pop	%edi
1434        ret
1435
1436
1437/*
1438AES_CBC_decrypt_AESNI_by4 (const unsigned char *in,
1439  unsigned char *out,
1440  unsigned char ivec[16],
1441  unsigned long length,
1442  const unsigned char *KS,
1443  int nr)
1444*/
1445#ifndef __APPLE__
1446.globl AES_CBC_decrypt_AESNI_by4
1447AES_CBC_decrypt_AESNI_by4:
1448#else
1449.globl _AES_CBC_decrypt_AESNI_by4
1450_AES_CBC_decrypt_AESNI_by4:
1451#endif
1452# parameter 1: stack[4] => %edi
1453# parameter 2: stack[8] => %esi
1454# parameter 3: stack[12] => %edx
1455# parameter 4: stack[16] => %ecx
1456# parameter 5: stack[20] => %eax
1457# parameter 6: stack[24] => %ebx
1458        push	%edi
1459        push	%esi
1460        push	%ebx
1461        push	%ebp
1462        movl	20(%esp), %edi
1463        movl	24(%esp), %esi
1464        movl	28(%esp), %edx
1465        movl	32(%esp), %ecx
1466        movl	36(%esp), %eax
1467        movl	40(%esp), %ebx
1468        subl	$16, %esp
1469
1470        movdqu      (%edx), %xmm0
1471        movl        %ecx, %ebp
1472        shrl        $4, %ecx
1473        shll        $60, %ebp
1474        movdqu      %xmm0, (%esp)
1475        je          DNO_PARTS_4
1476        addl        $1, %ecx
1477DNO_PARTS_4:
1478        movl        %ecx, %ebp
1479        shll        $62, %ebp
1480        shrl        $62, %ebp
1481        shrl        $2, %ecx
1482        je          DREMAINDER_4
1483        subl        $64, %esi
1484DLOOP_4:
1485        movdqu      (%edi), %xmm1
1486        movdqu      16(%edi), %xmm2
1487        movdqu      32(%edi), %xmm3
1488        movdqu      48(%edi), %xmm4
1489        movdqa      (%eax), %xmm5
1490        movdqa      16(%eax), %xmm6
1491        movdqa      32(%eax), %xmm7
1492        movdqa      48(%eax), %xmm0
1493        pxor        %xmm5, %xmm1
1494        pxor        %xmm5, %xmm2
1495        pxor        %xmm5, %xmm3
1496        pxor        %xmm5, %xmm4
1497        aesdec      %xmm6, %xmm1
1498        aesdec      %xmm6, %xmm2
1499        aesdec      %xmm6, %xmm3
1500        aesdec      %xmm6, %xmm4
1501        aesdec      %xmm7, %xmm1
1502        aesdec      %xmm7, %xmm2
1503        aesdec      %xmm7, %xmm3
1504        aesdec      %xmm7, %xmm4
1505        aesdec      %xmm0, %xmm1
1506        aesdec      %xmm0, %xmm2
1507        aesdec      %xmm0, %xmm3
1508        aesdec      %xmm0, %xmm4
1509        movdqa      64(%eax), %xmm5
1510        movdqa      80(%eax), %xmm6
1511        movdqa      96(%eax), %xmm7
1512        movdqa      112(%eax), %xmm0
1513        aesdec      %xmm5, %xmm1
1514        aesdec      %xmm5, %xmm2
1515        aesdec      %xmm5, %xmm3
1516        aesdec      %xmm5, %xmm4
1517        aesdec      %xmm6, %xmm1
1518        aesdec      %xmm6, %xmm2
1519        aesdec      %xmm6, %xmm3
1520        aesdec      %xmm6, %xmm4
1521        aesdec      %xmm7, %xmm1
1522        aesdec      %xmm7, %xmm2
1523        aesdec      %xmm7, %xmm3
1524        aesdec      %xmm7, %xmm4
1525        aesdec      %xmm0, %xmm1
1526        aesdec      %xmm0, %xmm2
1527        aesdec      %xmm0, %xmm3
1528        aesdec      %xmm0, %xmm4
1529        movdqa      128(%eax), %xmm5
1530        movdqa      144(%eax), %xmm6
1531        movdqa      160(%eax), %xmm7
1532        cmpl        $12, %ebx
1533        aesdec      %xmm5, %xmm1
1534        aesdec      %xmm5, %xmm2
1535        aesdec      %xmm5, %xmm3
1536        aesdec      %xmm5, %xmm4
1537        aesdec      %xmm6, %xmm1
1538        aesdec      %xmm6, %xmm2
1539        aesdec      %xmm6, %xmm3
1540        aesdec      %xmm6, %xmm4
1541        jb          DLAST_4
1542        movdqa      160(%eax), %xmm5
1543        movdqa      176(%eax), %xmm6
1544        movdqa      192(%eax), %xmm7
1545        cmpl        $14, %ebx
1546        aesdec      %xmm5, %xmm1
1547        aesdec      %xmm5, %xmm2
1548        aesdec      %xmm5, %xmm3
1549        aesdec      %xmm5, %xmm4
1550        aesdec      %xmm6, %xmm1
1551        aesdec      %xmm6, %xmm2
1552        aesdec      %xmm6, %xmm3
1553        aesdec      %xmm6, %xmm4
1554        jb          DLAST_4
1555        movdqa      192(%eax), %xmm5
1556        movdqa      208(%eax), %xmm6
1557        movdqa      224(%eax), %xmm7
1558        aesdec      %xmm5, %xmm1
1559        aesdec      %xmm5, %xmm2
1560        aesdec      %xmm5, %xmm3
1561        aesdec      %xmm5, %xmm4
1562        aesdec      %xmm6, %xmm1
1563        aesdec      %xmm6, %xmm2
1564        aesdec      %xmm6, %xmm3
1565        aesdec      %xmm6, %xmm4
1566DLAST_4:
1567        addl        $64, %esi
1568        aesdeclast  %xmm7, %xmm1
1569        aesdeclast  %xmm7, %xmm2
1570        aesdeclast  %xmm7, %xmm3
1571        aesdeclast  %xmm7, %xmm4
1572        movdqu      (%esp), %xmm0
1573        movdqu      (%edi), %xmm5
1574        movdqu      16(%edi), %xmm6
1575        movdqu      32(%edi), %xmm7
1576        pxor        %xmm0, %xmm1
1577        pxor        %xmm5, %xmm2
1578        pxor        %xmm6, %xmm3
1579        pxor        %xmm7, %xmm4
1580        movdqu      48(%edi), %xmm0
1581        movdqu      %xmm1, (%esi)
1582        movdqu      %xmm2, 16(%esi)
1583        movdqu      %xmm3, 32(%esi)
1584        movdqu      %xmm4, 48(%esi)
1585        movdqu      %xmm0, (%esp)
1586        addl        $64, %edi
1587        decl        %ecx
1588        jne         DLOOP_4
1589        addl        $64, %esi
1590DREMAINDER_4:
1591        cmpl        $0, %ebp
1592        je          DEND_4
1593DLOOP_4_2:
1594        movdqu      (%edi), %xmm1
1595        movdqa      %xmm1, %xmm5
1596        addl        $16, %edi
1597        pxor        (%eax), %xmm1
1598        movdqu      160(%eax), %xmm2
1599        cmpl        $12, %ebx
1600        aesdec      16(%eax), %xmm1
1601        aesdec      32(%eax), %xmm1
1602        aesdec      48(%eax), %xmm1
1603        aesdec      64(%eax), %xmm1
1604        aesdec      80(%eax), %xmm1
1605        aesdec      96(%eax), %xmm1
1606        aesdec      112(%eax), %xmm1
1607        aesdec      128(%eax), %xmm1
1608        aesdec      144(%eax), %xmm1
1609        jb          DLAST_4_2
1610        movdqu      192(%eax), %xmm2
1611        cmpl        $14, %ebx
1612        aesdec      160(%eax), %xmm1
1613        aesdec      176(%eax), %xmm1
1614        jb          DLAST_4_2
1615        movdqu      224(%eax), %xmm2
1616        aesdec      192(%eax), %xmm1
1617        aesdec      208(%eax), %xmm1
1618DLAST_4_2:
1619        aesdeclast  %xmm2, %xmm1
1620        pxor        %xmm0, %xmm1
1621        movdqa      %xmm5, %xmm0
1622        movdqu      %xmm1, (%esi)
1623        addl        $16, %esi
1624        decl        %ebp
1625        jne         DLOOP_4_2
1626DEND_4:
1627
1628        addl	$16, %esp
1629        pop	%ebp
1630        pop	%ebx
1631        pop	%esi
1632        pop	%edi
1633        ret
1634
1635/*
1636AES_ECB_encrypt_AESNI (const unsigned char *in,
1637	unsigned char *out,
1638	unsigned long length,
1639	const unsigned char *KS,
1640	int nr)
1641*/
1642#ifndef __APPLE__
1643.globl AES_ECB_encrypt_AESNI
1644AES_ECB_encrypt_AESNI:
1645#else
1646.globl _AES_ECB_encrypt_AESNI
1647_AES_ECB_encrypt_AESNI:
1648#endif
1649# parameter 1: stack[4] => %edi
1650# parameter 2: stack[8] => %esi
1651# parameter 3: stack[12] => %edx
1652# parameter 4: stack[16] => %ecx
1653# parameter 5: stack[20] => %eax
1654        push	%edi
1655        push	%esi
1656        push	%ebx
1657        movl	16(%esp), %edi
1658        movl	20(%esp), %esi
1659        movl	24(%esp), %edx
1660        movl	28(%esp), %ecx
1661        movl	32(%esp), %eax
1662
1663        movl    %edx, %ebx
1664        shrl    $4, %edx
1665        shll    $60, %ebx
1666        je      EECB_NO_PARTS_4
1667        addl    $1, %edx
1668EECB_NO_PARTS_4:
1669        movl    %edx, %ebx
1670        shll    $62, %ebx
1671        shrl    $62, %ebx
1672        shrl    $2, %edx
1673        je      EECB_REMAINDER_4
1674        subl    $64, %esi
1675EECB_LOOP_4:
1676        movdqu  (%edi), %xmm1
1677        movdqu  16(%edi), %xmm2
1678        movdqu  32(%edi), %xmm3
1679        movdqu  48(%edi), %xmm4
1680        movdqa  (%ecx), %xmm5
1681        movdqa  16(%ecx), %xmm6
1682        movdqa  32(%ecx), %xmm7
1683        movdqa  48(%ecx), %xmm0
1684        pxor    %xmm5, %xmm1
1685        pxor    %xmm5, %xmm2
1686        pxor    %xmm5, %xmm3
1687        pxor    %xmm5, %xmm4
1688        aesenc  %xmm6, %xmm1
1689        aesenc  %xmm6, %xmm2
1690        aesenc  %xmm6, %xmm3
1691        aesenc  %xmm6, %xmm4
1692        aesenc  %xmm7, %xmm1
1693        aesenc  %xmm7, %xmm2
1694        aesenc  %xmm7, %xmm3
1695        aesenc  %xmm7, %xmm4
1696        aesenc  %xmm0, %xmm1
1697        aesenc  %xmm0, %xmm2
1698        aesenc  %xmm0, %xmm3
1699        aesenc  %xmm0, %xmm4
1700        movdqa  64(%ecx), %xmm5
1701        movdqa  80(%ecx), %xmm6
1702        movdqa  96(%ecx), %xmm7
1703        movdqa  112(%ecx), %xmm0
1704        aesenc  %xmm5, %xmm1
1705        aesenc  %xmm5, %xmm2
1706        aesenc  %xmm5, %xmm3
1707        aesenc  %xmm5, %xmm4
1708        aesenc  %xmm6, %xmm1
1709        aesenc  %xmm6, %xmm2
1710        aesenc  %xmm6, %xmm3
1711        aesenc  %xmm6, %xmm4
1712        aesenc  %xmm7, %xmm1
1713        aesenc  %xmm7, %xmm2
1714        aesenc  %xmm7, %xmm3
1715        aesenc  %xmm7, %xmm4
1716        aesenc  %xmm0, %xmm1
1717        aesenc  %xmm0, %xmm2
1718        aesenc  %xmm0, %xmm3
1719        aesenc  %xmm0, %xmm4
1720        movdqa  128(%ecx), %xmm5
1721        movdqa  144(%ecx), %xmm6
1722        movdqa  160(%ecx), %xmm7
1723        cmpl    $12, %eax
1724        aesenc  %xmm5, %xmm1
1725        aesenc  %xmm5, %xmm2
1726        aesenc  %xmm5, %xmm3
1727        aesenc  %xmm5, %xmm4
1728        aesenc  %xmm6, %xmm1
1729        aesenc  %xmm6, %xmm2
1730        aesenc  %xmm6, %xmm3
1731        aesenc  %xmm6, %xmm4
1732        jb      EECB_LAST_4
1733        movdqa  160(%ecx), %xmm5
1734        movdqa  176(%ecx), %xmm6
1735        movdqa  192(%ecx), %xmm7
1736        cmpl    $14, %eax
1737        aesenc  %xmm5, %xmm1
1738        aesenc  %xmm5, %xmm2
1739        aesenc  %xmm5, %xmm3
1740        aesenc  %xmm5, %xmm4
1741        aesenc  %xmm6, %xmm1
1742        aesenc  %xmm6, %xmm2
1743        aesenc  %xmm6, %xmm3
1744        aesenc  %xmm6, %xmm4
1745        jb      EECB_LAST_4
1746        movdqa  192(%ecx), %xmm5
1747        movdqa  208(%ecx), %xmm6
1748        movdqa  224(%ecx), %xmm7
1749        aesenc  %xmm5, %xmm1
1750        aesenc  %xmm5, %xmm2
1751        aesenc  %xmm5, %xmm3
1752        aesenc  %xmm5, %xmm4
1753        aesenc  %xmm6, %xmm1
1754        aesenc  %xmm6, %xmm2
1755        aesenc  %xmm6, %xmm3
1756        aesenc  %xmm6, %xmm4
1757EECB_LAST_4:
1758        addl    $64, %edi
1759        addl    $64, %esi
1760        decl    %edx
1761        aesenclast %xmm7, %xmm1
1762        aesenclast %xmm7, %xmm2
1763        aesenclast %xmm7, %xmm3
1764        aesenclast %xmm7, %xmm4
1765        movdqu  %xmm1, (%esi)
1766        movdqu  %xmm2, 16(%esi)
1767        movdqu  %xmm3, 32(%esi)
1768        movdqu  %xmm4, 48(%esi)
1769        jne     EECB_LOOP_4
1770        addl    $64, %esi
1771EECB_REMAINDER_4:
1772        cmpl    $0, %ebx
1773        je      EECB_END_4
1774EECB_LOOP_4_2:
1775        movdqu  (%edi), %xmm1
1776        addl    $16, %edi
1777        pxor    (%ecx), %xmm1
1778        movdqu  160(%ecx), %xmm2
1779        aesenc  16(%ecx), %xmm1
1780        aesenc  32(%ecx), %xmm1
1781        aesenc  48(%ecx), %xmm1
1782        aesenc  64(%ecx), %xmm1
1783        aesenc  80(%ecx), %xmm1
1784        aesenc  96(%ecx), %xmm1
1785        aesenc  112(%ecx), %xmm1
1786        aesenc  128(%ecx), %xmm1
1787        aesenc  144(%ecx), %xmm1
1788        cmpl    $12, %eax
1789        jb      EECB_LAST_4_2
1790        movdqu  192(%ecx), %xmm2
1791        aesenc  160(%ecx), %xmm1
1792        aesenc  176(%ecx), %xmm1
1793        cmpl    $14, %eax
1794        jb      EECB_LAST_4_2
1795        movdqu  224(%ecx), %xmm2
1796        aesenc  192(%ecx), %xmm1
1797        aesenc  208(%ecx), %xmm1
1798EECB_LAST_4_2:
1799        aesenclast %xmm2, %xmm1
1800        movdqu  %xmm1, (%esi)
1801        addl    $16, %esi
1802        decl    %ebx
1803        jne     EECB_LOOP_4_2
1804EECB_END_4:
1805
1806        pop	%ebx
1807        pop	%esi
1808        pop	%edi
1809        ret
1810
1811
1812/*
1813AES_ECB_decrypt_AESNI (const unsigned char *in,
1814  unsigned char *out,
1815  unsigned long length,
1816  const unsigned char *KS,
1817  int nr)
1818*/
1819#ifndef __APPLE__
1820.globl AES_ECB_decrypt_AESNI
1821AES_ECB_decrypt_AESNI:
1822#else
1823.globl _AES_ECB_decrypt_AESNI
1824_AES_ECB_decrypt_AESNI:
1825#endif
1826# parameter 1: stack[4] => %edi
1827# parameter 2: stack[8] => %esi
1828# parameter 3: stack[12] => %edx
1829# parameter 4: stack[16] => %ecx
1830# parameter 5: stack[20] => %eax
1831        push	%edi
1832        push	%esi
1833        push	%ebx
1834        movl	20(%esp), %edi
1835        movl	24(%esp), %esi
1836        movl	28(%esp), %edx
1837        movl	32(%esp), %ecx
1838        movl	36(%esp), %eax
1839
1840
1841        movl    %edx, %ebx
1842        shrl    $4, %edx
1843        shll    $60, %ebx
1844        je      DECB_NO_PARTS_4
1845        addl    $1, %edx
1846DECB_NO_PARTS_4:
1847        movl    %edx, %ebx
1848        shll    $62, %ebx
1849        shrl    $62, %ebx
1850        shrl    $2, %edx
1851        je      DECB_REMAINDER_4
1852        subl    $64, %esi
1853DECB_LOOP_4:
1854        movdqu  (%edi), %xmm1
1855        movdqu  16(%edi), %xmm2
1856        movdqu  32(%edi), %xmm3
1857        movdqu  48(%edi), %xmm4
1858        movdqa  (%ecx), %xmm5
1859        movdqa  16(%ecx), %xmm6
1860        movdqa  32(%ecx), %xmm7
1861        movdqa  48(%ecx), %xmm0
1862        pxor    %xmm5, %xmm1
1863        pxor    %xmm5, %xmm2
1864        pxor    %xmm5, %xmm3
1865        pxor    %xmm5, %xmm4
1866        aesdec  %xmm6, %xmm1
1867        aesdec  %xmm6, %xmm2
1868        aesdec  %xmm6, %xmm3
1869        aesdec  %xmm6, %xmm4
1870        aesdec  %xmm7, %xmm1
1871        aesdec  %xmm7, %xmm2
1872        aesdec  %xmm7, %xmm3
1873        aesdec  %xmm7, %xmm4
1874        aesdec  %xmm0, %xmm1
1875        aesdec  %xmm0, %xmm2
1876        aesdec  %xmm0, %xmm3
1877        aesdec  %xmm0, %xmm4
1878        movdqa  64(%ecx), %xmm5
1879        movdqa  80(%ecx), %xmm6
1880        movdqa  96(%ecx), %xmm7
1881        movdqa  112(%ecx), %xmm0
1882        aesdec  %xmm5, %xmm1
1883        aesdec  %xmm5, %xmm2
1884        aesdec  %xmm5, %xmm3
1885        aesdec  %xmm5, %xmm4
1886        aesdec  %xmm6, %xmm1
1887        aesdec  %xmm6, %xmm2
1888        aesdec  %xmm6, %xmm3
1889        aesdec  %xmm6, %xmm4
1890        aesdec  %xmm7, %xmm1
1891        aesdec  %xmm7, %xmm2
1892        aesdec  %xmm7, %xmm3
1893        aesdec  %xmm7, %xmm4
1894        aesdec  %xmm0, %xmm1
1895        aesdec  %xmm0, %xmm2
1896        aesdec  %xmm0, %xmm3
1897        aesdec  %xmm0, %xmm4
1898        movdqa  128(%ecx), %xmm5
1899        movdqa  144(%ecx), %xmm6
1900        movdqa  160(%ecx), %xmm7
1901        cmpl    $12, %eax
1902        aesdec  %xmm5, %xmm1
1903        aesdec  %xmm5, %xmm2
1904        aesdec  %xmm5, %xmm3
1905        aesdec  %xmm5, %xmm4
1906        aesdec  %xmm6, %xmm1
1907        aesdec  %xmm6, %xmm2
1908        aesdec  %xmm6, %xmm3
1909        aesdec  %xmm6, %xmm4
1910        jb      DECB_LAST_4
1911        movdqa  160(%ecx), %xmm5
1912        movdqa  176(%ecx), %xmm6
1913        movdqa  192(%ecx), %xmm7
1914        cmpl    $14, %eax
1915        aesdec  %xmm5, %xmm1
1916        aesdec  %xmm5, %xmm2
1917        aesdec  %xmm5, %xmm3
1918        aesdec  %xmm5, %xmm4
1919        aesdec  %xmm6, %xmm1
1920        aesdec  %xmm6, %xmm2
1921        aesdec  %xmm6, %xmm3
1922        aesdec  %xmm6, %xmm4
1923        jb      DECB_LAST_4
1924        movdqa  192(%ecx), %xmm5
1925        movdqa  208(%ecx), %xmm6
1926        movdqa  224(%ecx), %xmm7
1927        aesdec  %xmm5, %xmm1
1928        aesdec  %xmm5, %xmm2
1929        aesdec  %xmm5, %xmm3
1930        aesdec  %xmm5, %xmm4
1931        aesdec  %xmm6, %xmm1
1932        aesdec  %xmm6, %xmm2
1933        aesdec  %xmm6, %xmm3
1934        aesdec  %xmm6, %xmm4
1935DECB_LAST_4:
1936        addl    $64, %edi
1937        addl    $64, %esi
1938        decl    %edx
1939        aesdeclast %xmm7, %xmm1
1940        aesdeclast %xmm7, %xmm2
1941        aesdeclast %xmm7, %xmm3
1942        aesdeclast %xmm7, %xmm4
1943        movdqu  %xmm1, (%esi)
1944        movdqu  %xmm2, 16(%esi)
1945        movdqu  %xmm3, 32(%esi)
1946        movdqu  %xmm4, 48(%esi)
1947        jne     DECB_LOOP_4
1948        addl    $64, %esi
1949DECB_REMAINDER_4:
1950        cmpl    $0, %ebx
1951        je      DECB_END_4
1952DECB_LOOP_4_2:
1953        movdqu  (%edi), %xmm1
1954        addl    $16, %edi
1955        pxor    (%ecx), %xmm1
1956        movdqu  160(%ecx), %xmm2
1957        cmpl    $12, %eax
1958        aesdec  16(%ecx), %xmm1
1959        aesdec  32(%ecx), %xmm1
1960        aesdec  48(%ecx), %xmm1
1961        aesdec  64(%ecx), %xmm1
1962        aesdec  80(%ecx), %xmm1
1963        aesdec  96(%ecx), %xmm1
1964        aesdec  112(%ecx), %xmm1
1965        aesdec  128(%ecx), %xmm1
1966        aesdec  144(%ecx), %xmm1
1967        jb      DECB_LAST_4_2
1968        cmpl    $14, %eax
1969        movdqu  192(%ecx), %xmm2
1970        aesdec  160(%ecx), %xmm1
1971        aesdec  176(%ecx), %xmm1
1972        jb      DECB_LAST_4_2
1973        movdqu  224(%ecx), %xmm2
1974        aesdec  192(%ecx), %xmm1
1975        aesdec  208(%ecx), %xmm1
1976DECB_LAST_4_2:
1977        aesdeclast %xmm2, %xmm1
1978        movdqu  %xmm1, (%esi)
1979        addl    $16, %esi
1980        decl    %ebx
1981        jne     DECB_LOOP_4_2
1982DECB_END_4:
1983        pop	%ebx
1984        pop	%esi
1985        pop	%edi
1986        ret
1987
1988
1989
1990/*
1991void AES_128_Key_Expansion_AESNI(const unsigned char* userkey,
1992   unsigned char* key_schedule);
1993*/
1994#ifndef __APPLE__
1995.globl AES_128_Key_Expansion_AESNI
1996.align  16,0x90
1997AES_128_Key_Expansion_AESNI:
1998#else
1999.globl _AES_128_Key_Expansion_AESNI
2000.p2align  4
2001_AES_128_Key_Expansion_AESNI:
2002#endif
2003        # parameter 1: stack[4] => %eax
2004        # parameter 2: stack[8] => %edx
2005        movl	4(%esp), %eax
2006        movl	8(%esp), %edx
2007
2008        movl    $10, 240(%edx)
2009
2010        movdqu  (%eax), %xmm1
2011        movdqa    %xmm1, (%edx)
2012
2013
2014ASSISTS:
2015        aeskeygenassist $1, %xmm1, %xmm2
2016        call PREPARE_ROUNDKEY_128
2017        movdqa %xmm1, 16(%edx)
2018        aeskeygenassist $2, %xmm1, %xmm2
2019        call PREPARE_ROUNDKEY_128
2020        movdqa %xmm1, 32(%edx)
2021        aeskeygenassist $4, %xmm1, %xmm2
2022        call PREPARE_ROUNDKEY_128
2023        movdqa %xmm1, 48(%edx)
2024        aeskeygenassist $8, %xmm1, %xmm2
2025        call PREPARE_ROUNDKEY_128
2026        movdqa %xmm1, 64(%edx)
2027        aeskeygenassist $16, %xmm1, %xmm2
2028        call PREPARE_ROUNDKEY_128
2029        movdqa %xmm1, 80(%edx)
2030        aeskeygenassist $32, %xmm1, %xmm2
2031        call PREPARE_ROUNDKEY_128
2032        movdqa %xmm1, 96(%edx)
2033        aeskeygenassist $64, %xmm1, %xmm2
2034        call PREPARE_ROUNDKEY_128
2035        movdqa %xmm1, 112(%edx)
2036        aeskeygenassist $0x80, %xmm1, %xmm2
2037        call PREPARE_ROUNDKEY_128
2038        movdqa %xmm1, 128(%edx)
2039        aeskeygenassist $0x1b, %xmm1, %xmm2
2040        call PREPARE_ROUNDKEY_128
2041        movdqa %xmm1, 144(%edx)
2042        aeskeygenassist $0x36, %xmm1, %xmm2
2043        call PREPARE_ROUNDKEY_128
2044        movdqa %xmm1, 160(%edx)
2045        ret
2046
2047PREPARE_ROUNDKEY_128:
2048        pshufd $255, %xmm2, %xmm2
2049        movdqa %xmm1, %xmm3
2050        pslldq $4, %xmm3
2051        pxor %xmm3, %xmm1
2052        pslldq $4, %xmm3
2053        pxor %xmm3, %xmm1
2054        pslldq $4, %xmm3
2055        pxor %xmm3, %xmm1
2056        pxor %xmm2, %xmm1
2057        ret
2058
2059
2060/*
2061void AES_192_Key_Expansion_AESNI (const unsigned char *userkey,
2062  unsigned char *key)
2063*/
2064#ifndef __APPLE__
2065.globl AES_192_Key_Expansion_AESNI
2066AES_192_Key_Expansion_AESNI:
2067#else
2068.globl _AES_192_Key_Expansion_AESNI
2069_AES_192_Key_Expansion_AESNI:
2070#endif
2071        # parameter 1: stack[4] => %eax
2072        # parameter 2: stack[8] => %edx
2073        movl	4(%esp), %eax
2074        movl	8(%esp), %edx
2075
2076        movdqu (%eax), %xmm1
2077        movq 16(%eax), %xmm3
2078        movdqa %xmm1, (%edx)
2079        movdqa %xmm3, %xmm5
2080
2081        aeskeygenassist $0x1, %xmm3, %xmm2
2082        call PREPARE_ROUNDKEY_192
2083        shufpd $0, %xmm1, %xmm5
2084        movdqa %xmm5, 16(%edx)
2085        movdqa %xmm1, %xmm6
2086        shufpd $1, %xmm3, %xmm6
2087        movdqa %xmm6, 32(%edx)
2088
2089        aeskeygenassist $0x2, %xmm3, %xmm2
2090        call PREPARE_ROUNDKEY_192
2091        movdqa %xmm1, 48(%edx)
2092        movdqa %xmm3, %xmm5
2093
2094        aeskeygenassist $0x4, %xmm3, %xmm2
2095        call PREPARE_ROUNDKEY_192
2096        shufpd $0, %xmm1, %xmm5
2097        movdqa %xmm5, 64(%edx)
2098        movdqa %xmm1, %xmm6
2099        shufpd $1, %xmm3, %xmm6
2100        movdqa %xmm6, 80(%edx)
2101
2102        aeskeygenassist $0x8, %xmm3, %xmm2
2103        call PREPARE_ROUNDKEY_192
2104        movdqa %xmm1, 96(%edx)
2105        movdqa %xmm3, %xmm5
2106
2107        aeskeygenassist $0x10, %xmm3, %xmm2
2108        call PREPARE_ROUNDKEY_192
2109        shufpd $0, %xmm1, %xmm5
2110        movdqa %xmm5, 112(%edx)
2111        movdqa %xmm1, %xmm6
2112        shufpd $1, %xmm3, %xmm6
2113        movdqa %xmm6, 128(%edx)
2114
2115        aeskeygenassist $0x20, %xmm3, %xmm2
2116        call PREPARE_ROUNDKEY_192
2117        movdqa %xmm1, 144(%edx)
2118        movdqa %xmm3, %xmm5
2119
2120        aeskeygenassist $0x40, %xmm3, %xmm2
2121        call PREPARE_ROUNDKEY_192
2122        shufpd $0, %xmm1, %xmm5
2123        movdqa %xmm5, 160(%edx)
2124        movdqa %xmm1, %xmm6
2125        shufpd $1, %xmm3, %xmm6
2126        movdqa %xmm6, 176(%edx)
2127
2128        aeskeygenassist $0x80, %xmm3, %xmm2
2129        call PREPARE_ROUNDKEY_192
2130        movdqa %xmm1, 192(%edx)
2131        movdqa %xmm3, 208(%edx)
2132        ret
2133
2134PREPARE_ROUNDKEY_192:
2135        pshufd $0x55, %xmm2, %xmm2
2136        movdqu %xmm1, %xmm4
2137        pslldq $4, %xmm4
2138        pxor   %xmm4, %xmm1
2139
2140        pslldq $4, %xmm4
2141        pxor   %xmm4, %xmm1
2142        pslldq $4, %xmm4
2143        pxor  %xmm4, %xmm1
2144        pxor   %xmm2, %xmm1
2145        pshufd $0xff, %xmm1, %xmm2
2146        movdqu %xmm3, %xmm4
2147        pslldq $4, %xmm4
2148        pxor   %xmm4, %xmm3
2149        pxor   %xmm2, %xmm3
2150        ret
2151
2152
2153/*
2154void AES_256_Key_Expansion_AESNI (const unsigned char *userkey,
2155  unsigned char *key)
2156*/
2157#ifndef __APPLE__
2158.globl AES_256_Key_Expansion_AESNI
2159AES_256_Key_Expansion_AESNI:
2160#else
2161.globl _AES_256_Key_Expansion_AESNI
2162_AES_256_Key_Expansion_AESNI:
2163#endif
2164        # parameter 1: stack[4] => %eax
2165        # parameter 2: stack[8] => %edx
2166        movl	4(%esp), %eax
2167        movl	8(%esp), %edx
2168
2169        movdqu (%eax), %xmm1
2170        movdqu 16(%eax), %xmm3
2171        movdqa %xmm1, (%edx)
2172        movdqa %xmm3, 16(%edx)
2173
2174        aeskeygenassist $0x1, %xmm3, %xmm2
2175        call MAKE_RK256_a
2176        movdqa %xmm1, 32(%edx)
2177        aeskeygenassist $0x0, %xmm1, %xmm2
2178        call MAKE_RK256_b
2179        movdqa %xmm3, 48(%edx)
2180        aeskeygenassist $0x2, %xmm3, %xmm2
2181        call MAKE_RK256_a
2182        movdqa %xmm1, 64(%edx)
2183        aeskeygenassist $0x0, %xmm1, %xmm2
2184        call MAKE_RK256_b
2185        movdqa %xmm3, 80(%edx)
2186        aeskeygenassist $0x4, %xmm3, %xmm2
2187        call MAKE_RK256_a
2188        movdqa %xmm1, 96(%edx)
2189        aeskeygenassist $0x0, %xmm1, %xmm2
2190        call MAKE_RK256_b
2191        movdqa %xmm3, 112(%edx)
2192        aeskeygenassist $0x8, %xmm3, %xmm2
2193        call MAKE_RK256_a
2194        movdqa %xmm1, 128(%edx)
2195        aeskeygenassist $0x0, %xmm1, %xmm2
2196        call MAKE_RK256_b
2197        movdqa %xmm3, 144(%edx)
2198        aeskeygenassist $0x10, %xmm3, %xmm2
2199        call MAKE_RK256_a
2200        movdqa %xmm1, 160(%edx)
2201        aeskeygenassist $0x0, %xmm1, %xmm2
2202        call MAKE_RK256_b
2203        movdqa %xmm3, 176(%edx)
2204        aeskeygenassist $0x20, %xmm3, %xmm2
2205        call MAKE_RK256_a
2206        movdqa %xmm1, 192(%edx)
2207
2208        aeskeygenassist $0x0, %xmm1, %xmm2
2209        call MAKE_RK256_b
2210        movdqa %xmm3, 208(%edx)
2211        aeskeygenassist $0x40, %xmm3, %xmm2
2212        call MAKE_RK256_a
2213        movdqa %xmm1, 224(%edx)
2214
2215        ret
2216
2217MAKE_RK256_a:
2218        pshufd $0xff, %xmm2, %xmm2
2219        movdqa %xmm1, %xmm4
2220        pslldq $4, %xmm4
2221        pxor   %xmm4, %xmm1
2222        pslldq $4, %xmm4
2223        pxor  %xmm4, %xmm1
2224        pslldq $4, %xmm4
2225        pxor  %xmm4, %xmm1
2226        pxor   %xmm2, %xmm1
2227        ret
2228
2229MAKE_RK256_b:
2230        pshufd $0xaa, %xmm2, %xmm2
2231        movdqa %xmm3, %xmm4
2232        pslldq $4, %xmm4
2233        pxor   %xmm4, %xmm3
2234        pslldq $4, %xmm4
2235        pxor  %xmm4, %xmm3
2236        pslldq $4, %xmm4
2237        pxor  %xmm4, %xmm3
2238        pxor   %xmm2, %xmm3
2239        ret
2240
2241#endif /* WOLFSSL_X86_64_BUILD */
2242
2243#if defined(__linux__) && defined(__ELF__)
2244    .section .note.GNU-stack,"",%progbits
2245#endif
2246