mirror of
https://github.com/henrydcase/pqc.git
synced 2024-11-27 01:41:40 +00:00
5450 lines
117 KiB
ArmAsm
5450 lines
117 KiB
ArmAsm
.data
|
|
.p2align 5
|
|
mask_3:
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
.word 0x03
|
|
low16:
|
|
.word 0xFFFF
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
const_all_1s:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
const_1:
|
|
.word 1
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
const_64:
|
|
.word 64
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
const_all_but_1:
|
|
.word 0xFFFE
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
const_high_1:
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0x8000
|
|
const_high_2:
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0xC000
|
|
const_high_4:
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0xF000
|
|
const_high_8:
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0xFF00
|
|
const_high_16:
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0xFFFF
|
|
const_high_32:
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
const_high_64:
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
const_high_67:
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0xE000
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
const_all_but_high_1:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x7FFF
|
|
const_all_but_high_2:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x3FFF
|
|
const_all_but_high_4:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x0FFF
|
|
const_all_but_high_8:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x00FF
|
|
const_all_but_high_16:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x0000
|
|
const_all_but_high_32:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x0000
|
|
.word 0x0000
|
|
const_all_but_high_64:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
.word 0x0000
|
|
const_all_but_high_67:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x1FFF
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
const_all_but_high_68:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x0FFF
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
const_all_but_high_70:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x03FF
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
const_all_but_high_74:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x003F
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
const_all_but_high_82:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x3FFF
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
const_all_but_high_98:
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0xFFFF
|
|
.word 0x3FFF
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.word 0
|
|
.text
|
|
.global PQCLEAN_NTRUHRSS701_AVX2_poly_S3_inv
|
|
.global _PQCLEAN_NTRUHRSS701_AVX2_poly_S3_inv
|
|
PQCLEAN_NTRUHRSS701_AVX2_poly_S3_inv:
|
|
_PQCLEAN_NTRUHRSS701_AVX2_poly_S3_inv:
|
|
push %r12
|
|
push %r13
|
|
push %r14
|
|
mov %rsp, %r8
|
|
andq $-32, %rsp
|
|
subq $768, %rsp
|
|
mov $281479271743489, %r9
|
|
mov $562958543486978, %rdx
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 0(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 8(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 16(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 24(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 32(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 40(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 48(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 56(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 64(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 72(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 80(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 88(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 96(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 104(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 112(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 120(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 0(%rsp)
|
|
mov %r11, 96(%rsp)
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 128(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 136(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 144(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 152(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 160(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 168(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 176(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 184(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 192(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 200(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 208(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 216(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 224(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 232(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 240(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 248(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 8(%rsp)
|
|
mov %r11, 104(%rsp)
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 256(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 264(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 272(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 280(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 288(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 296(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 304(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 312(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 320(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 328(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 336(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 344(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 352(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 360(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 368(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 376(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 16(%rsp)
|
|
mov %r11, 112(%rsp)
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 384(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 392(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 400(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 408(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 416(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 424(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 432(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 440(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 448(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 456(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 464(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 472(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 480(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 488(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 496(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 504(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 24(%rsp)
|
|
mov %r11, 120(%rsp)
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 512(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 520(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 528(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 536(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 544(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 552(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 560(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 568(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 576(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 584(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 592(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 600(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 608(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 616(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 624(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 632(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 32(%rsp)
|
|
mov %r11, 128(%rsp)
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 640(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 648(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 656(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 664(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 672(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 680(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 688(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 696(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 704(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 712(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 720(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 728(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 736(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 744(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 752(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 760(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 40(%rsp)
|
|
mov %r11, 136(%rsp)
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 768(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 776(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 784(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 792(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 800(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 808(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 816(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 824(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 832(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 840(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 848(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 856(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 864(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 872(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 880(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 888(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 48(%rsp)
|
|
mov %r11, 144(%rsp)
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 896(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 904(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 912(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 920(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 928(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 936(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 944(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 952(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 960(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 968(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 976(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 984(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 992(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1000(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1008(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1016(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 56(%rsp)
|
|
mov %r11, 152(%rsp)
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 1024(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1032(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1040(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1048(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1056(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1064(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1072(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1080(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1088(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1096(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1104(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1112(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1120(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1128(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1136(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1144(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 64(%rsp)
|
|
mov %r11, 160(%rsp)
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 1152(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1160(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1168(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1176(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1184(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1192(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1200(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1208(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1216(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1224(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1232(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1240(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1248(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1256(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1264(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1272(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 72(%rsp)
|
|
mov %r11, 168(%rsp)
|
|
mov $0, %r10
|
|
mov $0, %r11
|
|
mov 1280(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1288(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $4, %rcx
|
|
shl $4, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1296(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $8, %rcx
|
|
shl $8, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1304(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $12, %rcx
|
|
shl $12, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1312(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $16, %rcx
|
|
shl $16, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1320(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $20, %rcx
|
|
shl $20, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1328(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $24, %rcx
|
|
shl $24, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1336(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $28, %rcx
|
|
shl $28, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1344(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $32, %rcx
|
|
shl $32, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1352(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $36, %rcx
|
|
shl $36, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1360(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $40, %rcx
|
|
shl $40, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1368(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $44, %rcx
|
|
shl $44, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1376(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $48, %rcx
|
|
shl $48, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1384(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $52, %rcx
|
|
shl $52, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1392(%rsi), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $56, %rcx
|
|
shl $56, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov 1400(%rsi), %rax
|
|
and low16(%rip), %rax
|
|
pext %r9, %rax, %rcx
|
|
pext %rdx, %rax, %rax
|
|
shl $60, %rcx
|
|
shl $60, %rax
|
|
or %rcx, %r10
|
|
or %rax, %r11
|
|
mov %r10, 80(%rsp)
|
|
mov %r11, 176(%rsp)
|
|
vpxor %ymm11, %ymm11, %ymm11
|
|
vmovdqa %ymm11, 416(%rsp)
|
|
vmovdqa %ymm11, 448(%rsp)
|
|
vmovdqa %ymm11, 480(%rsp)
|
|
vmovdqa %ymm11, 512(%rsp)
|
|
vmovdqa %ymm11, 544(%rsp)
|
|
mov $1, %r9
|
|
vmovq %r9, %xmm1
|
|
vmovdqa %ymm1, 384(%rsp)
|
|
vmovdqa %ymm11, 576(%rsp)
|
|
vmovdqa %ymm11, 608(%rsp)
|
|
vmovdqa %ymm11, 640(%rsp)
|
|
vmovdqa %ymm11, 672(%rsp)
|
|
vmovdqa %ymm11, 704(%rsp)
|
|
vmovdqa %ymm11, 736(%rsp)
|
|
vmovdqa const_all_1s(%rip), %ymm2
|
|
vmovdqa %ymm11, 288(%rsp)
|
|
vmovdqa %ymm11, 320(%rsp)
|
|
vmovdqa %ymm11, 352(%rsp)
|
|
vmovdqa %ymm2, 192(%rsp)
|
|
vmovdqa %ymm2, 224(%rsp)
|
|
vmovdqa const_all_but_high_67(%rip), %ymm2
|
|
vmovdqa %ymm2, 256(%rsp)
|
|
mov $700, %r9
|
|
mov $700, %r10
|
|
mov $0, %rax
|
|
mov $1, %rdx
|
|
vmovdqa 0(%rsp), %ymm0
|
|
vmovdqa 32(%rsp), %ymm1
|
|
vmovdqa 64(%rsp), %ymm2
|
|
vmovdqa 96(%rsp), %ymm3
|
|
vmovdqa 128(%rsp), %ymm4
|
|
vmovdqa 160(%rsp), %ymm5
|
|
mov $256, %ecx
|
|
poly_s3_inv_loop_0:
|
|
vpand 192(%rsp), %ymm0, %ymm10
|
|
vpand 288(%rsp), %ymm3, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vpand 192(%rsp), %ymm3, %ymm11
|
|
vpand 288(%rsp), %ymm0, %ymm15
|
|
vpxor %ymm11, %ymm15, %ymm11
|
|
vpand %ymm10, %ymm11, %ymm15
|
|
vpxor %ymm15, %ymm10, %ymm10
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpand const_1(%rip), %ymm11, %ymm11
|
|
vpand const_1(%rip), %ymm10, %ymm10
|
|
vpxor %ymm15, %ymm15, %ymm15
|
|
vpsubq %ymm11, %ymm15, %ymm11
|
|
vpsubq %ymm10, %ymm15, %ymm10
|
|
vbroadcastsd %xmm11, %ymm11
|
|
vbroadcastsd %xmm10, %ymm10
|
|
neg %rdx
|
|
vmovq %rdx, %xmm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpand %ymm11, %ymm12, %ymm11
|
|
vpand %ymm10, %ymm12, %ymm10
|
|
vpor %ymm11, %ymm10, %ymm9
|
|
mov %r9, %r12
|
|
sub %r10, %r12
|
|
shr $63, %r12
|
|
neg %r12
|
|
vmovq %r12, %xmm13
|
|
vbroadcastsd %xmm13, %ymm13
|
|
vpand %ymm13, %ymm9, %ymm9
|
|
vmovq %xmm9, %r12
|
|
mov %r9, %r13
|
|
xor %r10, %r13
|
|
and %r12, %r13
|
|
xor %r13, %r10
|
|
xor %r13, %r9
|
|
vpxor 192(%rsp), %ymm0, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm0, %ymm15, %ymm0
|
|
vpxor 192(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 192(%rsp)
|
|
vpxor 288(%rsp), %ymm3, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor 288(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 288(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm0, %ymm13, %ymm15
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpand %ymm3, %ymm14, %ymm13
|
|
vpxor %ymm3, %ymm14, %ymm3
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpor %ymm0, %ymm13, %ymm0
|
|
vpandn %ymm3, %ymm13, %ymm3
|
|
vpand %ymm0, %ymm3, %ymm13
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpxor %ymm3, %ymm13, %ymm3
|
|
vpxor 224(%rsp), %ymm1, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm1, %ymm15, %ymm1
|
|
vpxor 224(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 224(%rsp)
|
|
vpxor 320(%rsp), %ymm4, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor 320(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 320(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm1, %ymm13, %ymm15
|
|
vpxor %ymm1, %ymm13, %ymm1
|
|
vpand %ymm4, %ymm14, %ymm13
|
|
vpxor %ymm4, %ymm14, %ymm4
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpor %ymm1, %ymm13, %ymm1
|
|
vpandn %ymm4, %ymm13, %ymm4
|
|
vpand %ymm1, %ymm4, %ymm13
|
|
vpxor %ymm1, %ymm13, %ymm1
|
|
vpxor %ymm4, %ymm13, %ymm4
|
|
vpxor 256(%rsp), %ymm2, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm2, %ymm15, %ymm2
|
|
vpxor 256(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 256(%rsp)
|
|
vpxor 352(%rsp), %ymm5, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpxor 352(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 352(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm2, %ymm13, %ymm15
|
|
vpxor %ymm2, %ymm13, %ymm2
|
|
vpand %ymm5, %ymm14, %ymm13
|
|
vpxor %ymm5, %ymm14, %ymm5
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpor %ymm2, %ymm13, %ymm2
|
|
vpandn %ymm5, %ymm13, %ymm5
|
|
vpand %ymm2, %ymm5, %ymm13
|
|
vpxor %ymm2, %ymm13, %ymm2
|
|
vpxor %ymm5, %ymm13, %ymm5
|
|
vmovdqa 384(%rsp), %ymm6
|
|
vpxor 576(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 576(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 576(%rsp)
|
|
vmovdqa 480(%rsp), %ymm7
|
|
vpxor 672(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 672(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 672(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 384(%rsp)
|
|
vmovdqa %ymm7, 480(%rsp)
|
|
vmovdqa 576(%rsp), %ymm6
|
|
vpsllq $1, %ymm6, %ymm15
|
|
vpsrlq $63, %ymm6, %ymm14
|
|
vpermq $147, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_all_but_1(%rip), %ymm7, %ymm7
|
|
vpxor %ymm6, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vmovdqa %ymm6, 576(%rsp)
|
|
vpsrlq $1, %ymm2, %ymm15
|
|
vpsllq $63, %ymm2, %ymm14
|
|
vpermq $57, %ymm14, %ymm8
|
|
vpxor %ymm15, %ymm8, %ymm8
|
|
vpand const_high_1(%rip), %ymm8, %ymm13
|
|
vpand const_all_but_high_67(%rip), %ymm8, %ymm8
|
|
vpsrlq $1, %ymm1, %ymm15
|
|
vpsllq $63, %ymm1, %ymm14
|
|
vpermq $57, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_high_1(%rip), %ymm7, %ymm15
|
|
vpand const_all_but_high_1(%rip), %ymm7, %ymm7
|
|
vpxor %ymm13, %ymm7, %ymm7
|
|
vpsrlq $1, %ymm0, %ymm13
|
|
vpsllq $63, %ymm0, %ymm14
|
|
vpermq $57, %ymm14, %ymm6
|
|
vpxor %ymm13, %ymm6, %ymm6
|
|
vpand const_all_but_high_1(%rip), %ymm6, %ymm6
|
|
vpxor %ymm15, %ymm6, %ymm6
|
|
vpxor %ymm0, %ymm6, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm0, %ymm15, %ymm0
|
|
vpxor %ymm1, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm1, %ymm15, %ymm1
|
|
vpxor %ymm2, %ymm8, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm2, %ymm15, %ymm2
|
|
vmovdqa 672(%rsp), %ymm6
|
|
vpsllq $1, %ymm6, %ymm15
|
|
vpsrlq $63, %ymm6, %ymm14
|
|
vpermq $147, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_all_but_1(%rip), %ymm7, %ymm7
|
|
vpxor %ymm6, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vmovdqa %ymm6, 672(%rsp)
|
|
vpsrlq $1, %ymm5, %ymm15
|
|
vpsllq $63, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm8
|
|
vpxor %ymm15, %ymm8, %ymm8
|
|
vpand const_high_1(%rip), %ymm8, %ymm13
|
|
vpand const_all_but_high_67(%rip), %ymm8, %ymm8
|
|
vpsrlq $1, %ymm4, %ymm15
|
|
vpsllq $63, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_high_1(%rip), %ymm7, %ymm15
|
|
vpand const_all_but_high_1(%rip), %ymm7, %ymm7
|
|
vpxor %ymm13, %ymm7, %ymm7
|
|
vpsrlq $1, %ymm3, %ymm13
|
|
vpsllq $63, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm6
|
|
vpxor %ymm13, %ymm6, %ymm6
|
|
vpand const_all_but_high_1(%rip), %ymm6, %ymm6
|
|
vpxor %ymm15, %ymm6, %ymm6
|
|
vpxor %ymm3, %ymm6, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm8, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
add %rdx, %r9
|
|
sub %rdx, %rax
|
|
mov %r9, %rdx
|
|
sub $1, %rdx
|
|
shr $63, %rdx
|
|
not %rdx
|
|
and $1, %rdx
|
|
dec %ecx
|
|
jns poly_s3_inv_loop_0
|
|
mov $256, %ecx
|
|
poly_s3_inv_loop_1:
|
|
vpand 192(%rsp), %ymm0, %ymm10
|
|
vpand 288(%rsp), %ymm3, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vpand 192(%rsp), %ymm3, %ymm11
|
|
vpand 288(%rsp), %ymm0, %ymm15
|
|
vpxor %ymm11, %ymm15, %ymm11
|
|
vpand %ymm10, %ymm11, %ymm15
|
|
vpxor %ymm15, %ymm10, %ymm10
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpand const_1(%rip), %ymm11, %ymm11
|
|
vpand const_1(%rip), %ymm10, %ymm10
|
|
vpxor %ymm15, %ymm15, %ymm15
|
|
vpsubq %ymm11, %ymm15, %ymm11
|
|
vpsubq %ymm10, %ymm15, %ymm10
|
|
vbroadcastsd %xmm11, %ymm11
|
|
vbroadcastsd %xmm10, %ymm10
|
|
neg %rdx
|
|
vmovq %rdx, %xmm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpand %ymm11, %ymm12, %ymm11
|
|
vpand %ymm10, %ymm12, %ymm10
|
|
vpor %ymm11, %ymm10, %ymm9
|
|
mov %r9, %r12
|
|
sub %r10, %r12
|
|
shr $63, %r12
|
|
neg %r12
|
|
vmovq %r12, %xmm13
|
|
vbroadcastsd %xmm13, %ymm13
|
|
vpand %ymm13, %ymm9, %ymm9
|
|
vmovq %xmm9, %r12
|
|
mov %r9, %r13
|
|
xor %r10, %r13
|
|
and %r12, %r13
|
|
xor %r13, %r10
|
|
xor %r13, %r9
|
|
vpxor 192(%rsp), %ymm0, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm0, %ymm15, %ymm0
|
|
vpxor 192(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 192(%rsp)
|
|
vpxor 288(%rsp), %ymm3, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor 288(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 288(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm0, %ymm13, %ymm15
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpand %ymm3, %ymm14, %ymm13
|
|
vpxor %ymm3, %ymm14, %ymm3
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpor %ymm0, %ymm13, %ymm0
|
|
vpandn %ymm3, %ymm13, %ymm3
|
|
vpand %ymm0, %ymm3, %ymm13
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpxor %ymm3, %ymm13, %ymm3
|
|
vpxor 224(%rsp), %ymm1, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm1, %ymm15, %ymm1
|
|
vpxor 224(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 224(%rsp)
|
|
vpxor 320(%rsp), %ymm4, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor 320(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 320(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm1, %ymm13, %ymm15
|
|
vpxor %ymm1, %ymm13, %ymm1
|
|
vpand %ymm4, %ymm14, %ymm13
|
|
vpxor %ymm4, %ymm14, %ymm4
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpor %ymm1, %ymm13, %ymm1
|
|
vpandn %ymm4, %ymm13, %ymm4
|
|
vpand %ymm1, %ymm4, %ymm13
|
|
vpxor %ymm1, %ymm13, %ymm1
|
|
vpxor %ymm4, %ymm13, %ymm4
|
|
vpxor 256(%rsp), %ymm2, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm2, %ymm15, %ymm2
|
|
vpxor 256(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 256(%rsp)
|
|
vpxor 352(%rsp), %ymm5, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpxor 352(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 352(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm2, %ymm13, %ymm15
|
|
vpxor %ymm2, %ymm13, %ymm2
|
|
vpand %ymm5, %ymm14, %ymm13
|
|
vpxor %ymm5, %ymm14, %ymm5
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpor %ymm2, %ymm13, %ymm2
|
|
vpandn %ymm5, %ymm13, %ymm5
|
|
vpand %ymm2, %ymm5, %ymm13
|
|
vpxor %ymm2, %ymm13, %ymm2
|
|
vpxor %ymm5, %ymm13, %ymm5
|
|
vmovdqa 384(%rsp), %ymm6
|
|
vpxor 576(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 576(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 576(%rsp)
|
|
vmovdqa 480(%rsp), %ymm7
|
|
vpxor 672(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 672(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 672(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 384(%rsp)
|
|
vmovdqa %ymm7, 480(%rsp)
|
|
vmovdqa 416(%rsp), %ymm6
|
|
vpxor 608(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 608(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 608(%rsp)
|
|
vmovdqa 512(%rsp), %ymm7
|
|
vpxor 704(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 704(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 704(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 416(%rsp)
|
|
vmovdqa %ymm7, 512(%rsp)
|
|
vmovdqa 576(%rsp), %ymm6
|
|
vmovdqa 608(%rsp), %ymm8
|
|
vpsllq $1, %ymm6, %ymm15
|
|
vpsrlq $63, %ymm6, %ymm14
|
|
vpermq $147, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_1(%rip), %ymm7, %ymm13
|
|
vpand const_all_but_1(%rip), %ymm7, %ymm7
|
|
vpsllq $1, %ymm8, %ymm15
|
|
vpsrlq $63, %ymm8, %ymm14
|
|
vpermq $147, %ymm14, %ymm9
|
|
vpxor %ymm15, %ymm9, %ymm9
|
|
vpand const_1(%rip), %ymm9, %ymm15
|
|
vpand const_all_but_1(%rip), %ymm9, %ymm9
|
|
vpxor %ymm13, %ymm9, %ymm9
|
|
vpxor %ymm6, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vmovdqa %ymm6, 576(%rsp)
|
|
vpxor %ymm8, %ymm9, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm8, %ymm15, %ymm8
|
|
vmovdqa %ymm8, 608(%rsp)
|
|
vpsrlq $1, %ymm2, %ymm15
|
|
vpsllq $63, %ymm2, %ymm14
|
|
vpermq $57, %ymm14, %ymm8
|
|
vpxor %ymm15, %ymm8, %ymm8
|
|
vpand const_high_1(%rip), %ymm8, %ymm13
|
|
vpand const_all_but_high_67(%rip), %ymm8, %ymm8
|
|
vpsrlq $1, %ymm1, %ymm15
|
|
vpsllq $63, %ymm1, %ymm14
|
|
vpermq $57, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_high_1(%rip), %ymm7, %ymm15
|
|
vpand const_all_but_high_1(%rip), %ymm7, %ymm7
|
|
vpxor %ymm13, %ymm7, %ymm7
|
|
vpsrlq $1, %ymm0, %ymm13
|
|
vpsllq $63, %ymm0, %ymm14
|
|
vpermq $57, %ymm14, %ymm6
|
|
vpxor %ymm13, %ymm6, %ymm6
|
|
vpand const_all_but_high_1(%rip), %ymm6, %ymm6
|
|
vpxor %ymm15, %ymm6, %ymm6
|
|
vpxor %ymm0, %ymm6, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm0, %ymm15, %ymm0
|
|
vpxor %ymm1, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm1, %ymm15, %ymm1
|
|
vpxor %ymm2, %ymm8, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm2, %ymm15, %ymm2
|
|
vmovdqa 672(%rsp), %ymm6
|
|
vmovdqa 704(%rsp), %ymm8
|
|
vpsllq $1, %ymm6, %ymm15
|
|
vpsrlq $63, %ymm6, %ymm14
|
|
vpermq $147, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_1(%rip), %ymm7, %ymm13
|
|
vpand const_all_but_1(%rip), %ymm7, %ymm7
|
|
vpsllq $1, %ymm8, %ymm15
|
|
vpsrlq $63, %ymm8, %ymm14
|
|
vpermq $147, %ymm14, %ymm9
|
|
vpxor %ymm15, %ymm9, %ymm9
|
|
vpand const_1(%rip), %ymm9, %ymm15
|
|
vpand const_all_but_1(%rip), %ymm9, %ymm9
|
|
vpxor %ymm13, %ymm9, %ymm9
|
|
vpxor %ymm6, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vmovdqa %ymm6, 672(%rsp)
|
|
vpxor %ymm8, %ymm9, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm8, %ymm15, %ymm8
|
|
vmovdqa %ymm8, 704(%rsp)
|
|
vpsrlq $1, %ymm5, %ymm15
|
|
vpsllq $63, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm8
|
|
vpxor %ymm15, %ymm8, %ymm8
|
|
vpand const_high_1(%rip), %ymm8, %ymm13
|
|
vpand const_all_but_high_67(%rip), %ymm8, %ymm8
|
|
vpsrlq $1, %ymm4, %ymm15
|
|
vpsllq $63, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_high_1(%rip), %ymm7, %ymm15
|
|
vpand const_all_but_high_1(%rip), %ymm7, %ymm7
|
|
vpxor %ymm13, %ymm7, %ymm7
|
|
vpsrlq $1, %ymm3, %ymm13
|
|
vpsllq $63, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm6
|
|
vpxor %ymm13, %ymm6, %ymm6
|
|
vpand const_all_but_high_1(%rip), %ymm6, %ymm6
|
|
vpxor %ymm15, %ymm6, %ymm6
|
|
vpxor %ymm3, %ymm6, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm8, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
add %rdx, %r9
|
|
sub %rdx, %rax
|
|
mov %r9, %rdx
|
|
sub $1, %rdx
|
|
shr $63, %rdx
|
|
not %rdx
|
|
and $1, %rdx
|
|
dec %ecx
|
|
jns poly_s3_inv_loop_1
|
|
mov $376, %ecx
|
|
poly_s3_inv_loop_2:
|
|
vpand 192(%rsp), %ymm0, %ymm10
|
|
vpand 288(%rsp), %ymm3, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vpand 192(%rsp), %ymm3, %ymm11
|
|
vpand 288(%rsp), %ymm0, %ymm15
|
|
vpxor %ymm11, %ymm15, %ymm11
|
|
vpand %ymm10, %ymm11, %ymm15
|
|
vpxor %ymm15, %ymm10, %ymm10
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpand const_1(%rip), %ymm11, %ymm11
|
|
vpand const_1(%rip), %ymm10, %ymm10
|
|
vpxor %ymm15, %ymm15, %ymm15
|
|
vpsubq %ymm11, %ymm15, %ymm11
|
|
vpsubq %ymm10, %ymm15, %ymm10
|
|
vbroadcastsd %xmm11, %ymm11
|
|
vbroadcastsd %xmm10, %ymm10
|
|
neg %rdx
|
|
vmovq %rdx, %xmm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpand %ymm11, %ymm12, %ymm11
|
|
vpand %ymm10, %ymm12, %ymm10
|
|
vpor %ymm11, %ymm10, %ymm9
|
|
mov %r9, %r12
|
|
sub %r10, %r12
|
|
shr $63, %r12
|
|
neg %r12
|
|
vmovq %r12, %xmm13
|
|
vbroadcastsd %xmm13, %ymm13
|
|
vpand %ymm13, %ymm9, %ymm9
|
|
vmovq %xmm9, %r12
|
|
mov %r9, %r13
|
|
xor %r10, %r13
|
|
and %r12, %r13
|
|
xor %r13, %r10
|
|
xor %r13, %r9
|
|
vpxor 192(%rsp), %ymm0, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm0, %ymm15, %ymm0
|
|
vpxor 192(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 192(%rsp)
|
|
vpxor 288(%rsp), %ymm3, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor 288(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 288(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm0, %ymm13, %ymm15
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpand %ymm3, %ymm14, %ymm13
|
|
vpxor %ymm3, %ymm14, %ymm3
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpor %ymm0, %ymm13, %ymm0
|
|
vpandn %ymm3, %ymm13, %ymm3
|
|
vpand %ymm0, %ymm3, %ymm13
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpxor %ymm3, %ymm13, %ymm3
|
|
vpxor 224(%rsp), %ymm1, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm1, %ymm15, %ymm1
|
|
vpxor 224(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 224(%rsp)
|
|
vpxor 320(%rsp), %ymm4, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor 320(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 320(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm1, %ymm13, %ymm15
|
|
vpxor %ymm1, %ymm13, %ymm1
|
|
vpand %ymm4, %ymm14, %ymm13
|
|
vpxor %ymm4, %ymm14, %ymm4
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpor %ymm1, %ymm13, %ymm1
|
|
vpandn %ymm4, %ymm13, %ymm4
|
|
vpand %ymm1, %ymm4, %ymm13
|
|
vpxor %ymm1, %ymm13, %ymm1
|
|
vpxor %ymm4, %ymm13, %ymm4
|
|
vpxor 256(%rsp), %ymm2, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm2, %ymm15, %ymm2
|
|
vpxor 256(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 256(%rsp)
|
|
vpxor 352(%rsp), %ymm5, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpxor 352(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 352(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm2, %ymm13, %ymm15
|
|
vpxor %ymm2, %ymm13, %ymm2
|
|
vpand %ymm5, %ymm14, %ymm13
|
|
vpxor %ymm5, %ymm14, %ymm5
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpor %ymm2, %ymm13, %ymm2
|
|
vpandn %ymm5, %ymm13, %ymm5
|
|
vpand %ymm2, %ymm5, %ymm13
|
|
vpxor %ymm2, %ymm13, %ymm2
|
|
vpxor %ymm5, %ymm13, %ymm5
|
|
vmovdqa 384(%rsp), %ymm6
|
|
vpxor 576(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 576(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 576(%rsp)
|
|
vmovdqa 480(%rsp), %ymm7
|
|
vpxor 672(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 672(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 672(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 384(%rsp)
|
|
vmovdqa %ymm7, 480(%rsp)
|
|
vmovdqa 416(%rsp), %ymm6
|
|
vpxor 608(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 608(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 608(%rsp)
|
|
vmovdqa 512(%rsp), %ymm7
|
|
vpxor 704(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 704(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 704(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 416(%rsp)
|
|
vmovdqa %ymm7, 512(%rsp)
|
|
vmovdqa 448(%rsp), %ymm6
|
|
vpxor 640(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 640(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 640(%rsp)
|
|
vmovdqa 544(%rsp), %ymm7
|
|
vpxor 736(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 736(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 736(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 448(%rsp)
|
|
vmovdqa %ymm7, 544(%rsp)
|
|
vmovdqa 576(%rsp), %ymm6
|
|
vmovdqa 608(%rsp), %ymm8
|
|
vmovdqa 640(%rsp), %ymm10
|
|
vpsllq $1, %ymm6, %ymm15
|
|
vpsrlq $63, %ymm6, %ymm14
|
|
vpermq $147, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_1(%rip), %ymm7, %ymm13
|
|
vpand const_all_but_1(%rip), %ymm7, %ymm7
|
|
vpsllq $1, %ymm8, %ymm15
|
|
vpsrlq $63, %ymm8, %ymm14
|
|
vpermq $147, %ymm14, %ymm9
|
|
vpxor %ymm15, %ymm9, %ymm9
|
|
vpand const_1(%rip), %ymm9, %ymm15
|
|
vpand const_all_but_1(%rip), %ymm9, %ymm9
|
|
vpxor %ymm13, %ymm9, %ymm9
|
|
vpsllq $1, %ymm10, %ymm13
|
|
vpsrlq $63, %ymm10, %ymm14
|
|
vpermq $147, %ymm14, %ymm11
|
|
vpxor %ymm13, %ymm11, %ymm11
|
|
vpand const_all_but_1(%rip), %ymm11, %ymm11
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpxor %ymm6, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vmovdqa %ymm6, 576(%rsp)
|
|
vpxor %ymm8, %ymm9, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm8, %ymm15, %ymm8
|
|
vmovdqa %ymm8, 608(%rsp)
|
|
vpxor %ymm10, %ymm11, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vmovdqa %ymm10, 640(%rsp)
|
|
vpsrlq $1, %ymm2, %ymm15
|
|
vpsllq $63, %ymm2, %ymm14
|
|
vpermq $57, %ymm14, %ymm8
|
|
vpxor %ymm15, %ymm8, %ymm8
|
|
vpand const_high_1(%rip), %ymm8, %ymm13
|
|
vpand const_all_but_high_67(%rip), %ymm8, %ymm8
|
|
vpsrlq $1, %ymm1, %ymm15
|
|
vpsllq $63, %ymm1, %ymm14
|
|
vpermq $57, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_high_1(%rip), %ymm7, %ymm15
|
|
vpand const_all_but_high_1(%rip), %ymm7, %ymm7
|
|
vpxor %ymm13, %ymm7, %ymm7
|
|
vpsrlq $1, %ymm0, %ymm13
|
|
vpsllq $63, %ymm0, %ymm14
|
|
vpermq $57, %ymm14, %ymm6
|
|
vpxor %ymm13, %ymm6, %ymm6
|
|
vpand const_all_but_high_1(%rip), %ymm6, %ymm6
|
|
vpxor %ymm15, %ymm6, %ymm6
|
|
vpxor %ymm0, %ymm6, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm0, %ymm15, %ymm0
|
|
vpxor %ymm1, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm1, %ymm15, %ymm1
|
|
vpxor %ymm2, %ymm8, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm2, %ymm15, %ymm2
|
|
vmovdqa 672(%rsp), %ymm6
|
|
vmovdqa 704(%rsp), %ymm8
|
|
vmovdqa 736(%rsp), %ymm10
|
|
vpsllq $1, %ymm6, %ymm15
|
|
vpsrlq $63, %ymm6, %ymm14
|
|
vpermq $147, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_1(%rip), %ymm7, %ymm13
|
|
vpand const_all_but_1(%rip), %ymm7, %ymm7
|
|
vpsllq $1, %ymm8, %ymm15
|
|
vpsrlq $63, %ymm8, %ymm14
|
|
vpermq $147, %ymm14, %ymm9
|
|
vpxor %ymm15, %ymm9, %ymm9
|
|
vpand const_1(%rip), %ymm9, %ymm15
|
|
vpand const_all_but_1(%rip), %ymm9, %ymm9
|
|
vpxor %ymm13, %ymm9, %ymm9
|
|
vpsllq $1, %ymm10, %ymm13
|
|
vpsrlq $63, %ymm10, %ymm14
|
|
vpermq $147, %ymm14, %ymm11
|
|
vpxor %ymm13, %ymm11, %ymm11
|
|
vpand const_all_but_1(%rip), %ymm11, %ymm11
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpxor %ymm6, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vmovdqa %ymm6, 672(%rsp)
|
|
vpxor %ymm8, %ymm9, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm8, %ymm15, %ymm8
|
|
vmovdqa %ymm8, 704(%rsp)
|
|
vpxor %ymm10, %ymm11, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vmovdqa %ymm10, 736(%rsp)
|
|
vpsrlq $1, %ymm5, %ymm15
|
|
vpsllq $63, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm8
|
|
vpxor %ymm15, %ymm8, %ymm8
|
|
vpand const_high_1(%rip), %ymm8, %ymm13
|
|
vpand const_all_but_high_67(%rip), %ymm8, %ymm8
|
|
vpsrlq $1, %ymm4, %ymm15
|
|
vpsllq $63, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_high_1(%rip), %ymm7, %ymm15
|
|
vpand const_all_but_high_1(%rip), %ymm7, %ymm7
|
|
vpxor %ymm13, %ymm7, %ymm7
|
|
vpsrlq $1, %ymm3, %ymm13
|
|
vpsllq $63, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm6
|
|
vpxor %ymm13, %ymm6, %ymm6
|
|
vpand const_all_but_high_1(%rip), %ymm6, %ymm6
|
|
vpxor %ymm15, %ymm6, %ymm6
|
|
vpxor %ymm3, %ymm6, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm8, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
add %rdx, %r9
|
|
sub %rdx, %rax
|
|
mov %r9, %rdx
|
|
sub $1, %rdx
|
|
shr $63, %rdx
|
|
not %rdx
|
|
and $1, %rdx
|
|
dec %ecx
|
|
jns poly_s3_inv_loop_2
|
|
mov $256, %ecx
|
|
poly_s3_inv_loop_3:
|
|
vpand 192(%rsp), %ymm0, %ymm10
|
|
vpand 288(%rsp), %ymm3, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vpand 192(%rsp), %ymm3, %ymm11
|
|
vpand 288(%rsp), %ymm0, %ymm15
|
|
vpxor %ymm11, %ymm15, %ymm11
|
|
vpand %ymm10, %ymm11, %ymm15
|
|
vpxor %ymm15, %ymm10, %ymm10
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpand const_1(%rip), %ymm11, %ymm11
|
|
vpand const_1(%rip), %ymm10, %ymm10
|
|
vpxor %ymm15, %ymm15, %ymm15
|
|
vpsubq %ymm11, %ymm15, %ymm11
|
|
vpsubq %ymm10, %ymm15, %ymm10
|
|
vbroadcastsd %xmm11, %ymm11
|
|
vbroadcastsd %xmm10, %ymm10
|
|
neg %rdx
|
|
vmovq %rdx, %xmm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpand %ymm11, %ymm12, %ymm11
|
|
vpand %ymm10, %ymm12, %ymm10
|
|
vpor %ymm11, %ymm10, %ymm9
|
|
mov %r9, %r12
|
|
sub %r10, %r12
|
|
shr $63, %r12
|
|
neg %r12
|
|
vmovq %r12, %xmm13
|
|
vbroadcastsd %xmm13, %ymm13
|
|
vpand %ymm13, %ymm9, %ymm9
|
|
vmovq %xmm9, %r12
|
|
mov %r9, %r13
|
|
xor %r10, %r13
|
|
and %r12, %r13
|
|
xor %r13, %r10
|
|
xor %r13, %r9
|
|
vpxor 192(%rsp), %ymm0, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm0, %ymm15, %ymm0
|
|
vpxor 192(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 192(%rsp)
|
|
vpxor 288(%rsp), %ymm3, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor 288(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 288(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm0, %ymm13, %ymm15
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpand %ymm3, %ymm14, %ymm13
|
|
vpxor %ymm3, %ymm14, %ymm3
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpor %ymm0, %ymm13, %ymm0
|
|
vpandn %ymm3, %ymm13, %ymm3
|
|
vpand %ymm0, %ymm3, %ymm13
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpxor %ymm3, %ymm13, %ymm3
|
|
vpxor 224(%rsp), %ymm1, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm1, %ymm15, %ymm1
|
|
vpxor 224(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 224(%rsp)
|
|
vpxor 320(%rsp), %ymm4, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor 320(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 320(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm1, %ymm13, %ymm15
|
|
vpxor %ymm1, %ymm13, %ymm1
|
|
vpand %ymm4, %ymm14, %ymm13
|
|
vpxor %ymm4, %ymm14, %ymm4
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpor %ymm1, %ymm13, %ymm1
|
|
vpandn %ymm4, %ymm13, %ymm4
|
|
vpand %ymm1, %ymm4, %ymm13
|
|
vpxor %ymm1, %ymm13, %ymm1
|
|
vpxor %ymm4, %ymm13, %ymm4
|
|
vmovdqa 384(%rsp), %ymm6
|
|
vpxor 576(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 576(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 576(%rsp)
|
|
vmovdqa 480(%rsp), %ymm7
|
|
vpxor 672(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 672(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 672(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 384(%rsp)
|
|
vmovdqa %ymm7, 480(%rsp)
|
|
vmovdqa 416(%rsp), %ymm6
|
|
vpxor 608(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 608(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 608(%rsp)
|
|
vmovdqa 512(%rsp), %ymm7
|
|
vpxor 704(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 704(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 704(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 416(%rsp)
|
|
vmovdqa %ymm7, 512(%rsp)
|
|
vmovdqa 448(%rsp), %ymm6
|
|
vpxor 640(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 640(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 640(%rsp)
|
|
vmovdqa 544(%rsp), %ymm7
|
|
vpxor 736(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 736(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 736(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 448(%rsp)
|
|
vmovdqa %ymm7, 544(%rsp)
|
|
vmovdqa 576(%rsp), %ymm6
|
|
vmovdqa 608(%rsp), %ymm8
|
|
vmovdqa 640(%rsp), %ymm10
|
|
vpsllq $1, %ymm6, %ymm15
|
|
vpsrlq $63, %ymm6, %ymm14
|
|
vpermq $147, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_1(%rip), %ymm7, %ymm13
|
|
vpand const_all_but_1(%rip), %ymm7, %ymm7
|
|
vpsllq $1, %ymm8, %ymm15
|
|
vpsrlq $63, %ymm8, %ymm14
|
|
vpermq $147, %ymm14, %ymm9
|
|
vpxor %ymm15, %ymm9, %ymm9
|
|
vpand const_1(%rip), %ymm9, %ymm15
|
|
vpand const_all_but_1(%rip), %ymm9, %ymm9
|
|
vpxor %ymm13, %ymm9, %ymm9
|
|
vpsllq $1, %ymm10, %ymm13
|
|
vpsrlq $63, %ymm10, %ymm14
|
|
vpermq $147, %ymm14, %ymm11
|
|
vpxor %ymm13, %ymm11, %ymm11
|
|
vpand const_all_but_1(%rip), %ymm11, %ymm11
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpxor %ymm6, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vmovdqa %ymm6, 576(%rsp)
|
|
vpxor %ymm8, %ymm9, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm8, %ymm15, %ymm8
|
|
vmovdqa %ymm8, 608(%rsp)
|
|
vpxor %ymm10, %ymm11, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vmovdqa %ymm10, 640(%rsp)
|
|
vpsrlq $1, %ymm1, %ymm15
|
|
vpsllq $63, %ymm1, %ymm14
|
|
vpermq $57, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_high_1(%rip), %ymm7, %ymm15
|
|
vpand const_all_but_high_1(%rip), %ymm7, %ymm7
|
|
vpsrlq $1, %ymm0, %ymm13
|
|
vpsllq $63, %ymm0, %ymm14
|
|
vpermq $57, %ymm14, %ymm6
|
|
vpxor %ymm13, %ymm6, %ymm6
|
|
vpand const_all_but_high_1(%rip), %ymm6, %ymm6
|
|
vpxor %ymm15, %ymm6, %ymm6
|
|
vpxor %ymm0, %ymm6, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm0, %ymm15, %ymm0
|
|
vpxor %ymm1, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm1, %ymm15, %ymm1
|
|
vmovdqa 672(%rsp), %ymm6
|
|
vmovdqa 704(%rsp), %ymm8
|
|
vmovdqa 736(%rsp), %ymm10
|
|
vpsllq $1, %ymm6, %ymm15
|
|
vpsrlq $63, %ymm6, %ymm14
|
|
vpermq $147, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_1(%rip), %ymm7, %ymm13
|
|
vpand const_all_but_1(%rip), %ymm7, %ymm7
|
|
vpsllq $1, %ymm8, %ymm15
|
|
vpsrlq $63, %ymm8, %ymm14
|
|
vpermq $147, %ymm14, %ymm9
|
|
vpxor %ymm15, %ymm9, %ymm9
|
|
vpand const_1(%rip), %ymm9, %ymm15
|
|
vpand const_all_but_1(%rip), %ymm9, %ymm9
|
|
vpxor %ymm13, %ymm9, %ymm9
|
|
vpsllq $1, %ymm10, %ymm13
|
|
vpsrlq $63, %ymm10, %ymm14
|
|
vpermq $147, %ymm14, %ymm11
|
|
vpxor %ymm13, %ymm11, %ymm11
|
|
vpand const_all_but_1(%rip), %ymm11, %ymm11
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpxor %ymm6, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vmovdqa %ymm6, 672(%rsp)
|
|
vpxor %ymm8, %ymm9, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm8, %ymm15, %ymm8
|
|
vmovdqa %ymm8, 704(%rsp)
|
|
vpxor %ymm10, %ymm11, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vmovdqa %ymm10, 736(%rsp)
|
|
vpsrlq $1, %ymm4, %ymm15
|
|
vpsllq $63, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_high_1(%rip), %ymm7, %ymm15
|
|
vpand const_all_but_high_1(%rip), %ymm7, %ymm7
|
|
vpsrlq $1, %ymm3, %ymm13
|
|
vpsllq $63, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm6
|
|
vpxor %ymm13, %ymm6, %ymm6
|
|
vpand const_all_but_high_1(%rip), %ymm6, %ymm6
|
|
vpxor %ymm15, %ymm6, %ymm6
|
|
vpxor %ymm3, %ymm6, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
add %rdx, %r9
|
|
sub %rdx, %rax
|
|
mov %r9, %rdx
|
|
sub $1, %rdx
|
|
shr $63, %rdx
|
|
not %rdx
|
|
and $1, %rdx
|
|
dec %ecx
|
|
jns poly_s3_inv_loop_3
|
|
mov $256, %ecx
|
|
poly_s3_inv_loop_4:
|
|
vpand 192(%rsp), %ymm0, %ymm10
|
|
vpand 288(%rsp), %ymm3, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vpand 192(%rsp), %ymm3, %ymm11
|
|
vpand 288(%rsp), %ymm0, %ymm15
|
|
vpxor %ymm11, %ymm15, %ymm11
|
|
vpand %ymm10, %ymm11, %ymm15
|
|
vpxor %ymm15, %ymm10, %ymm10
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpand const_1(%rip), %ymm11, %ymm11
|
|
vpand const_1(%rip), %ymm10, %ymm10
|
|
vpxor %ymm15, %ymm15, %ymm15
|
|
vpsubq %ymm11, %ymm15, %ymm11
|
|
vpsubq %ymm10, %ymm15, %ymm10
|
|
vbroadcastsd %xmm11, %ymm11
|
|
vbroadcastsd %xmm10, %ymm10
|
|
neg %rdx
|
|
vmovq %rdx, %xmm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpand %ymm11, %ymm12, %ymm11
|
|
vpand %ymm10, %ymm12, %ymm10
|
|
vpor %ymm11, %ymm10, %ymm9
|
|
mov %r9, %r12
|
|
sub %r10, %r12
|
|
shr $63, %r12
|
|
neg %r12
|
|
vmovq %r12, %xmm13
|
|
vbroadcastsd %xmm13, %ymm13
|
|
vpand %ymm13, %ymm9, %ymm9
|
|
vmovq %xmm9, %r12
|
|
mov %r9, %r13
|
|
xor %r10, %r13
|
|
and %r12, %r13
|
|
xor %r13, %r10
|
|
xor %r13, %r9
|
|
vpxor 192(%rsp), %ymm0, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm0, %ymm15, %ymm0
|
|
vpxor 192(%rsp), %ymm15, %ymm7
|
|
vmovdqa %ymm7, 192(%rsp)
|
|
vpxor 288(%rsp), %ymm3, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor 288(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 288(%rsp)
|
|
vpand %ymm7, %ymm11, %ymm13
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm8, %ymm11, %ymm14
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm0, %ymm13, %ymm15
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpand %ymm3, %ymm14, %ymm13
|
|
vpxor %ymm3, %ymm14, %ymm3
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpor %ymm0, %ymm13, %ymm0
|
|
vpandn %ymm3, %ymm13, %ymm3
|
|
vpand %ymm0, %ymm3, %ymm13
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpxor %ymm3, %ymm13, %ymm3
|
|
vmovdqa 384(%rsp), %ymm6
|
|
vpxor 576(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 576(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 576(%rsp)
|
|
vmovdqa 480(%rsp), %ymm7
|
|
vpxor 672(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 672(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 672(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 384(%rsp)
|
|
vmovdqa %ymm7, 480(%rsp)
|
|
vmovdqa 416(%rsp), %ymm6
|
|
vpxor 608(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 608(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 608(%rsp)
|
|
vmovdqa 512(%rsp), %ymm7
|
|
vpxor 704(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 704(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 704(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 416(%rsp)
|
|
vmovdqa %ymm7, 512(%rsp)
|
|
vmovdqa 448(%rsp), %ymm6
|
|
vpxor 640(%rsp), %ymm6, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpxor 640(%rsp), %ymm15, %ymm8
|
|
vmovdqa %ymm8, 640(%rsp)
|
|
vmovdqa 544(%rsp), %ymm7
|
|
vpxor 736(%rsp), %ymm7, %ymm15
|
|
vpand %ymm9, %ymm15, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpxor 736(%rsp), %ymm15, %ymm14
|
|
vmovdqa %ymm14, 736(%rsp)
|
|
vpand %ymm8, %ymm11, %ymm13
|
|
vpand %ymm14, %ymm10, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm14, %ymm11, %ymm14
|
|
vpand %ymm8, %ymm10, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm14
|
|
vpand %ymm13, %ymm14, %ymm15
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpxor %ymm15, %ymm14, %ymm14
|
|
vpand %ymm6, %ymm13, %ymm15
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpand %ymm7, %ymm14, %ymm13
|
|
vpxor %ymm7, %ymm14, %ymm7
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpor %ymm6, %ymm13, %ymm6
|
|
vpandn %ymm7, %ymm13, %ymm7
|
|
vpand %ymm6, %ymm7, %ymm13
|
|
vpxor %ymm6, %ymm13, %ymm6
|
|
vpxor %ymm7, %ymm13, %ymm7
|
|
vmovdqa %ymm6, 448(%rsp)
|
|
vmovdqa %ymm7, 544(%rsp)
|
|
vmovdqa 576(%rsp), %ymm6
|
|
vmovdqa 608(%rsp), %ymm8
|
|
vmovdqa 640(%rsp), %ymm10
|
|
vpsllq $1, %ymm6, %ymm15
|
|
vpsrlq $63, %ymm6, %ymm14
|
|
vpermq $147, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_1(%rip), %ymm7, %ymm13
|
|
vpand const_all_but_1(%rip), %ymm7, %ymm7
|
|
vpsllq $1, %ymm8, %ymm15
|
|
vpsrlq $63, %ymm8, %ymm14
|
|
vpermq $147, %ymm14, %ymm9
|
|
vpxor %ymm15, %ymm9, %ymm9
|
|
vpand const_1(%rip), %ymm9, %ymm15
|
|
vpand const_all_but_1(%rip), %ymm9, %ymm9
|
|
vpxor %ymm13, %ymm9, %ymm9
|
|
vpsllq $1, %ymm10, %ymm13
|
|
vpsrlq $63, %ymm10, %ymm14
|
|
vpermq $147, %ymm14, %ymm11
|
|
vpxor %ymm13, %ymm11, %ymm11
|
|
vpand const_all_but_1(%rip), %ymm11, %ymm11
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpxor %ymm6, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vmovdqa %ymm6, 576(%rsp)
|
|
vpxor %ymm8, %ymm9, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm8, %ymm15, %ymm8
|
|
vmovdqa %ymm8, 608(%rsp)
|
|
vpxor %ymm10, %ymm11, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vmovdqa %ymm10, 640(%rsp)
|
|
vpsrlq $1, %ymm0, %ymm13
|
|
vpsllq $63, %ymm0, %ymm14
|
|
vpermq $57, %ymm14, %ymm6
|
|
vpxor %ymm13, %ymm6, %ymm6
|
|
vpand const_all_but_high_1(%rip), %ymm6, %ymm6
|
|
vpxor %ymm0, %ymm6, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm0, %ymm15, %ymm0
|
|
vmovdqa 672(%rsp), %ymm6
|
|
vmovdqa 704(%rsp), %ymm8
|
|
vmovdqa 736(%rsp), %ymm10
|
|
vpsllq $1, %ymm6, %ymm15
|
|
vpsrlq $63, %ymm6, %ymm14
|
|
vpermq $147, %ymm14, %ymm7
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpand const_1(%rip), %ymm7, %ymm13
|
|
vpand const_all_but_1(%rip), %ymm7, %ymm7
|
|
vpsllq $1, %ymm8, %ymm15
|
|
vpsrlq $63, %ymm8, %ymm14
|
|
vpermq $147, %ymm14, %ymm9
|
|
vpxor %ymm15, %ymm9, %ymm9
|
|
vpand const_1(%rip), %ymm9, %ymm15
|
|
vpand const_all_but_1(%rip), %ymm9, %ymm9
|
|
vpxor %ymm13, %ymm9, %ymm9
|
|
vpsllq $1, %ymm10, %ymm13
|
|
vpsrlq $63, %ymm10, %ymm14
|
|
vpermq $147, %ymm14, %ymm11
|
|
vpxor %ymm13, %ymm11, %ymm11
|
|
vpand const_all_but_1(%rip), %ymm11, %ymm11
|
|
vpxor %ymm15, %ymm11, %ymm11
|
|
vpxor %ymm6, %ymm7, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vmovdqa %ymm6, 672(%rsp)
|
|
vpxor %ymm8, %ymm9, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm8, %ymm15, %ymm8
|
|
vmovdqa %ymm8, 704(%rsp)
|
|
vpxor %ymm10, %ymm11, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vmovdqa %ymm10, 736(%rsp)
|
|
vpsrlq $1, %ymm3, %ymm13
|
|
vpsllq $63, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm6
|
|
vpxor %ymm13, %ymm6, %ymm6
|
|
vpand const_all_but_high_1(%rip), %ymm6, %ymm6
|
|
vpxor %ymm3, %ymm6, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
add %rdx, %r9
|
|
sub %rdx, %rax
|
|
mov %r9, %rdx
|
|
sub $1, %rdx
|
|
shr $63, %rdx
|
|
not %rdx
|
|
and $1, %rdx
|
|
dec %ecx
|
|
jns poly_s3_inv_loop_4
|
|
vpand const_1(%rip), %ymm0, %ymm0
|
|
vpand const_1(%rip), %ymm3, %ymm3
|
|
vpxor %ymm15, %ymm15, %ymm15
|
|
vpsubq %ymm0, %ymm15, %ymm0
|
|
vpsubq %ymm3, %ymm15, %ymm3
|
|
vbroadcastsd %xmm0, %ymm0
|
|
vbroadcastsd %xmm3, %ymm3
|
|
vmovdqa 384(%rsp), %ymm6
|
|
vmovdqa 416(%rsp), %ymm7
|
|
vmovdqa 448(%rsp), %ymm8
|
|
vmovdqa 480(%rsp), %ymm9
|
|
vmovdqa 512(%rsp), %ymm10
|
|
vmovdqa 544(%rsp), %ymm11
|
|
vpand %ymm6, %ymm0, %ymm12
|
|
vpand %ymm9, %ymm3, %ymm15
|
|
vpxor %ymm12, %ymm15, %ymm12
|
|
vpand %ymm6, %ymm3, %ymm13
|
|
vpand %ymm9, %ymm0, %ymm15
|
|
vpxor %ymm13, %ymm15, %ymm13
|
|
vpand %ymm12, %ymm13, %ymm15
|
|
vpxor %ymm15, %ymm12, %ymm12
|
|
vpxor %ymm15, %ymm13, %ymm13
|
|
vpand %ymm7, %ymm0, %ymm6
|
|
vpand %ymm10, %ymm3, %ymm15
|
|
vpxor %ymm6, %ymm15, %ymm6
|
|
vpand %ymm7, %ymm3, %ymm9
|
|
vpand %ymm10, %ymm0, %ymm15
|
|
vpxor %ymm9, %ymm15, %ymm9
|
|
vpand %ymm6, %ymm9, %ymm15
|
|
vpxor %ymm15, %ymm6, %ymm6
|
|
vpxor %ymm15, %ymm9, %ymm9
|
|
vpand %ymm8, %ymm0, %ymm7
|
|
vpand %ymm11, %ymm3, %ymm15
|
|
vpxor %ymm7, %ymm15, %ymm7
|
|
vpand %ymm8, %ymm3, %ymm10
|
|
vpand %ymm11, %ymm0, %ymm15
|
|
vpxor %ymm10, %ymm15, %ymm10
|
|
vpand %ymm7, %ymm10, %ymm15
|
|
vpxor %ymm15, %ymm7, %ymm7
|
|
vpxor %ymm15, %ymm10, %ymm10
|
|
vmovdqa %ymm12, 384(%rsp)
|
|
vmovdqa %ymm6, 416(%rsp)
|
|
vmovdqa %ymm7, 448(%rsp)
|
|
vmovdqa %ymm13, 480(%rsp)
|
|
vmovdqa %ymm9, 512(%rsp)
|
|
vmovdqa %ymm10, 544(%rsp)
|
|
mov %rax, %r12
|
|
sub $702, %rax
|
|
mov %rax, %r13
|
|
add $1, %rax
|
|
shr $63, %r13
|
|
xor %r14, %r14
|
|
sub %r13, %r14
|
|
mov %rax, %rdx
|
|
xor %r12, %rax
|
|
and %r14, %rax
|
|
xor %rdx, %rax
|
|
vpxor %ymm11, %ymm11, %ymm11
|
|
vmovdqa 384(%rsp), %ymm3
|
|
vmovdqa 416(%rsp), %ymm4
|
|
vmovdqa 448(%rsp), %ymm5
|
|
vpsrlq $1, %ymm5, %ymm15
|
|
vpsllq $63, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_1(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_67(%rip), %ymm2, %ymm2
|
|
vpsrlq $1, %ymm4, %ymm15
|
|
vpsllq $63, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_1(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_1(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $1, %ymm3, %ymm13
|
|
vpsllq $63, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_1(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_1(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vmovq %rax, %xmm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpsrlq $2, %ymm5, %ymm15
|
|
vpsllq $62, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_2(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_68(%rip), %ymm2, %ymm2
|
|
vpsrlq $2, %ymm4, %ymm15
|
|
vpsllq $62, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_2(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_2(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $2, %ymm3, %ymm13
|
|
vpsllq $62, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_2(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_2(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpsrlq $4, %ymm5, %ymm15
|
|
vpsllq $60, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_4(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_70(%rip), %ymm2, %ymm2
|
|
vpsrlq $4, %ymm4, %ymm15
|
|
vpsllq $60, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_4(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_4(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $4, %ymm3, %ymm13
|
|
vpsllq $60, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_4(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_4(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpsrlq $8, %ymm5, %ymm15
|
|
vpsllq $56, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_8(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_74(%rip), %ymm2, %ymm2
|
|
vpsrlq $8, %ymm4, %ymm15
|
|
vpsllq $56, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_8(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_8(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $8, %ymm3, %ymm13
|
|
vpsllq $56, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_8(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_8(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpsrlq $16, %ymm5, %ymm15
|
|
vpsllq $48, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_16(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_82(%rip), %ymm2, %ymm2
|
|
vpsrlq $16, %ymm4, %ymm15
|
|
vpsllq $48, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_16(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_16(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $16, %ymm3, %ymm13
|
|
vpsllq $48, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_16(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_16(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpsrlq $32, %ymm5, %ymm15
|
|
vpsllq $32, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_32(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_98(%rip), %ymm2, %ymm2
|
|
vpsrlq $32, %ymm4, %ymm15
|
|
vpsllq $32, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_32(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_32(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $32, %ymm3, %ymm13
|
|
vpsllq $32, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_32(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_32(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpermq $57, %ymm5, %ymm15
|
|
vpand const_high_64(%rip), %ymm15, %ymm14
|
|
vpand const_all_but_high_64(%rip), %ymm15, %ymm2
|
|
vpermq $57, %ymm4, %ymm15
|
|
vpand const_high_64(%rip), %ymm15, %ymm13
|
|
vpand const_all_but_high_64(%rip), %ymm15, %ymm1
|
|
vpxor %ymm1, %ymm14, %ymm1
|
|
vpermq $57, %ymm3, %ymm15
|
|
vpand const_high_64(%rip), %ymm15, %ymm14
|
|
vpand const_all_but_high_64(%rip), %ymm15, %ymm1
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpermq $57, %ymm13, %ymm14
|
|
vpsrlq $3, %ymm14, %ymm14
|
|
vpxor %ymm14, %ymm2, %ymm2
|
|
vpermq $78, %ymm13, %ymm14
|
|
vpsllq $61, %ymm14, %ymm14
|
|
vpxor %ymm14, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vextracti128 $0, %ymm3, %xmm15
|
|
vextracti128 $1, %ymm3, %xmm0
|
|
vinserti128 $1, %xmm4, %ymm0, %ymm0
|
|
vextracti128 $1, %ymm4, %xmm1
|
|
vinserti128 $1, %xmm5, %ymm1, %ymm1
|
|
vextracti128 $1, %ymm5, %xmm2
|
|
vpsllq $61, %ymm15, %ymm14
|
|
vpsrlq $3, %ymm15, %ymm13
|
|
vpermq $147, %ymm13, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm15
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vmovdqa %ymm4, %ymm0
|
|
vmovdqa %ymm5, %ymm1
|
|
vpermq $57, %ymm3, %ymm15
|
|
vpsrlq $3, %ymm15, %ymm14
|
|
vpsllq $61, %ymm15, %ymm13
|
|
vpermq $57, %ymm13, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm15
|
|
vpand const_all_but_high_67(%rip), %ymm15, %ymm2
|
|
vpand const_high_67(%rip), %ymm15, %ymm15
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpermq $78, %ymm3, %ymm0
|
|
vpsllq $61, %ymm0, %ymm14
|
|
vpsrlq $3, %ymm0, %ymm13
|
|
vpermq $147, %ymm13, %ymm13
|
|
vpxor %ymm14, %ymm13, %ymm0
|
|
vpand const_all_but_high_67(%rip), %ymm0, %ymm15
|
|
vpand const_high_67(%rip), %ymm0, %ymm0
|
|
vpermq $78, %ymm4, %ymm2
|
|
vpsllq $61, %ymm2, %ymm14
|
|
vpsrlq $3, %ymm2, %ymm13
|
|
vpermq $147, %ymm13, %ymm13
|
|
vpxor %ymm14, %ymm13, %ymm2
|
|
vpand const_high_67(%rip), %ymm2, %ymm1
|
|
vpand const_all_but_high_67(%rip), %ymm2, %ymm2
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpxor %ymm5, %ymm0, %ymm0
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vmovdqa %ymm3, 384(%rsp)
|
|
vmovdqa %ymm4, 416(%rsp)
|
|
vmovdqa %ymm5, 448(%rsp)
|
|
vmovdqa 480(%rsp), %ymm3
|
|
vmovdqa 512(%rsp), %ymm4
|
|
vmovdqa 544(%rsp), %ymm5
|
|
vpsrlq $1, %ymm5, %ymm15
|
|
vpsllq $63, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_1(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_67(%rip), %ymm2, %ymm2
|
|
vpsrlq $1, %ymm4, %ymm15
|
|
vpsllq $63, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_1(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_1(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $1, %ymm3, %ymm13
|
|
vpsllq $63, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_1(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_1(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vmovq %rax, %xmm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpsrlq $2, %ymm5, %ymm15
|
|
vpsllq $62, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_2(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_68(%rip), %ymm2, %ymm2
|
|
vpsrlq $2, %ymm4, %ymm15
|
|
vpsllq $62, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_2(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_2(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $2, %ymm3, %ymm13
|
|
vpsllq $62, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_2(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_2(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpsrlq $4, %ymm5, %ymm15
|
|
vpsllq $60, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_4(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_70(%rip), %ymm2, %ymm2
|
|
vpsrlq $4, %ymm4, %ymm15
|
|
vpsllq $60, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_4(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_4(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $4, %ymm3, %ymm13
|
|
vpsllq $60, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_4(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_4(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpsrlq $8, %ymm5, %ymm15
|
|
vpsllq $56, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_8(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_74(%rip), %ymm2, %ymm2
|
|
vpsrlq $8, %ymm4, %ymm15
|
|
vpsllq $56, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_8(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_8(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $8, %ymm3, %ymm13
|
|
vpsllq $56, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_8(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_8(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpsrlq $16, %ymm5, %ymm15
|
|
vpsllq $48, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_16(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_82(%rip), %ymm2, %ymm2
|
|
vpsrlq $16, %ymm4, %ymm15
|
|
vpsllq $48, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_16(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_16(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $16, %ymm3, %ymm13
|
|
vpsllq $48, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_16(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_16(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpsrlq $32, %ymm5, %ymm15
|
|
vpsllq $32, %ymm5, %ymm14
|
|
vpermq $57, %ymm14, %ymm2
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpand const_high_32(%rip), %ymm2, %ymm13
|
|
vpand const_all_but_high_98(%rip), %ymm2, %ymm2
|
|
vpsrlq $32, %ymm4, %ymm15
|
|
vpsllq $32, %ymm4, %ymm14
|
|
vpermq $57, %ymm14, %ymm1
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpand const_high_32(%rip), %ymm1, %ymm15
|
|
vpand const_all_but_high_32(%rip), %ymm1, %ymm1
|
|
vpxor %ymm13, %ymm1, %ymm1
|
|
vpsrlq $32, %ymm3, %ymm13
|
|
vpsllq $32, %ymm3, %ymm14
|
|
vpermq $57, %ymm14, %ymm0
|
|
vpxor %ymm13, %ymm0, %ymm0
|
|
vpand const_high_32(%rip), %ymm0, %ymm13
|
|
vpand const_all_but_high_32(%rip), %ymm0, %ymm0
|
|
vpxor %ymm15, %ymm0, %ymm0
|
|
vpermq $57, %ymm13, %ymm13
|
|
vpsrlq $3, %ymm13, %ymm13
|
|
vpxor %ymm13, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpermq $57, %ymm5, %ymm15
|
|
vpand const_high_64(%rip), %ymm15, %ymm14
|
|
vpand const_all_but_high_64(%rip), %ymm15, %ymm2
|
|
vpermq $57, %ymm4, %ymm15
|
|
vpand const_high_64(%rip), %ymm15, %ymm13
|
|
vpand const_all_but_high_64(%rip), %ymm15, %ymm1
|
|
vpxor %ymm1, %ymm14, %ymm1
|
|
vpermq $57, %ymm3, %ymm15
|
|
vpand const_high_64(%rip), %ymm15, %ymm14
|
|
vpand const_all_but_high_64(%rip), %ymm15, %ymm1
|
|
vpxor %ymm0, %ymm13, %ymm0
|
|
vpermq $57, %ymm13, %ymm14
|
|
vpsrlq $3, %ymm14, %ymm14
|
|
vpxor %ymm14, %ymm2, %ymm2
|
|
vpermq $78, %ymm13, %ymm14
|
|
vpsllq $61, %ymm14, %ymm14
|
|
vpxor %ymm14, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vextracti128 $0, %ymm3, %xmm15
|
|
vextracti128 $1, %ymm3, %xmm0
|
|
vinserti128 $1, %xmm4, %ymm0, %ymm0
|
|
vextracti128 $1, %ymm4, %xmm1
|
|
vinserti128 $1, %xmm5, %ymm1, %ymm1
|
|
vextracti128 $1, %ymm5, %xmm2
|
|
vpsllq $61, %ymm15, %ymm14
|
|
vpsrlq $3, %ymm15, %ymm13
|
|
vpermq $147, %ymm13, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm15
|
|
vpxor %ymm15, %ymm2, %ymm2
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vmovdqa %ymm4, %ymm0
|
|
vmovdqa %ymm5, %ymm1
|
|
vpermq $57, %ymm3, %ymm15
|
|
vpsrlq $3, %ymm15, %ymm14
|
|
vpsllq $61, %ymm15, %ymm13
|
|
vpermq $57, %ymm13, %ymm15
|
|
vpxor %ymm14, %ymm15, %ymm15
|
|
vpand const_all_but_high_67(%rip), %ymm15, %ymm2
|
|
vpand const_high_67(%rip), %ymm15, %ymm15
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vpermq $78, %ymm3, %ymm0
|
|
vpsllq $61, %ymm0, %ymm14
|
|
vpsrlq $3, %ymm0, %ymm13
|
|
vpermq $147, %ymm13, %ymm13
|
|
vpxor %ymm14, %ymm13, %ymm0
|
|
vpand const_all_but_high_67(%rip), %ymm0, %ymm15
|
|
vpand const_high_67(%rip), %ymm0, %ymm0
|
|
vpermq $78, %ymm4, %ymm2
|
|
vpsllq $61, %ymm2, %ymm14
|
|
vpsrlq $3, %ymm2, %ymm13
|
|
vpermq $147, %ymm13, %ymm13
|
|
vpxor %ymm14, %ymm13, %ymm2
|
|
vpand const_high_67(%rip), %ymm2, %ymm1
|
|
vpand const_all_but_high_67(%rip), %ymm2, %ymm2
|
|
vpxor %ymm15, %ymm1, %ymm1
|
|
vpxor %ymm5, %ymm0, %ymm0
|
|
vpsrlq $1, %ymm10, %ymm10
|
|
vpand const_1(%rip), %ymm10, %ymm12
|
|
vpsubq %ymm12, %ymm11, %ymm12
|
|
vbroadcastsd %xmm12, %ymm12
|
|
vpxor %ymm3, %ymm0, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm3, %ymm15, %ymm3
|
|
vpxor %ymm4, %ymm1, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm4, %ymm15, %ymm4
|
|
vpxor %ymm5, %ymm2, %ymm15
|
|
vpand %ymm12, %ymm15, %ymm15
|
|
vpxor %ymm5, %ymm15, %ymm5
|
|
vmovdqa %ymm3, 480(%rsp)
|
|
vmovdqa %ymm4, 512(%rsp)
|
|
vmovdqa %ymm5, 544(%rsp)
|
|
mov $281479271743489, %r9
|
|
mov $562958543486978, %rdx
|
|
mov 384(%rsp), %r10
|
|
mov 480(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 0(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 8(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 16(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 24(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 32(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 40(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 48(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 56(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 64(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 72(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 80(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 88(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 96(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 104(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 112(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 120(%rdi)
|
|
mov 392(%rsp), %r10
|
|
mov 488(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 128(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 136(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 144(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 152(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 160(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 168(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 176(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 184(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 192(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 200(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 208(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 216(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 224(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 232(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 240(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 248(%rdi)
|
|
mov 400(%rsp), %r10
|
|
mov 496(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 256(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 264(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 272(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 280(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 288(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 296(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 304(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 312(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 320(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 328(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 336(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 344(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 352(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 360(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 368(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 376(%rdi)
|
|
mov 408(%rsp), %r10
|
|
mov 504(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 384(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 392(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 400(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 408(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 416(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 424(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 432(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 440(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 448(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 456(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 464(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 472(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 480(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 488(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 496(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 504(%rdi)
|
|
mov 416(%rsp), %r10
|
|
mov 512(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 512(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 520(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 528(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 536(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 544(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 552(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 560(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 568(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 576(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 584(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 592(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 600(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 608(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 616(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 624(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 632(%rdi)
|
|
mov 424(%rsp), %r10
|
|
mov 520(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 640(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 648(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 656(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 664(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 672(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 680(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 688(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 696(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 704(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 712(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 720(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 728(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 736(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 744(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 752(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 760(%rdi)
|
|
mov 432(%rsp), %r10
|
|
mov 528(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 768(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 776(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 784(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 792(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 800(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 808(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 816(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 824(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 832(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 840(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 848(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 856(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 864(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 872(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 880(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 888(%rdi)
|
|
mov 440(%rsp), %r10
|
|
mov 536(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 896(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 904(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 912(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 920(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 928(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 936(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 944(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 952(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 960(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 968(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 976(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 984(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 992(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1000(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1008(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1016(%rdi)
|
|
mov 448(%rsp), %r10
|
|
mov 544(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1024(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1032(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1040(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1048(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1056(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1064(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1072(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1080(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1088(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1096(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1104(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1112(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1120(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1128(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1136(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1144(%rdi)
|
|
mov 456(%rsp), %r10
|
|
mov 552(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1152(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1160(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1168(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1176(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1184(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1192(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1200(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1208(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1216(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1224(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1232(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1240(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1248(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1256(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1264(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1272(%rdi)
|
|
mov 464(%rsp), %r10
|
|
mov 560(%rsp), %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1280(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1288(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1296(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1304(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1312(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1320(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1328(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1336(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1344(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1352(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1360(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1368(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1376(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1384(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1392(%rdi)
|
|
shr $4, %r10
|
|
shr $4, %r11
|
|
pdep %r9, %r10, %r12
|
|
pdep %rdx, %r11, %r13
|
|
or %r12, %r13
|
|
mov %r13, 1400(%rdi)
|
|
vmovdqa 1376(%rdi), %ymm0
|
|
vpermq $3, %ymm0, %ymm0
|
|
vpslld $17, %ymm0, %ymm0
|
|
vpsrld $16, %ymm0, %ymm1
|
|
vpor %ymm0, %ymm1, %ymm0
|
|
vbroadcastss %xmm0, %ymm0
|
|
vpaddw 0(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 0(%rdi)
|
|
vpaddw 32(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 32(%rdi)
|
|
vpaddw 64(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 64(%rdi)
|
|
vpaddw 96(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 96(%rdi)
|
|
vpaddw 128(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 128(%rdi)
|
|
vpaddw 160(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 160(%rdi)
|
|
vpaddw 192(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 192(%rdi)
|
|
vpaddw 224(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 224(%rdi)
|
|
vpaddw 256(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 256(%rdi)
|
|
vpaddw 288(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 288(%rdi)
|
|
vpaddw 320(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 320(%rdi)
|
|
vpaddw 352(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 352(%rdi)
|
|
vpaddw 384(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 384(%rdi)
|
|
vpaddw 416(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 416(%rdi)
|
|
vpaddw 448(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 448(%rdi)
|
|
vpaddw 480(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 480(%rdi)
|
|
vpaddw 512(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 512(%rdi)
|
|
vpaddw 544(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 544(%rdi)
|
|
vpaddw 576(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 576(%rdi)
|
|
vpaddw 608(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 608(%rdi)
|
|
vpaddw 640(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 640(%rdi)
|
|
vpaddw 672(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 672(%rdi)
|
|
vpaddw 704(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 704(%rdi)
|
|
vpaddw 736(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 736(%rdi)
|
|
vpaddw 768(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 768(%rdi)
|
|
vpaddw 800(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 800(%rdi)
|
|
vpaddw 832(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 832(%rdi)
|
|
vpaddw 864(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 864(%rdi)
|
|
vpaddw 896(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 896(%rdi)
|
|
vpaddw 928(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 928(%rdi)
|
|
vpaddw 960(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 960(%rdi)
|
|
vpaddw 992(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 992(%rdi)
|
|
vpaddw 1024(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1024(%rdi)
|
|
vpaddw 1056(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1056(%rdi)
|
|
vpaddw 1088(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1088(%rdi)
|
|
vpaddw 1120(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1120(%rdi)
|
|
vpaddw 1152(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1152(%rdi)
|
|
vpaddw 1184(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1184(%rdi)
|
|
vpaddw 1216(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1216(%rdi)
|
|
vpaddw 1248(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1248(%rdi)
|
|
vpaddw 1280(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1280(%rdi)
|
|
vpaddw 1312(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1312(%rdi)
|
|
vpaddw 1344(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1344(%rdi)
|
|
vpaddw 1376(%rdi), %ymm0, %ymm1
|
|
vpand mask_3(%rip), %ymm1, %ymm2
|
|
vpsrlw $2, %ymm1, %ymm1
|
|
vpaddw %ymm1, %ymm2, %ymm2
|
|
vpsubw mask_3(%rip), %ymm2, %ymm14
|
|
vpsraw $15, %ymm14, %ymm15
|
|
vpandn %ymm14, %ymm15, %ymm1
|
|
vpand %ymm15, %ymm2, %ymm14
|
|
vpxor %ymm14, %ymm1, %ymm2
|
|
vmovdqa %ymm2, 1376(%rdi)
|
|
mov %r8, %rsp
|
|
pop %r14
|
|
pop %r13
|
|
pop %r12
|
|
ret
|