OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: 64629cb5c7
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from '64629cb5c7'
${ noResults }
OpenBLAS/kernel/x86_64/trsm_kernel_LT_4x8_nehalem.S

4848 lines
88 kB
Raw Blame History 

  1. /*********************************************************************/

  2. /* Copyright 2009, 2010 The University of Texas at Austin.           */

  3. /* All rights reserved.                                              */

  4. /*                                                                   */

  5. /* Redistribution and use in source and binary forms, with or        */

  6. /* without modification, are permitted provided that the following   */

  7. /* conditions are met:                                               */

  8. /*                                                                   */

  9. /*   1. Redistributions of source code must retain the above         */

  10. /*      copyright notice, this list of conditions and the following  */

  11. /*      disclaimer.                                                  */

  12. /*                                                                   */

  13. /*   2. Redistributions in binary form must reproduce the above      */

  14. /*      copyright notice, this list of conditions and the following  */

  15. /*      disclaimer in the documentation and/or other materials       */

  16. /*      provided with the distribution.                              */

  17. /*                                                                   */

  18. /*    THIS  SOFTWARE IS PROVIDED  BY THE  UNIVERSITY OF  TEXAS AT    */

  19. /*    AUSTIN  ``AS IS''  AND ANY  EXPRESS OR  IMPLIED WARRANTIES,    */

  20. /*    INCLUDING, BUT  NOT LIMITED  TO, THE IMPLIED  WARRANTIES OF    */

  21. /*    MERCHANTABILITY  AND FITNESS FOR  A PARTICULAR  PURPOSE ARE    */

  22. /*    DISCLAIMED.  IN  NO EVENT SHALL THE UNIVERSITY  OF TEXAS AT    */

  23. /*    AUSTIN OR CONTRIBUTORS BE  LIABLE FOR ANY DIRECT, INDIRECT,    */

  24. /*    INCIDENTAL,  SPECIAL, EXEMPLARY,  OR  CONSEQUENTIAL DAMAGES    */

  25. /*    (INCLUDING, BUT  NOT LIMITED TO,  PROCUREMENT OF SUBSTITUTE    */

  26. /*    GOODS  OR  SERVICES; LOSS  OF  USE,  DATA,  OR PROFITS;  OR    */

  27. /*    BUSINESS INTERRUPTION) HOWEVER CAUSED  AND ON ANY THEORY OF    */

  28. /*    LIABILITY, WHETHER  IN CONTRACT, STRICT  LIABILITY, OR TORT    */

  29. /*    (INCLUDING NEGLIGENCE OR OTHERWISE)  ARISING IN ANY WAY OUT    */

  30. /*    OF  THE  USE OF  THIS  SOFTWARE,  EVEN  IF ADVISED  OF  THE    */

  31. /*    POSSIBILITY OF SUCH DAMAGE.                                    */

  32. /*                                                                   */

  33. /* The views and conclusions contained in the software and           */

  34. /* documentation are those of the authors and should not be          */

  35. /* interpreted as representing official policies, either expressed   */

  36. /* or implied, of The University of Texas at Austin.                 */

  37. /*********************************************************************/

  38. 

  39. #define ASSEMBLER

  40. #include "common.h"

  41. 

  42. #define OLD_M	%rdi

  43. #define OLD_N	%rsi

  44. #define OLD_K	%rdx

  45. 

  46. #define M	%r13

  47. #define N	%r14

  48. #define K	%r15

  49. 

  50. #define A	%rcx

  51. #define B	%r8

  52. #define C	%r9

  53. #define LDC	%r10

  54. 

  55. #define I	%r11

  56. #define AO	%rdi

  57. #define BO	%rsi

  58. #define	CO1	%rbx

  59. #define CO2	%rbp

  60. #define KK	%rdx

  61. #define BB	%r12

  62. 

  63. #ifndef WINDOWS_ABI

  64. 

  65. #define STACKSIZE 64

  66. 

  67. #define OLD_LDC		 8 + STACKSIZE(%rsp)

  68. #define OLD_OFFSET	16 + STACKSIZE(%rsp)

  69. 

  70. #define OFFSET	   48(%rsp)

  71. #define J	   56(%rsp)

  72. #define KKK	   64(%rsp)

  73. #define AORIG	   72(%rsp)

  74. 

  75. #else

  76. 

  77. #define STACKSIZE 256

  78. 

  79. #define OLD_A		40 + STACKSIZE(%rsp)

  80. #define OLD_B		48 + STACKSIZE(%rsp)

  81. #define OLD_C		56 + STACKSIZE(%rsp)

  82. #define OLD_LDC		64 + STACKSIZE(%rsp)

  83. #define OLD_OFFSET	72 + STACKSIZE(%rsp)

  84. 

  85. #define OFFSET	  224(%rsp)

  86. #define J	  232(%rsp)

  87. #define KKK	  240(%rsp)

  88. #define AORIG	  248(%rsp)

  89. 

  90. #endif

  91. 

  92. #define PREFETCHSIZE  (16 * 1 + 4)

  93. #define PREFETCH     prefetcht0

  94. 

  95. 	PROLOGUE

  96. 	PROFCODE

  97. 

  98. 	subq	$STACKSIZE, %rsp

  99. 

  100. 	movq	%rbx,  0(%rsp)

  101. 	movq	%rbp,  8(%rsp)

  102. 	movq	%r12, 16(%rsp)

  103. 	movq	%r13, 24(%rsp)

  104. 	movq	%r14, 32(%rsp)

  105. 	movq	%r15, 40(%rsp)

  106. 

  107. #ifdef WINDOWS_ABI

  108. 	movq	%rdi,    48(%rsp)

  109. 	movq	%rsi,    56(%rsp)

  110. 	movups	%xmm6,   64(%rsp)

  111. 	movups	%xmm7,   80(%rsp)

  112. 	movups	%xmm8,   96(%rsp)

  113. 	movups	%xmm9,  112(%rsp)

  114. 	movups	%xmm10, 128(%rsp)

  115. 	movups	%xmm11, 144(%rsp)

  116. 	movups	%xmm12, 160(%rsp)

  117. 	movups	%xmm13, 176(%rsp)

  118. 	movups	%xmm14, 192(%rsp)

  119. 	movups	%xmm15, 208(%rsp)

  120. 

  121. 	movq	ARG1,      OLD_M

  122. 	movq	ARG2,      OLD_N

  123. 	movq	ARG3,      OLD_K

  124. 	movq	OLD_A,     A

  125. 	movq	OLD_B,     B

  126. 	movq	OLD_C,     C

  127. #endif

  128. 

  129. 	subq	$-32 * SIZE, A

  130. 	subq	$-32 * SIZE, B

  131. 

  132. 	movq	OLD_M, M

  133. 	movq	OLD_N, N

  134. 	movq	OLD_K, K

  135. 

  136. 	movq	OLD_LDC,   LDC

  137. 	movq	OLD_OFFSET, KK

  138. 

  139. 	leaq	(, LDC, SIZE), LDC

  140. 

  141. 	movq	KK, OFFSET

  142. 	negq	KK

  143. 

  144. #ifdef LN

  145.        leaq	(, M, SIZE), %rax

  146.        addq	%rax, C

  147.        imulq	K, %rax

  148.        addq	%rax, A

  149. #endif

  150. 

  151. #ifdef RT

  152.        leaq	(, N, SIZE), %rax

  153.        imulq	K, %rax

  154.        addq	%rax, B

  155.        movq	N, %rax

  156.        imulq	LDC, %rax

  157.        addq	%rax, C

  158. #endif

  159. 

  160. #ifdef RT

  161.        movq	N, %rax

  162.        subq	OFFSET, %rax

  163.        movq	%rax, KK

  164. #endif

  165. 

  166. 	movq	N,  J

  167. 	sarq	$3, J

  168. 	NOBRANCH

  169. 	jle	.L40

  170. 	ALIGN_4

  171. 

  172. .L10:

  173. #if defined(LT) || defined(RN)

  174. 	movq	A, AO

  175. #else

  176. 	movq	A, AORIG

  177. #endif

  178. 

  179. #ifdef RT

  180.        movq	K, %rax

  181.        salq	$3 + BASE_SHIFT, %rax

  182.        subq	%rax, B

  183. 

  184.        leaq	(, LDC, 8), %rax

  185.        subq	%rax, C

  186. #endif

  187. 

  188. 	movq	C, CO1

  189. 	leaq	(C, LDC, 4), CO2

  190. #ifndef RT

  191. 	leaq	(C, LDC, 8), C

  192. #endif

  193. 

  194. #ifdef LN

  195. 	movq	OFFSET, %rax

  196. 	addq	M, %rax

  197. 	movq	%rax, KK

  198. #endif

  199. 

  200. #ifdef LT

  201. 	movq	OFFSET, %rax

  202. 	movq	%rax, KK

  203. #endif

  204. 

  205. 	movq	K, %rax

  206. 	salq	$BASE_SHIFT + 3, %rax

  207. 	leaq	(B, %rax), BB

  208. 

  209. 	movq	M,  I

  210. 	sarq	$2, I

  211. 	NOBRANCH

  212. 	jle	.L20

  213. 	ALIGN_4

  214. 

  215. .L11:

  216. #ifdef LN

  217.        movq	K, %rax

  218.        salq	$2 + BASE_SHIFT, %rax

  219.        subq	%rax, AORIG

  220. #endif

  221. 

  222. #if defined(LN) || defined(RT)

  223. 	movq	KK, %rax

  224. 	leaq	(, %rax, SIZE), %rax

  225. 	movq	AORIG, AO

  226. 	leaq	(AO, %rax, 4), AO

  227. 	leaq	(B,  %rax, 8), BO

  228. #else

  229. 	movq	B, BO

  230. #endif

  231. 

  232. 	prefetchnta	 -32 * SIZE(BB)

  233. 	subq		 $-16 * SIZE, BB

  234. 

  235. 	xorps	%xmm1, %xmm1

  236. 	movaps	-32 * SIZE(AO), %xmm0

  237. 	xorps	%xmm2, %xmm2

  238. 	xorps	%xmm3, %xmm3

  239. 	xorps	%xmm4, %xmm4

  240. 

  241. 	leaq	(LDC, LDC, 2), %rax

  242. 

  243. 	xorps	%xmm8,  %xmm8

  244. 	prefetcht2     4 * SIZE(CO1)

  245. 	xorps	%xmm9,  %xmm9

  246. 	prefetcht2     4 * SIZE(CO1, LDC,  1)

  247. 	xorps	%xmm10, %xmm10

  248. 	prefetcht2     4 * SIZE(CO1, LDC,  2)

  249. 	xorps	%xmm11, %xmm11

  250. 	prefetcht2     4 * SIZE(CO1, %rax, 1)

  251. 

  252. 	xorps	%xmm12, %xmm12

  253. 	prefetcht2     4 * SIZE(CO2)

  254. 	xorps	%xmm13, %xmm13

  255. 	prefetcht2     4 * SIZE(CO2, LDC,  1)

  256. 	xorps	%xmm14, %xmm14

  257. 	prefetcht2     4 * SIZE(CO2, LDC,  2)

  258. 	xorps	%xmm15, %xmm15

  259. 	prefetcht2     4 * SIZE(CO2, %rax, 1)

  260. 

  261. #if defined(LT) || defined(RN)

  262. 	movq	KK, %rax

  263. #else

  264. 	movq	K, %rax

  265. 	subq	KK, %rax

  266. #endif

  267. 	sarq	$2, %rax

  268. 	NOBRANCH

  269. 	jle	.L15

  270. 	ALIGN_3

  271. 

  272. .L12:

  273. 	PREFETCH	(PREFETCHSIZE +  0) * SIZE(AO)

  274. 

  275. 	addps	%xmm1, %xmm12

  276. 	movaps	-32 * SIZE(BO), %xmm1

  277. 	addps	%xmm2, %xmm13

  278. 	pshufd	$0x39, %xmm1, %xmm2

  279. 	mulps	%xmm0, %xmm1

  280. 	pshufd	$0x39, %xmm2, %xmm5

  281. 	mulps	%xmm0, %xmm2

  282. 

  283. 	addps	%xmm3, %xmm14

  284. 	addps	%xmm4, %xmm15

  285. 	pshufd	$0x39, %xmm5, %xmm6

  286. 	mulps	%xmm0, %xmm5

  287. 	mulps	%xmm0, %xmm6

  288. 

  289. 	addps	%xmm1, %xmm8

  290. 	movaps	-28 * SIZE(BO), %xmm1

  291. 	addps	%xmm2, %xmm9

  292. 	pshufd	$0x39, %xmm1, %xmm2

  293. 	mulps	%xmm0, %xmm1

  294. 	pshufd	$0x39, %xmm2, %xmm3

  295. 	mulps	%xmm0, %xmm2

  296. 

  297. 	addps	%xmm5, %xmm10

  298. 	addps	%xmm6, %xmm11

  299. 	pshufd	$0x39, %xmm3, %xmm4

  300. 	mulps	%xmm0, %xmm3

  301. 	mulps	%xmm0, %xmm4

  302. 

  303. 	movaps	-28 * SIZE(AO), %xmm0

  304. 

  305. 	addps	%xmm1, %xmm12

  306. 	movaps	-24 * SIZE(BO), %xmm1

  307. 	addps	%xmm2, %xmm13

  308. 	pshufd	$0x39, %xmm1, %xmm2

  309. 	mulps	%xmm0, %xmm1

  310. 	pshufd	$0x39, %xmm2, %xmm5

  311. 	mulps	%xmm0, %xmm2

  312. 

  313. 	addps	%xmm3, %xmm14

  314. 	addps	%xmm4, %xmm15

  315. 	pshufd	$0x39, %xmm5, %xmm6

  316. 	mulps	%xmm0, %xmm5

  317. 	mulps	%xmm0, %xmm6

  318. 

  319. 	addps	%xmm1, %xmm8

  320. 	movaps	-20 * SIZE(BO), %xmm1

  321. 	addps	%xmm2, %xmm9

  322. 	pshufd	$0x39, %xmm1, %xmm2

  323. 	mulps	%xmm0, %xmm1

  324. 	pshufd	$0x39, %xmm2, %xmm3

  325. 	mulps	%xmm0, %xmm2

  326. 

  327. 	addps	%xmm5, %xmm10

  328. 	addps	%xmm6, %xmm11

  329. 	pshufd	$0x39, %xmm3, %xmm4

  330. 	mulps	%xmm0, %xmm3

  331. 	mulps	%xmm0, %xmm4

  332. 

  333. 	movaps	-24 * SIZE(AO), %xmm0

  334. 

  335. 	addps	%xmm1, %xmm12

  336. 	movaps	-16 * SIZE(BO), %xmm1

  337. 	addps	%xmm2, %xmm13

  338. 	pshufd	$0x39, %xmm1, %xmm2

  339. 	mulps	%xmm0, %xmm1

  340. 	pshufd	$0x39, %xmm2, %xmm5

  341. 	mulps	%xmm0, %xmm2

  342. 

  343. 	addps	%xmm3, %xmm14

  344. 	addps	%xmm4, %xmm15

  345. 	pshufd	$0x39, %xmm5, %xmm6

  346. 	mulps	%xmm0, %xmm5

  347. 	mulps	%xmm0, %xmm6

  348. 

  349. 	addps	%xmm1, %xmm8

  350. 	movaps	-12 * SIZE(BO), %xmm1

  351. 	addps	%xmm2, %xmm9

  352. 	pshufd	$0x39, %xmm1, %xmm2

  353. 	mulps	%xmm0, %xmm1

  354. 	pshufd	$0x39, %xmm2, %xmm3

  355. 	mulps	%xmm0, %xmm2

  356. 

  357. 	addps	%xmm5, %xmm10

  358. 	addps	%xmm6, %xmm11

  359. 	pshufd	$0x39, %xmm3, %xmm4

  360. 	mulps	%xmm0, %xmm3

  361. 	mulps	%xmm0, %xmm4

  362. 

  363. 	movaps	-20 * SIZE(AO), %xmm0

  364. 

  365. 	addps	%xmm1, %xmm12

  366. 	movaps	 -8 * SIZE(BO), %xmm1

  367. 	addps	%xmm2, %xmm13

  368. 	pshufd	$0x39, %xmm1, %xmm2

  369. 	mulps	%xmm0, %xmm1

  370. 	pshufd	$0x39, %xmm2, %xmm5

  371. 	mulps	%xmm0, %xmm2

  372. 

  373. 	addps	%xmm3, %xmm14

  374. 	addps	%xmm4, %xmm15

  375. 	pshufd	$0x39, %xmm5, %xmm6

  376. 	mulps	%xmm0, %xmm5

  377. 	mulps	%xmm0, %xmm6

  378. 

  379. 	addps	%xmm1, %xmm8

  380. 	movaps	 -4 * SIZE(BO), %xmm1

  381. 	addps	%xmm2, %xmm9

  382. 	subq	$-32 * SIZE, BO

  383. 	pshufd	$0x39, %xmm1, %xmm2

  384. 	mulps	%xmm0, %xmm1

  385. 	pshufd	$0x39, %xmm2, %xmm3

  386. 	mulps	%xmm0, %xmm2

  387. 

  388. 	addps	%xmm5, %xmm10

  389. 	addps	%xmm6, %xmm11

  390. 	pshufd	$0x39, %xmm3, %xmm4

  391. 	mulps	%xmm0, %xmm3

  392. 	mulps	%xmm0, %xmm4

  393. 

  394. 	movaps	-16 * SIZE(AO), %xmm0

  395. 

  396. 	subq	$-16 * SIZE, AO

  397. 	subq	$1, %rax

  398. 	BRANCH

  399. 	jg	.L12

  400. 	ALIGN_3

  401. 

  402. .L15:

  403. #if defined(LT) || defined(RN)

  404. 	movq	KK, %rax

  405. #else

  406. 	movq	K, %rax

  407. 	subq	KK, %rax

  408. #endif

  409. 	andq	$3, %rax		# if (k & 1)

  410. 	BRANCH

  411. 	je	.L18

  412. 	ALIGN_3

  413. 

  414. .L16:

  415. 	addps	%xmm1, %xmm12

  416. 	movaps	-32 * SIZE(BO), %xmm1

  417. 	addps	%xmm2, %xmm13

  418. 	pshufd	$0x39, %xmm1, %xmm2

  419. 	mulps	%xmm0, %xmm1

  420. 	pshufd	$0x39, %xmm2, %xmm5

  421. 	mulps	%xmm0, %xmm2

  422. 

  423. 	addps	%xmm3, %xmm14

  424. 	addps	%xmm4, %xmm15

  425. 	pshufd	$0x39, %xmm5, %xmm6

  426. 	mulps	%xmm0, %xmm5

  427. 	mulps	%xmm0, %xmm6

  428. 

  429. 	addps	%xmm1, %xmm8

  430. 	movaps	-28 * SIZE(BO), %xmm1

  431. 	addps	%xmm2, %xmm9

  432. 	pshufd	$0x39, %xmm1, %xmm2

  433. 	mulps	%xmm0, %xmm1

  434. 	pshufd	$0x39, %xmm2, %xmm3

  435. 	mulps	%xmm0, %xmm2

  436. 

  437. 	addps	%xmm5, %xmm10

  438. 	addps	%xmm6, %xmm11

  439. 	pshufd	$0x39, %xmm3, %xmm4

  440. 	mulps	%xmm0, %xmm3

  441. 	mulps	%xmm0, %xmm4

  442. 

  443. 	movaps	-28 * SIZE(AO), %xmm0

  444. 

  445. 	addq	$4 * SIZE, AO

  446. 	addq	$8 * SIZE, BO

  447. 

  448. 	subq	$1, %rax

  449. 	BRANCH

  450. 	jg	.L16

  451. 	ALIGN_3

  452. 

  453. .L18:

  454. #if defined(LN) || defined(RT)

  455. 	movq	KK, %rax

  456. #ifdef LN

  457. 	subq	$4, %rax

  458. #else

  459. 	subq	$8, %rax

  460. #endif

  461. 

  462. 	leaq	(, %rax, SIZE), %rax

  463. 

  464. 	movq	AORIG, AO

  465. 	leaq	(AO, %rax, 4), AO

  466. 	leaq	(B,  %rax, 8), BO

  467. #endif

  468. 

  469. 	addps	%xmm1, %xmm12

  470. 	addps	%xmm2, %xmm13

  471. 	addps	%xmm3, %xmm14

  472. 	addps	%xmm4, %xmm15

  473. 

  474. #if defined(LN) || defined(LT)

  475. 	movaps	%xmm8, %xmm4

  476. 	shufps	$0x88, %xmm9,  %xmm8

  477. 	movaps	%xmm10, %xmm5

  478. 	shufps	$0x88, %xmm11, %xmm10

  479. 	shufps	$0xdd, %xmm11, %xmm4

  480. 	shufps	$0xdd, %xmm9,  %xmm5

  481. 

  482. 	movaps	%xmm8, %xmm6

  483. 	shufps	$0x88, %xmm10, %xmm8

  484. 	shufps	$0xdd, %xmm6,  %xmm10

  485. 

  486. 	movaps	%xmm4, %xmm9

  487. 	movaps	%xmm5, %xmm11

  488. 	shufps	$0x22, %xmm5, %xmm9

  489. 	shufps	$0x77, %xmm4, %xmm11

  490. 

  491. 	movaps	%xmm12, %xmm4

  492. 	shufps	$0x88, %xmm13,  %xmm12

  493. 	movaps	%xmm14, %xmm5

  494. 	shufps	$0x88, %xmm15, %xmm14

  495. 	shufps	$0xdd, %xmm15, %xmm4

  496. 	shufps	$0xdd, %xmm13,  %xmm5

  497. 

  498. 	movaps	%xmm12, %xmm6

  499. 	shufps	$0x88, %xmm14, %xmm12

  500. 	shufps	$0xdd, %xmm6,  %xmm14

  501. 

  502. 	movaps	%xmm4, %xmm13

  503. 	movaps	%xmm5, %xmm15

  504. 	shufps	$0x22, %xmm5, %xmm13

  505. 	shufps	$0x77, %xmm4, %xmm15

  506. 

  507. 	movaps	-32 * SIZE(BO), %xmm0

  508. 	movaps	-28 * SIZE(BO), %xmm4

  509. 	movaps	-24 * SIZE(BO), %xmm1

  510. 	movaps	-20 * SIZE(BO), %xmm5

  511. 	movaps	-16 * SIZE(BO), %xmm2

  512. 	movaps	-12 * SIZE(BO), %xmm6

  513. 	movaps	 -8 * SIZE(BO), %xmm3

  514. 	movaps	 -4 * SIZE(BO), %xmm7

  515. 

  516. #else

  517. 	movaps	%xmm9, %xmm4

  518. 	shufps	$0xd8, %xmm8, %xmm9

  519. 	shufps	$0xd8, %xmm11, %xmm8

  520. 	shufps	$0xd8, %xmm10, %xmm11

  521. 	shufps	$0xd8, %xmm4, %xmm10

  522. 

  523. 	movaps	%xmm8, %xmm4

  524. 	shufps	$0xd8, %xmm10, %xmm8

  525. 	shufps	$0xd8, %xmm4, %xmm10

  526. 	movaps	%xmm9, %xmm5

  527. 	shufps	$0xd8, %xmm11, %xmm9

  528. 	shufps	$0xd8, %xmm5, %xmm11

  529. 

  530. 	movaps	%xmm13, %xmm4

  531. 	shufps	$0xd8, %xmm12, %xmm13

  532. 	shufps	$0xd8, %xmm15, %xmm12

  533. 	shufps	$0xd8, %xmm14, %xmm15

  534. 	shufps	$0xd8, %xmm4, %xmm14

  535. 

  536. 	movaps	%xmm12, %xmm4

  537. 	shufps	$0xd8, %xmm14, %xmm12

  538. 	shufps	$0xd8, %xmm4, %xmm14

  539. 	movaps	%xmm13, %xmm5

  540. 	shufps	$0xd8, %xmm15, %xmm13

  541. 	shufps	$0xd8, %xmm5, %xmm15

  542. 

  543. 	movaps	-32 * SIZE(AO), %xmm0

  544. 	movaps	-28 * SIZE(AO), %xmm1

  545. 	movaps	-24 * SIZE(AO), %xmm2

  546. 	movaps	-20 * SIZE(AO), %xmm3

  547. 	movaps	-16 * SIZE(AO), %xmm4

  548. 	movaps	-12 * SIZE(AO), %xmm5

  549. 	movaps	 -8 * SIZE(AO), %xmm6

  550. 	movaps	 -4 * SIZE(AO), %xmm7

  551. #endif

  552. 

  553. 	subps	%xmm8,  %xmm0

  554. 	subps	%xmm9,  %xmm1

  555. 	subps	%xmm10, %xmm2

  556. 	subps	%xmm11, %xmm3

  557. 	subps	%xmm12, %xmm4

  558. 	subps	%xmm13, %xmm5

  559. 	subps	%xmm14, %xmm6

  560. 	subps	%xmm15, %xmm7

  561. 

  562. #ifdef LN

  563. 	movaps	-20 * SIZE(AO), %xmm8

  564. 

  565. 	pshufd	 $0xff, %xmm8, %xmm15

  566. 	mulps	 %xmm15, %xmm3

  567. 	mulps	 %xmm15, %xmm7

  568. 	pshufd	 $0xaa, %xmm8, %xmm15

  569. 	mulps	 %xmm3,  %xmm15

  570. 	subps	 %xmm15, %xmm2

  571. 	pshufd	 $0xaa, %xmm8, %xmm15

  572. 	mulps	 %xmm7,  %xmm15

  573. 	subps	 %xmm15, %xmm6

  574. 	pshufd	 $0x55, %xmm8, %xmm15

  575. 	mulps	 %xmm3,  %xmm15

  576. 	subps	 %xmm15, %xmm1

  577. 	pshufd	 $0x55, %xmm8, %xmm15

  578. 	mulps	 %xmm7,  %xmm15

  579. 	subps	 %xmm15, %xmm5

  580. 	pshufd	 $0x00, %xmm8, %xmm15

  581. 	mulps	 %xmm3,  %xmm15

  582. 	subps	 %xmm15, %xmm0

  583. 	pshufd	 $0x00, %xmm8, %xmm15

  584. 	mulps	 %xmm7,  %xmm15

  585. 	subps	 %xmm15, %xmm4

  586. 

  587. 	movaps	-24 * SIZE(AO), %xmm8

  588. 

  589. 	pshufd	 $0xaa, %xmm8, %xmm15

  590. 	mulps	 %xmm15, %xmm2

  591. 	mulps	 %xmm15, %xmm6

  592. 	pshufd	 $0x55, %xmm8, %xmm15

  593. 	mulps	 %xmm2,  %xmm15

  594. 	subps	 %xmm15, %xmm1

  595. 	pshufd	 $0x55, %xmm8, %xmm15

  596. 	mulps	 %xmm6,  %xmm15

  597. 	subps	 %xmm15, %xmm5

  598. 	pshufd	 $0x00, %xmm8, %xmm15

  599. 	mulps	 %xmm2,  %xmm15

  600. 	subps	 %xmm15, %xmm0

  601. 	pshufd	 $0x00, %xmm8, %xmm15

  602. 	mulps	 %xmm6,  %xmm15

  603. 	subps	 %xmm15, %xmm4

  604. 

  605. 	movaps	-28 * SIZE(AO), %xmm8

  606. 

  607. 	pshufd	 $0x55, %xmm8, %xmm15

  608. 	mulps	 %xmm15, %xmm1

  609. 	mulps	 %xmm15, %xmm5

  610. 	pshufd	 $0x00, %xmm8, %xmm15

  611. 	mulps	 %xmm1,  %xmm15

  612. 	subps	 %xmm15, %xmm0

  613. 	pshufd	 $0x00, %xmm8, %xmm15

  614. 	mulps	 %xmm5,  %xmm15

  615. 	subps	 %xmm15, %xmm4

  616. 

  617. 	movaps	-32 * SIZE(AO), %xmm8

  618. 

  619. 	pshufd	 $0x00, %xmm8, %xmm15

  620. 	mulps	 %xmm15, %xmm0

  621. 	mulps	 %xmm15, %xmm4

  622. #endif

  623. 

  624. #ifdef LT

  625. 	movaps	-32 * SIZE(AO), %xmm8

  626. 

  627. 	pshufd	 $0x00, %xmm8, %xmm15

  628. 	mulps	 %xmm15, %xmm0

  629. 	mulps	 %xmm15, %xmm4

  630. 	pshufd	 $0x55, %xmm8, %xmm15

  631. 	mulps	 %xmm0,  %xmm15

  632. 	subps	 %xmm15, %xmm1

  633. 	pshufd	 $0x55, %xmm8, %xmm15

  634. 	mulps	 %xmm4,  %xmm15

  635. 	subps	 %xmm15, %xmm5

  636. 	pshufd	 $0xaa, %xmm8, %xmm15

  637. 	mulps	 %xmm0,  %xmm15

  638. 	subps	 %xmm15, %xmm2

  639. 	pshufd	 $0xaa, %xmm8, %xmm15

  640. 	mulps	 %xmm4,  %xmm15

  641. 	subps	 %xmm15, %xmm6

  642. 	pshufd	 $0xff, %xmm8, %xmm15

  643. 	mulps	 %xmm0,  %xmm15

  644. 	subps	 %xmm15, %xmm3

  645. 	pshufd	 $0xff, %xmm8, %xmm15

  646. 	mulps	 %xmm4,  %xmm15

  647. 	subps	 %xmm15, %xmm7

  648. 

  649. 	movaps	-28 * SIZE(AO), %xmm8

  650. 

  651. 	pshufd	 $0x55, %xmm8, %xmm15

  652. 	mulps	 %xmm15, %xmm1

  653. 	mulps	 %xmm15, %xmm5

  654. 	pshufd	 $0xaa, %xmm8, %xmm15

  655. 	mulps	 %xmm1,  %xmm15

  656. 	subps	 %xmm15, %xmm2

  657. 	pshufd	 $0xaa, %xmm8, %xmm15

  658. 	mulps	 %xmm5,  %xmm15

  659. 	subps	 %xmm15, %xmm6

  660. 	pshufd	 $0xff, %xmm8, %xmm15

  661. 	mulps	 %xmm1,  %xmm15

  662. 	subps	 %xmm15, %xmm3

  663. 	pshufd	 $0xff, %xmm8, %xmm15

  664. 	mulps	 %xmm5,  %xmm15

  665. 	subps	 %xmm15, %xmm7

  666. 

  667. 	movaps	-24 * SIZE(AO), %xmm8

  668. 

  669. 	pshufd	 $0xaa, %xmm8, %xmm15

  670. 	mulps	 %xmm15, %xmm2

  671. 	mulps	 %xmm15, %xmm6

  672. 	pshufd	 $0xff, %xmm8, %xmm15

  673. 	mulps	 %xmm2,  %xmm15

  674. 	subps	 %xmm15, %xmm3

  675. 	pshufd	 $0xff, %xmm8, %xmm15

  676. 	mulps	 %xmm6,  %xmm15

  677. 	subps	 %xmm15, %xmm7

  678. 

  679. 	movaps	-20 * SIZE(AO), %xmm8

  680. 

  681. 	pshufd	 $0xff, %xmm8, %xmm15

  682. 	mulps	 %xmm15, %xmm3

  683. 	mulps	 %xmm15, %xmm7

  684. #endif

  685. 

  686. #ifdef RN

  687. 	movaps	-32 * SIZE(BO), %xmm8

  688. 

  689. 	pshufd	 $0x00, %xmm8, %xmm15

  690. 	mulps	 %xmm15, %xmm0

  691. 	pshufd	 $0x55,  %xmm8, %xmm15

  692. 	mulps	 %xmm0,  %xmm15

  693. 	subps	 %xmm15, %xmm1

  694. 	pshufd	 $0xaa,  %xmm8, %xmm15

  695. 	mulps	 %xmm0,  %xmm15

  696. 	subps	 %xmm15, %xmm2

  697. 	pshufd	 $0xff,  %xmm8, %xmm15

  698. 	mulps	 %xmm0,  %xmm15

  699. 	subps	 %xmm15, %xmm3

  700. 

  701. 	movaps	-28 * SIZE(BO), %xmm8

  702. 

  703. 	pshufd	 $0x00,  %xmm8, %xmm15

  704. 	mulps	 %xmm0,  %xmm15

  705. 	subps	 %xmm15, %xmm4

  706. 	pshufd	 $0x55,  %xmm8, %xmm15

  707. 	mulps	 %xmm0,  %xmm15

  708. 	subps	 %xmm15, %xmm5

  709. 	pshufd	 $0xaa,  %xmm8, %xmm15

  710. 	mulps	 %xmm0,  %xmm15

  711. 	subps	 %xmm15, %xmm6

  712. 	pshufd	 $0xff,  %xmm8, %xmm15

  713. 	mulps	 %xmm0,  %xmm15

  714. 	subps	 %xmm15, %xmm7

  715. 

  716. 	movaps	-24 * SIZE(BO), %xmm8

  717. 

  718. 	pshufd	 $0x55, %xmm8, %xmm15

  719. 	mulps	 %xmm15, %xmm1

  720. 	pshufd	 $0xaa,  %xmm8, %xmm15

  721. 	mulps	 %xmm1,  %xmm15

  722. 	subps	 %xmm15, %xmm2

  723. 	pshufd	 $0xff,  %xmm8, %xmm15

  724. 	mulps	 %xmm1,  %xmm15

  725. 	subps	 %xmm15, %xmm3

  726. 

  727. 	movaps	-20 * SIZE(BO), %xmm8

  728. 

  729. 	pshufd	 $0x00,  %xmm8, %xmm15

  730. 	mulps	 %xmm1,  %xmm15

  731. 	subps	 %xmm15, %xmm4

  732. 	pshufd	 $0x55,  %xmm8, %xmm15

  733. 	mulps	 %xmm1,  %xmm15

  734. 	subps	 %xmm15, %xmm5

  735. 	pshufd	 $0xaa,  %xmm8, %xmm15

  736. 	mulps	 %xmm1,  %xmm15

  737. 	subps	 %xmm15, %xmm6

  738. 	pshufd	 $0xff,  %xmm8, %xmm15

  739. 	mulps	 %xmm1,  %xmm15

  740. 	subps	 %xmm15, %xmm7

  741. 

  742. 	movaps	-16 * SIZE(BO), %xmm8

  743. 

  744. 	pshufd	 $0xaa, %xmm8, %xmm15

  745. 	mulps	 %xmm15, %xmm2

  746. 	pshufd	 $0xff,  %xmm8, %xmm15

  747. 	mulps	 %xmm2,  %xmm15

  748. 	subps	 %xmm15, %xmm3

  749. 

  750. 	movaps	-12 * SIZE(BO), %xmm8

  751. 

  752. 	pshufd	 $0x00,  %xmm8, %xmm15

  753. 	mulps	 %xmm2,  %xmm15

  754. 	subps	 %xmm15, %xmm4

  755. 	pshufd	 $0x55,  %xmm8, %xmm15

  756. 	mulps	 %xmm2,  %xmm15

  757. 	subps	 %xmm15, %xmm5

  758. 	pshufd	 $0xaa,  %xmm8, %xmm15

  759. 	mulps	 %xmm2,  %xmm15

  760. 	subps	 %xmm15, %xmm6

  761. 	pshufd	 $0xff,  %xmm8, %xmm15

  762. 	mulps	 %xmm2,  %xmm15

  763. 	subps	 %xmm15, %xmm7

  764. 

  765. 	movaps	 -8 * SIZE(BO), %xmm8

  766. 

  767. 	pshufd	 $0xff, %xmm8, %xmm15

  768. 	mulps	 %xmm15, %xmm3

  769. 

  770. 	movaps	 -4 * SIZE(BO), %xmm8

  771. 

  772. 	pshufd	 $0x00,  %xmm8, %xmm15

  773. 	mulps	 %xmm3,  %xmm15

  774. 	subps	 %xmm15, %xmm4

  775. 	pshufd	 $0x55,  %xmm8, %xmm15

  776. 	mulps	 %xmm3,  %xmm15

  777. 	subps	 %xmm15, %xmm5

  778. 	pshufd	 $0xaa,  %xmm8, %xmm15

  779. 	mulps	 %xmm3,  %xmm15

  780. 	subps	 %xmm15, %xmm6

  781. 	pshufd	 $0xff,  %xmm8, %xmm15

  782. 	mulps	 %xmm3,  %xmm15

  783. 	subps	 %xmm15, %xmm7

  784. 

  785. 	movaps	  4 * SIZE(BO), %xmm8

  786. 

  787. 	pshufd	 $0x00, %xmm8, %xmm15

  788. 	mulps	 %xmm15, %xmm4

  789. 	pshufd	 $0x55,  %xmm8, %xmm15

  790. 	mulps	 %xmm4,  %xmm15

  791. 	subps	 %xmm15, %xmm5

  792. 	pshufd	 $0xaa,  %xmm8, %xmm15

  793. 	mulps	 %xmm4,  %xmm15

  794. 	subps	 %xmm15, %xmm6

  795. 	pshufd	 $0xff,  %xmm8, %xmm15

  796. 	mulps	 %xmm4,  %xmm15

  797. 	subps	 %xmm15, %xmm7

  798. 

  799. 	movaps	 12 * SIZE(BO), %xmm8

  800. 

  801. 	pshufd	 $0x55, %xmm8, %xmm15

  802. 	mulps	 %xmm15, %xmm5

  803. 	pshufd	 $0xaa,  %xmm8, %xmm15

  804. 	mulps	 %xmm5,  %xmm15

  805. 	subps	 %xmm15, %xmm6

  806. 	pshufd	 $0xff,  %xmm8, %xmm15

  807. 	mulps	 %xmm5,  %xmm15

  808. 	subps	 %xmm15, %xmm7

  809. 

  810. 	movaps	 20 * SIZE(BO), %xmm8

  811. 

  812. 	pshufd	 $0xaa, %xmm8, %xmm15

  813. 	mulps	 %xmm15, %xmm6

  814. 	pshufd	 $0xff,  %xmm8, %xmm15

  815. 	mulps	 %xmm6,  %xmm15

  816. 	subps	 %xmm15, %xmm7

  817. 

  818. 	movaps	 28 * SIZE(BO), %xmm8

  819. 

  820. 	pshufd	 $0xff, %xmm8, %xmm15

  821. 	mulps	 %xmm15, %xmm7

  822. #endif

  823. 

  824. #ifdef RT

  825. 	movaps	 28 * SIZE(BO), %xmm8

  826. 

  827. 	pshufd	 $0xff, %xmm8, %xmm15

  828. 	mulps	 %xmm15, %xmm7

  829. 	pshufd	 $0xaa,  %xmm8, %xmm15

  830. 	mulps	 %xmm7,  %xmm15

  831. 	subps	 %xmm15, %xmm6

  832. 	pshufd	 $0x55,  %xmm8, %xmm15

  833. 	mulps	 %xmm7,  %xmm15

  834. 	subps	 %xmm15, %xmm5

  835. 	pshufd	 $0x00,  %xmm8, %xmm15

  836. 	mulps	 %xmm7,  %xmm15

  837. 	subps	 %xmm15, %xmm4

  838. 

  839. 	movaps	 24 * SIZE(BO), %xmm8

  840. 

  841. 	pshufd	 $0xff,  %xmm8, %xmm15

  842. 	mulps	 %xmm7,  %xmm15

  843. 	subps	 %xmm15, %xmm3

  844. 	pshufd	 $0xaa,  %xmm8, %xmm15

  845. 	mulps	 %xmm7,  %xmm15

  846. 	subps	 %xmm15, %xmm2

  847. 	pshufd	 $0x55,  %xmm8, %xmm15

  848. 	mulps	 %xmm7,  %xmm15

  849. 	subps	 %xmm15, %xmm1

  850. 	pshufd	 $0x00,  %xmm8, %xmm15

  851. 	mulps	 %xmm7,  %xmm15

  852. 	subps	 %xmm15, %xmm0

  853. 

  854. 	movaps	 20 * SIZE(BO), %xmm8

  855. 

  856. 	pshufd	 $0xaa, %xmm8, %xmm15

  857. 	mulps	 %xmm15, %xmm6

  858. 	pshufd	 $0x55,  %xmm8, %xmm15

  859. 	mulps	 %xmm6,  %xmm15

  860. 	subps	 %xmm15, %xmm5

  861. 	pshufd	 $0x00,  %xmm8, %xmm15

  862. 	mulps	 %xmm6,  %xmm15

  863. 	subps	 %xmm15, %xmm4

  864. 

  865. 	movaps	 16 * SIZE(BO), %xmm8

  866. 

  867. 	pshufd	 $0xff,  %xmm8, %xmm15

  868. 	mulps	 %xmm6,  %xmm15

  869. 	subps	 %xmm15, %xmm3

  870. 	pshufd	 $0xaa,  %xmm8, %xmm15

  871. 	mulps	 %xmm6,  %xmm15

  872. 	subps	 %xmm15, %xmm2

  873. 	pshufd	 $0x55,  %xmm8, %xmm15

  874. 	mulps	 %xmm6,  %xmm15

  875. 	subps	 %xmm15, %xmm1

  876. 	pshufd	 $0x00,  %xmm8, %xmm15

  877. 	mulps	 %xmm6,  %xmm15

  878. 	subps	 %xmm15, %xmm0

  879. 

  880. 	movaps	 12 * SIZE(BO), %xmm8

  881. 

  882. 	pshufd	 $0x55, %xmm8, %xmm15

  883. 	mulps	 %xmm15, %xmm5

  884. 	pshufd	 $0x00,  %xmm8, %xmm15

  885. 	mulps	 %xmm5,  %xmm15

  886. 	subps	 %xmm15, %xmm4

  887. 

  888. 	movaps	  8 * SIZE(BO), %xmm8

  889. 

  890. 	pshufd	 $0xff,  %xmm8, %xmm15

  891. 	mulps	 %xmm5,  %xmm15

  892. 	subps	 %xmm15, %xmm3

  893. 	pshufd	 $0xaa,  %xmm8, %xmm15

  894. 	mulps	 %xmm5,  %xmm15

  895. 	subps	 %xmm15, %xmm2

  896. 	pshufd	 $0x55,  %xmm8, %xmm15

  897. 	mulps	 %xmm5,  %xmm15

  898. 	subps	 %xmm15, %xmm1

  899. 	pshufd	 $0x00,  %xmm8, %xmm15

  900. 	mulps	 %xmm5,  %xmm15

  901. 	subps	 %xmm15, %xmm0

  902. 

  903. 	movaps	  4 * SIZE(BO), %xmm8

  904. 

  905. 	pshufd	 $0x00, %xmm8, %xmm15

  906. 	mulps	 %xmm15, %xmm4

  907. 

  908. 	movaps	  0 * SIZE(BO), %xmm8

  909. 

  910. 	pshufd	 $0xff,  %xmm8, %xmm15

  911. 	mulps	 %xmm4,  %xmm15

  912. 	subps	 %xmm15, %xmm3

  913. 	pshufd	 $0xaa,  %xmm8, %xmm15

  914. 	mulps	 %xmm4,  %xmm15

  915. 	subps	 %xmm15, %xmm2

  916. 	pshufd	 $0x55,  %xmm8, %xmm15

  917. 	mulps	 %xmm4,  %xmm15

  918. 	subps	 %xmm15, %xmm1

  919. 	pshufd	 $0x00,  %xmm8, %xmm15

  920. 	mulps	 %xmm4,  %xmm15

  921. 	subps	 %xmm15, %xmm0

  922. 

  923. 	movaps	 -8 * SIZE(BO), %xmm8

  924. 

  925. 	pshufd	 $0xff, %xmm8, %xmm15

  926. 	mulps	 %xmm15, %xmm3

  927. 	pshufd	 $0xaa,  %xmm8, %xmm15

  928. 	mulps	 %xmm3,  %xmm15

  929. 	subps	 %xmm15, %xmm2

  930. 	pshufd	 $0x55,  %xmm8, %xmm15

  931. 	mulps	 %xmm3,  %xmm15

  932. 	subps	 %xmm15, %xmm1

  933. 	pshufd	 $0x00,  %xmm8, %xmm15

  934. 	mulps	 %xmm3,  %xmm15

  935. 	subps	 %xmm15, %xmm0

  936. 

  937. 	movaps	-16 * SIZE(BO), %xmm8

  938. 

  939. 	pshufd	 $0xaa, %xmm8, %xmm15

  940. 	mulps	 %xmm15, %xmm2

  941. 	pshufd	 $0x55,  %xmm8, %xmm15

  942. 	mulps	 %xmm2,  %xmm15

  943. 	subps	 %xmm15, %xmm1

  944. 	pshufd	 $0x00,  %xmm8, %xmm15

  945. 	mulps	 %xmm2,  %xmm15

  946. 	subps	 %xmm15, %xmm0

  947. 

  948. 	movaps	-24 * SIZE(BO), %xmm8

  949. 

  950. 	pshufd	 $0x55, %xmm8, %xmm15

  951. 	mulps	 %xmm15, %xmm1

  952. 	pshufd	 $0x00,  %xmm8, %xmm15

  953. 	mulps	 %xmm1,  %xmm15

  954. 	subps	 %xmm15, %xmm0

  955. 

  956. 	movaps	-32 * SIZE(BO), %xmm8

  957. 

  958. 	pshufd	 $0x00, %xmm8, %xmm15

  959. 	mulps	 %xmm15, %xmm0

  960. #endif

  961. 

  962. #ifdef LN

  963. 	subq	$4 * SIZE, CO1

  964. 	subq	$4 * SIZE, CO2

  965. #endif

  966. 

  967. #if defined(LN) || defined(LT)

  968. 	movaps	%xmm0, -32 * SIZE(BO)

  969. 	movaps	%xmm4, -28 * SIZE(BO)

  970. 	movaps	%xmm1, -24 * SIZE(BO)

  971. 	movaps	%xmm5, -20 * SIZE(BO)

  972. 	movaps	%xmm2, -16 * SIZE(BO)

  973. 	movaps	%xmm6, -12 * SIZE(BO)

  974. 	movaps	%xmm3,  -8 * SIZE(BO)

  975. 	movaps	%xmm7,  -4 * SIZE(BO)

  976. 

  977. 	movaps	%xmm0, %xmm8

  978. 	shufps	$0x88, %xmm1, %xmm0

  979. 	shufps	$0xdd, %xmm8, %xmm1

  980. 

  981. 	movaps	%xmm2, %xmm9

  982. 	shufps	$0x88, %xmm3, %xmm2

  983. 	shufps	$0xdd, %xmm9, %xmm3

  984. 

  985. 	movaps	%xmm0, %xmm8

  986. 	shufps	$0x88, %xmm2, %xmm0

  987. 	movaps	%xmm1, %xmm9

  988. 	shufps	$0x22, %xmm3, %xmm1

  989. 	shufps	$0xdd, %xmm2, %xmm8

  990. 	movaps	%xmm8, %xmm2

  991. 	shufps	$0x77, %xmm3, %xmm9

  992. 	movaps	%xmm9, %xmm3

  993. 

  994. 	movaps	%xmm4, %xmm8

  995. 	shufps	$0x88, %xmm5, %xmm4

  996. 	shufps	$0xdd, %xmm8, %xmm5

  997. 

  998. 	movaps	%xmm6, %xmm9

  999. 	shufps	$0x88, %xmm7, %xmm6

  1000. 	shufps	$0xdd, %xmm9, %xmm7

  1001. 

  1002. 	movaps	%xmm4, %xmm8

  1003. 	shufps	$0x88, %xmm6, %xmm4

  1004. 	movaps	%xmm5, %xmm9

  1005. 	shufps	$0x22, %xmm7, %xmm5

  1006. 	shufps	$0xdd, %xmm6, %xmm8

  1007. 	movaps	%xmm8, %xmm6

  1008. 	shufps	$0x77, %xmm7, %xmm9

  1009. 	movaps	%xmm9, %xmm7

  1010. 

  1011. #else

  1012. 	movaps	%xmm0, -32 * SIZE(AO)

  1013. 	movaps	%xmm1, -28 * SIZE(AO)

  1014. 	movaps	%xmm2, -24 * SIZE(AO)

  1015. 	movaps	%xmm3, -20 * SIZE(AO)

  1016. 	movaps	%xmm4, -16 * SIZE(AO)

  1017. 	movaps	%xmm5, -12 * SIZE(AO)

  1018. 	movaps	%xmm6,  -8 * SIZE(AO)

  1019. 	movaps	%xmm7,  -4 * SIZE(AO)

  1020. #endif

  1021. 

  1022. 	leaq	(LDC, LDC, 2), %rax

  1023. 

  1024. 	movsd	%xmm0,  0 * SIZE(CO1)

  1025. 	movhps	%xmm0,  2 * SIZE(CO1)

  1026. 	movsd	%xmm1,  0 * SIZE(CO1, LDC,  1)

  1027. 	movhps	%xmm1,  2 * SIZE(CO1, LDC,  1)

  1028. 

  1029. 	movsd	%xmm2,  0 * SIZE(CO1, LDC,  2)

  1030. 	movhps	%xmm2,  2 * SIZE(CO1, LDC,  2)

  1031. 	movsd	%xmm3,  0 * SIZE(CO1, %rax, 1)

  1032. 	movhps	%xmm3,  2 * SIZE(CO1, %rax, 1)

  1033. 

  1034. 	movsd	%xmm4,  0 * SIZE(CO2)

  1035. 	movhps	%xmm4,  2 * SIZE(CO2)

  1036. 	movsd	%xmm5,  0 * SIZE(CO2, LDC,  1)

  1037. 	movhps	%xmm5,  2 * SIZE(CO2, LDC,  1)

  1038. 

  1039. 	movsd	%xmm6,  0 * SIZE(CO2, LDC,  2)

  1040. 	movhps	%xmm6,  2 * SIZE(CO2, LDC,  2)

  1041. 	movsd	%xmm7,  0 * SIZE(CO2, %rax, 1)

  1042. 	movhps	%xmm7,  2 * SIZE(CO2, %rax, 1)

  1043. 

  1044. #ifndef LN

  1045. 	addq	$4 * SIZE, CO1

  1046. 	addq	$4 * SIZE, CO2

  1047. #endif

  1048. 

  1049. #if defined(LT) || defined(RN)

  1050. 	movq	K,  %rax

  1051. 	subq	KK, %rax

  1052. 	leaq	(,%rax, SIZE), %rax

  1053. 	leaq	(AO, %rax, 4), AO

  1054. 	leaq	(BO, %rax, 8), BO

  1055. #endif

  1056. 

  1057. #ifdef LN

  1058. 	subq	$4, KK

  1059. #endif

  1060. 

  1061. #ifdef LT

  1062. 	addq	$4, KK

  1063. #endif

  1064. 

  1065. #ifdef RT

  1066.        movq	K, %rax

  1067.        salq	$2 + BASE_SHIFT, %rax

  1068.        addq	%rax, AORIG

  1069. #endif

  1070. 

  1071. 	decq	I

  1072. 	BRANCH

  1073. 	jg	.L11

  1074. 	ALIGN_4

  1075. 

  1076. .L20:

  1077. 	testq	$2, M

  1078. 	BRANCH

  1079. 	jle	.L30

  1080. 

  1081. #ifdef LN

  1082.        movq	K, %rax

  1083.        salq	$1 + BASE_SHIFT, %rax

  1084.        subq	%rax, AORIG

  1085. #endif

  1086. 

  1087. #if defined(LN) || defined(RT)

  1088. 	movq	KK, %rax

  1089. 	leaq	(, %rax, SIZE), %rax

  1090. 	movq	AORIG, AO

  1091. 	leaq	(AO, %rax, 2), AO

  1092. 	leaq	(B,  %rax, 8), BO

  1093. #else

  1094. 	movq	B, BO

  1095. #endif

  1096. 

  1097. 	xorps	%xmm1, %xmm1

  1098. 	movddup	-32 * SIZE(AO), %xmm0

  1099. 	xorps	%xmm2, %xmm2

  1100. 	movaps	-32 * SIZE(BO), %xmm5

  1101. 	xorps	%xmm3, %xmm3

  1102. 	xorps	%xmm4, %xmm4

  1103. 

  1104. 	xorps	%xmm8,  %xmm8

  1105. 	xorps	%xmm9,  %xmm9

  1106. 	xorps	%xmm10, %xmm10

  1107. 	xorps	%xmm11, %xmm11

  1108. 

  1109. #if defined(LT) || defined(RN)

  1110. 	movq	KK, %rax

  1111. #else

  1112. 	movq	K, %rax

  1113. 	subq	KK, %rax

  1114. #endif

  1115. 	sarq	$2, %rax

  1116. 	NOBRANCH

  1117. 	jle	.L25

  1118. 	ALIGN_3

  1119. 

  1120. .L22:

  1121. 	addps	%xmm1, %xmm8

  1122. 	pshufd	$0x50, %xmm5, %xmm1

  1123. 	mulps	%xmm0, %xmm1

  1124. 	addps	%xmm2, %xmm9

  1125. 	pshufd	$0xfa, %xmm5, %xmm2

  1126. 	mulps	%xmm0, %xmm2

  1127. 	movaps	-28 * SIZE(BO), %xmm5

  1128. 

  1129. 	addps	%xmm3, %xmm10

  1130. 	pshufd	$0x50, %xmm5, %xmm3

  1131. 	mulps	%xmm0, %xmm3

  1132. 	addps	%xmm4, %xmm11

  1133. 	pshufd	$0xfa, %xmm5, %xmm4

  1134. 	mulps	%xmm0, %xmm4

  1135. 	movaps	-24 * SIZE(BO), %xmm5

  1136. 

  1137. 	movddup	-30 * SIZE(AO), %xmm0

  1138. 

  1139. 	addps	%xmm1, %xmm8

  1140. 	pshufd	$0x50, %xmm5, %xmm1

  1141. 	mulps	%xmm0, %xmm1

  1142. 	addps	%xmm2, %xmm9

  1143. 	pshufd	$0xfa, %xmm5, %xmm2

  1144. 	mulps	%xmm0, %xmm2

  1145. 	movaps	-20 * SIZE(BO), %xmm5

  1146. 

  1147. 	addps	%xmm3, %xmm10

  1148. 	pshufd	$0x50, %xmm5, %xmm3

  1149. 	mulps	%xmm0, %xmm3

  1150. 	addps	%xmm4, %xmm11

  1151. 	pshufd	$0xfa, %xmm5, %xmm4

  1152. 	mulps	%xmm0, %xmm4

  1153. 	movaps	-16 * SIZE(BO), %xmm5

  1154. 

  1155. 	movddup	-28 * SIZE(AO), %xmm0

  1156. 

  1157. 	addps	%xmm1, %xmm8

  1158. 	pshufd	$0x50, %xmm5, %xmm1

  1159. 	mulps	%xmm0, %xmm1

  1160. 	addps	%xmm2, %xmm9

  1161. 	pshufd	$0xfa, %xmm5, %xmm2

  1162. 	mulps	%xmm0, %xmm2

  1163. 	movaps	-12 * SIZE(BO), %xmm5

  1164. 

  1165. 	addps	%xmm3, %xmm10

  1166. 	pshufd	$0x50, %xmm5, %xmm3

  1167. 	mulps	%xmm0, %xmm3

  1168. 	addps	%xmm4, %xmm11

  1169. 	pshufd	$0xfa, %xmm5, %xmm4

  1170. 	mulps	%xmm0, %xmm4

  1171. 	movaps	 -8 * SIZE(BO), %xmm5

  1172. 

  1173. 	movddup	-26 * SIZE(AO), %xmm0

  1174. 

  1175. 	addps	%xmm1, %xmm8

  1176. 	pshufd	$0x50, %xmm5, %xmm1

  1177. 	mulps	%xmm0, %xmm1

  1178. 	addps	%xmm2, %xmm9

  1179. 	pshufd	$0xfa, %xmm5, %xmm2

  1180. 	mulps	%xmm0, %xmm2

  1181. 	movaps	 -4 * SIZE(BO), %xmm5

  1182. 

  1183. 	addps	%xmm3, %xmm10

  1184. 	pshufd	$0x50, %xmm5, %xmm3

  1185. 	mulps	%xmm0, %xmm3

  1186. 	addps	%xmm4, %xmm11

  1187. 	pshufd	$0xfa, %xmm5, %xmm4

  1188. 	mulps	%xmm0, %xmm4

  1189. 	movaps	 0 * SIZE(BO), %xmm5

  1190. 

  1191. 	movddup	-24 * SIZE(AO), %xmm0

  1192. 

  1193. 	subq	$-32 * SIZE, BO

  1194. 	subq	$ -8 * SIZE, AO

  1195. 

  1196. 	subq	$1, %rax

  1197. 	BRANCH

  1198. 	jg	.L22

  1199. 	ALIGN_3

  1200. 

  1201. .L25:

  1202. #if defined(LT) || defined(RN)

  1203. 	movq	KK, %rax

  1204. #else

  1205. 	movq	K, %rax

  1206. 	subq	KK, %rax

  1207. #endif

  1208. 	andq	$3, %rax		# if (k & 1)

  1209. 	BRANCH

  1210. 	je	.L28

  1211. 	ALIGN_3

  1212. 

  1213. .L26:

  1214. 	addps	%xmm1, %xmm8

  1215. 	pshufd	$0x50, %xmm5, %xmm1

  1216. 	mulps	%xmm0, %xmm1

  1217. 	addps	%xmm2, %xmm9

  1218. 	pshufd	$0xfa, %xmm5, %xmm2

  1219. 	mulps	%xmm0, %xmm2

  1220. 	movaps	-28 * SIZE(BO), %xmm5

  1221. 

  1222. 	addps	%xmm3, %xmm10

  1223. 	pshufd	$0x50, %xmm5, %xmm3

  1224. 	mulps	%xmm0, %xmm3

  1225. 	addps	%xmm4, %xmm11

  1226. 	pshufd	$0xfa, %xmm5, %xmm4

  1227. 	mulps	%xmm0, %xmm4

  1228. 	movaps	-24 * SIZE(BO), %xmm5

  1229. 

  1230. 	movddup	-30 * SIZE(AO), %xmm0

  1231. 

  1232. 	addq	$2 * SIZE, AO

  1233. 	addq	$8 * SIZE, BO

  1234. 

  1235. 	subq	$1, %rax

  1236. 	BRANCH

  1237. 	jg	.L26

  1238. 	ALIGN_3

  1239. 

  1240. .L28:

  1241. #if defined(LN) || defined(RT)

  1242. 	movq	KK, %rax

  1243. #ifdef LN

  1244. 	subq	$2, %rax

  1245. #else

  1246. 	subq	$8, %rax

  1247. #endif

  1248. 

  1249. 	leaq	(, %rax, SIZE), %rax

  1250. 

  1251. 	movq	AORIG, AO

  1252. 	leaq	(AO, %rax, 2), AO

  1253. 	leaq	(B,  %rax, 8), BO

  1254. #endif

  1255. 

  1256. 	addps	%xmm1, %xmm8

  1257. 	addps	%xmm2, %xmm9

  1258. 	addps	%xmm3, %xmm10

  1259. 	addps	%xmm4, %xmm11

  1260. 

  1261. #if defined(LN) || defined(LT)

  1262. 	movaps	%xmm8, %xmm4

  1263. 	shufps	$0x88, %xmm9, %xmm8

  1264. 	shufps	$0xdd, %xmm9, %xmm4

  1265. 

  1266. 	movaps	%xmm10, %xmm5

  1267. 	shufps	$0x88, %xmm11, %xmm10

  1268. 	shufps	$0xdd, %xmm11, %xmm5

  1269. 

  1270. 	movaps	-32 * SIZE(BO), %xmm0

  1271. 	movaps	-28 * SIZE(BO), %xmm2

  1272. 	movaps	-24 * SIZE(BO), %xmm1

  1273. 	movaps	-20 * SIZE(BO), %xmm3

  1274. 

  1275. 	subps	%xmm8,  %xmm0

  1276. 	subps	%xmm4,  %xmm1

  1277. 	subps	%xmm10, %xmm2

  1278. 	subps	%xmm5,  %xmm3

  1279. #else

  1280. 	movaps	-32 * SIZE(AO), %xmm0

  1281. 	movaps	-28 * SIZE(AO), %xmm2

  1282. 	movaps	-24 * SIZE(AO), %xmm4

  1283. 	movaps	-20 * SIZE(AO), %xmm6

  1284. 

  1285. 	subps	%xmm8,  %xmm0

  1286. 	subps	%xmm9,  %xmm2

  1287. 	subps	%xmm10, %xmm4

  1288. 	subps	%xmm11, %xmm6

  1289. 

  1290. 	movhlps	%xmm0, %xmm1

  1291. 	movhlps	%xmm2, %xmm3

  1292. 	movhlps	%xmm4, %xmm5

  1293. 	movhlps	%xmm6, %xmm7

  1294. #endif

  1295. 

  1296. #ifdef LN

  1297. 	movaps	-32 * SIZE(AO), %xmm8

  1298. 

  1299. 	pshufd	 $0xff, %xmm8, %xmm15

  1300. 	mulps	 %xmm15, %xmm1

  1301. 	mulps	 %xmm15, %xmm3

  1302. 

  1303. 	pshufd	 $0xaa, %xmm8, %xmm15

  1304. 	mulps	 %xmm1,  %xmm15

  1305. 	subps	 %xmm15, %xmm0

  1306. 	pshufd	 $0xaa, %xmm8, %xmm15

  1307. 	mulps	 %xmm3,  %xmm15

  1308. 	subps	 %xmm15, %xmm2

  1309. 

  1310. 	pshufd	 $0x00, %xmm8, %xmm15

  1311. 	mulps	 %xmm15, %xmm0

  1312. 	mulps	 %xmm15, %xmm2

  1313. #endif

  1314. 

  1315. #ifdef LT

  1316. 	movaps	-32 * SIZE(AO), %xmm8

  1317. 

  1318. 	pshufd	 $0x00, %xmm8, %xmm15

  1319. 	mulps	 %xmm15, %xmm0

  1320. 	mulps	 %xmm15, %xmm2

  1321. 

  1322. 	pshufd	 $0x55, %xmm8, %xmm15

  1323. 	mulps	 %xmm0,  %xmm15

  1324. 	subps	 %xmm15, %xmm1

  1325. 	pshufd	 $0x55, %xmm8, %xmm15

  1326. 	mulps	 %xmm2,  %xmm15

  1327. 	subps	 %xmm15, %xmm3

  1328. 

  1329. 	pshufd	 $0xff, %xmm8, %xmm15

  1330. 	mulps	 %xmm15, %xmm1

  1331. 	mulps	 %xmm15, %xmm3

  1332. #endif

  1333. 

  1334. #ifdef RN

  1335. 	movaps	-32 * SIZE(BO), %xmm8

  1336. 

  1337. 	pshufd	 $0x00, %xmm8, %xmm15

  1338. 	mulps	 %xmm15, %xmm0

  1339. 	pshufd	 $0x55,  %xmm8, %xmm15

  1340. 	mulps	 %xmm0,  %xmm15

  1341. 	subps	 %xmm15, %xmm1

  1342. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1343. 	mulps	 %xmm0,  %xmm15

  1344. 	subps	 %xmm15, %xmm2

  1345. 	pshufd	 $0xff,  %xmm8, %xmm15

  1346. 	mulps	 %xmm0,  %xmm15

  1347. 	subps	 %xmm15, %xmm3

  1348. 

  1349. 	movaps	-28 * SIZE(BO), %xmm8

  1350. 

  1351. 	pshufd	 $0x00,  %xmm8, %xmm15

  1352. 	mulps	 %xmm0,  %xmm15

  1353. 	subps	 %xmm15, %xmm4

  1354. 	pshufd	 $0x55,  %xmm8, %xmm15

  1355. 	mulps	 %xmm0,  %xmm15

  1356. 	subps	 %xmm15, %xmm5

  1357. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1358. 	mulps	 %xmm0,  %xmm15

  1359. 	subps	 %xmm15, %xmm6

  1360. 	pshufd	 $0xff,  %xmm8, %xmm15

  1361. 	mulps	 %xmm0,  %xmm15

  1362. 	subps	 %xmm15, %xmm7

  1363. 

  1364. 	movaps	-24 * SIZE(BO), %xmm8

  1365. 

  1366. 	pshufd	 $0x55, %xmm8, %xmm15

  1367. 	mulps	 %xmm15, %xmm1

  1368. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1369. 	mulps	 %xmm1,  %xmm15

  1370. 	subps	 %xmm15, %xmm2

  1371. 	pshufd	 $0xff,  %xmm8, %xmm15

  1372. 	mulps	 %xmm1,  %xmm15

  1373. 	subps	 %xmm15, %xmm3

  1374. 

  1375. 	movaps	-20 * SIZE(BO), %xmm8

  1376. 

  1377. 	pshufd	 $0x00,  %xmm8, %xmm15

  1378. 	mulps	 %xmm1,  %xmm15

  1379. 	subps	 %xmm15, %xmm4

  1380. 	pshufd	 $0x55,  %xmm8, %xmm15

  1381. 	mulps	 %xmm1,  %xmm15

  1382. 	subps	 %xmm15, %xmm5

  1383. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1384. 	mulps	 %xmm1,  %xmm15

  1385. 	subps	 %xmm15, %xmm6

  1386. 	pshufd	 $0xff,  %xmm8, %xmm15

  1387. 	mulps	 %xmm1,  %xmm15

  1388. 	subps	 %xmm15, %xmm7

  1389. 

  1390. 	movaps	-16 * SIZE(BO), %xmm8

  1391. 

  1392. 	pshufd	 $0xaa, %xmm8, %xmm15

  1393. 	mulps	 %xmm15, %xmm2

  1394. 	pshufd	 $0xff,  %xmm8, %xmm15

  1395. 	mulps	 %xmm2,  %xmm15

  1396. 	subps	 %xmm15, %xmm3

  1397. 

  1398. 	movaps	-12 * SIZE(BO), %xmm8

  1399. 

  1400. 	pshufd	 $0x00,  %xmm8, %xmm15

  1401. 	mulps	 %xmm2,  %xmm15

  1402. 	subps	 %xmm15, %xmm4

  1403. 	pshufd	 $0x55,  %xmm8, %xmm15

  1404. 	mulps	 %xmm2,  %xmm15

  1405. 	subps	 %xmm15, %xmm5

  1406. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1407. 	mulps	 %xmm2,  %xmm15

  1408. 	subps	 %xmm15, %xmm6

  1409. 	pshufd	 $0xff,  %xmm8, %xmm15

  1410. 	mulps	 %xmm2,  %xmm15

  1411. 	subps	 %xmm15, %xmm7

  1412. 

  1413. 	movaps	 -8 * SIZE(BO), %xmm8

  1414. 

  1415. 	pshufd	 $0xff, %xmm8, %xmm15

  1416. 	mulps	 %xmm15, %xmm3

  1417. 

  1418. 	movaps	 -4 * SIZE(BO), %xmm8

  1419. 

  1420. 	pshufd	 $0x00,  %xmm8, %xmm15

  1421. 	mulps	 %xmm3,  %xmm15

  1422. 	subps	 %xmm15, %xmm4

  1423. 	pshufd	 $0x55,  %xmm8, %xmm15

  1424. 	mulps	 %xmm3,  %xmm15

  1425. 	subps	 %xmm15, %xmm5

  1426. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1427. 	mulps	 %xmm3,  %xmm15

  1428. 	subps	 %xmm15, %xmm6

  1429. 	pshufd	 $0xff,  %xmm8, %xmm15

  1430. 	mulps	 %xmm3,  %xmm15

  1431. 	subps	 %xmm15, %xmm7

  1432. 

  1433. 	movaps	  4 * SIZE(BO), %xmm8

  1434. 

  1435. 	pshufd	 $0x00, %xmm8, %xmm15

  1436. 	mulps	 %xmm15, %xmm4

  1437. 	pshufd	 $0x55,  %xmm8, %xmm15

  1438. 	mulps	 %xmm4,  %xmm15

  1439. 	subps	 %xmm15, %xmm5

  1440. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1441. 	mulps	 %xmm4,  %xmm15

  1442. 	subps	 %xmm15, %xmm6

  1443. 	pshufd	 $0xff,  %xmm8, %xmm15

  1444. 	mulps	 %xmm4,  %xmm15

  1445. 	subps	 %xmm15, %xmm7

  1446. 

  1447. 	movaps	 12 * SIZE(BO), %xmm8

  1448. 

  1449. 	pshufd	 $0x55, %xmm8, %xmm15

  1450. 	mulps	 %xmm15, %xmm5

  1451. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1452. 	mulps	 %xmm5,  %xmm15

  1453. 	subps	 %xmm15, %xmm6

  1454. 	pshufd	 $0xff,  %xmm8, %xmm15

  1455. 	mulps	 %xmm5,  %xmm15

  1456. 	subps	 %xmm15, %xmm7

  1457. 

  1458. 	movaps	 20 * SIZE(BO), %xmm8

  1459. 

  1460. 	pshufd	 $0xaa, %xmm8, %xmm15

  1461. 	mulps	 %xmm15, %xmm6

  1462. 	pshufd	 $0xff,  %xmm8, %xmm15

  1463. 	mulps	 %xmm6,  %xmm15

  1464. 	subps	 %xmm15, %xmm7

  1465. 

  1466. 	movaps	 28 * SIZE(BO), %xmm8

  1467. 

  1468. 	pshufd	 $0xff, %xmm8, %xmm15

  1469. 	mulps	 %xmm15, %xmm7

  1470. #endif

  1471. 

  1472. #ifdef RT

  1473. 	movaps	 28 * SIZE(BO), %xmm8

  1474. 

  1475. 	pshufd	 $0xff, %xmm8, %xmm15

  1476. 	mulps	 %xmm15, %xmm7

  1477. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1478. 	mulps	 %xmm7,  %xmm15

  1479. 	subps	 %xmm15, %xmm6

  1480. 	pshufd	 $0x55,  %xmm8, %xmm15

  1481. 	mulps	 %xmm7,  %xmm15

  1482. 	subps	 %xmm15, %xmm5

  1483. 	pshufd	 $0x00,  %xmm8, %xmm15

  1484. 	mulps	 %xmm7,  %xmm15

  1485. 	subps	 %xmm15, %xmm4

  1486. 

  1487. 	movaps	 24 * SIZE(BO), %xmm8

  1488. 

  1489. 	pshufd	 $0xff,  %xmm8, %xmm15

  1490. 	mulps	 %xmm7,  %xmm15

  1491. 	subps	 %xmm15, %xmm3

  1492. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1493. 	mulps	 %xmm7,  %xmm15

  1494. 	subps	 %xmm15, %xmm2

  1495. 	pshufd	 $0x55,  %xmm8, %xmm15

  1496. 	mulps	 %xmm7,  %xmm15

  1497. 	subps	 %xmm15, %xmm1

  1498. 	pshufd	 $0x00,  %xmm8, %xmm15

  1499. 	mulps	 %xmm7,  %xmm15

  1500. 	subps	 %xmm15, %xmm0

  1501. 

  1502. 	movaps	 20 * SIZE(BO), %xmm8

  1503. 

  1504. 	pshufd	 $0xaa, %xmm8, %xmm15

  1505. 	mulps	 %xmm15, %xmm6

  1506. 	pshufd	 $0x55,  %xmm8, %xmm15

  1507. 	mulps	 %xmm6,  %xmm15

  1508. 	subps	 %xmm15, %xmm5

  1509. 	pshufd	 $0x00,  %xmm8, %xmm15

  1510. 	mulps	 %xmm6,  %xmm15

  1511. 	subps	 %xmm15, %xmm4

  1512. 

  1513. 	movaps	 16 * SIZE(BO), %xmm8

  1514. 

  1515. 	pshufd	 $0xff,  %xmm8, %xmm15

  1516. 	mulps	 %xmm6,  %xmm15

  1517. 	subps	 %xmm15, %xmm3

  1518. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1519. 	mulps	 %xmm6,  %xmm15

  1520. 	subps	 %xmm15, %xmm2

  1521. 	pshufd	 $0x55,  %xmm8, %xmm15

  1522. 	mulps	 %xmm6,  %xmm15

  1523. 	subps	 %xmm15, %xmm1

  1524. 	pshufd	 $0x00,  %xmm8, %xmm15

  1525. 	mulps	 %xmm6,  %xmm15

  1526. 	subps	 %xmm15, %xmm0

  1527. 

  1528. 	movaps	 12 * SIZE(BO), %xmm8

  1529. 

  1530. 	pshufd	 $0x55, %xmm8, %xmm15

  1531. 	mulps	 %xmm15, %xmm5

  1532. 	pshufd	 $0x00,  %xmm8, %xmm15

  1533. 	mulps	 %xmm5,  %xmm15

  1534. 	subps	 %xmm15, %xmm4

  1535. 

  1536. 	movaps	  8 * SIZE(BO), %xmm8

  1537. 

  1538. 	pshufd	 $0xff,  %xmm8, %xmm15

  1539. 	mulps	 %xmm5,  %xmm15

  1540. 	subps	 %xmm15, %xmm3

  1541. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1542. 	mulps	 %xmm5,  %xmm15

  1543. 	subps	 %xmm15, %xmm2

  1544. 	pshufd	 $0x55,  %xmm8, %xmm15

  1545. 	mulps	 %xmm5,  %xmm15

  1546. 	subps	 %xmm15, %xmm1

  1547. 	pshufd	 $0x00,  %xmm8, %xmm15

  1548. 	mulps	 %xmm5,  %xmm15

  1549. 	subps	 %xmm15, %xmm0

  1550. 

  1551. 	movaps	  4 * SIZE(BO), %xmm8

  1552. 

  1553. 	pshufd	 $0x00, %xmm8, %xmm15

  1554. 	mulps	 %xmm15, %xmm4

  1555. 

  1556. 	movaps	  0 * SIZE(BO), %xmm8

  1557. 

  1558. 	pshufd	 $0xff,  %xmm8, %xmm15

  1559. 	mulps	 %xmm4,  %xmm15

  1560. 	subps	 %xmm15, %xmm3

  1561. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1562. 	mulps	 %xmm4,  %xmm15

  1563. 	subps	 %xmm15, %xmm2

  1564. 	pshufd	 $0x55,  %xmm8, %xmm15

  1565. 	mulps	 %xmm4,  %xmm15

  1566. 	subps	 %xmm15, %xmm1

  1567. 	pshufd	 $0x00,  %xmm8, %xmm15

  1568. 	mulps	 %xmm4,  %xmm15

  1569. 	subps	 %xmm15, %xmm0

  1570. 

  1571. 	movaps	 -8 * SIZE(BO), %xmm8

  1572. 

  1573. 	pshufd	 $0xff, %xmm8, %xmm15

  1574. 	mulps	 %xmm15, %xmm3

  1575. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1576. 	mulps	 %xmm3,  %xmm15

  1577. 	subps	 %xmm15, %xmm2

  1578. 	pshufd	 $0x55,  %xmm8, %xmm15

  1579. 	mulps	 %xmm3,  %xmm15

  1580. 	subps	 %xmm15, %xmm1

  1581. 	pshufd	 $0x00,  %xmm8, %xmm15

  1582. 	mulps	 %xmm3,  %xmm15

  1583. 	subps	 %xmm15, %xmm0

  1584. 

  1585. 	movaps	-16 * SIZE(BO), %xmm8

  1586. 

  1587. 	pshufd	 $0xaa, %xmm8, %xmm15

  1588. 	mulps	 %xmm15, %xmm2

  1589. 	pshufd	 $0x55,  %xmm8, %xmm15

  1590. 	mulps	 %xmm2,  %xmm15

  1591. 	subps	 %xmm15, %xmm1

  1592. 	pshufd	 $0x00,  %xmm8, %xmm15

  1593. 	mulps	 %xmm2,  %xmm15

  1594. 	subps	 %xmm15, %xmm0

  1595. 

  1596. 	movaps	-24 * SIZE(BO), %xmm8

  1597. 

  1598. 	pshufd	 $0x55, %xmm8, %xmm15

  1599. 	mulps	 %xmm15, %xmm1

  1600. 	pshufd	 $0x00,  %xmm8, %xmm15

  1601. 	mulps	 %xmm1,  %xmm15

  1602. 	subps	 %xmm15, %xmm0

  1603. 

  1604. 	movaps	-32 * SIZE(BO), %xmm8

  1605. 

  1606. 	pshufd	 $0x00, %xmm8, %xmm15

  1607. 	mulps	 %xmm15, %xmm0

  1608. #endif

  1609. 

  1610. #ifdef LN

  1611. 	subq	$2 * SIZE, CO1

  1612. 	subq	$2 * SIZE, CO2

  1613. #endif

  1614. 

  1615. 	leaq	(LDC, LDC, 2), %rax

  1616. 

  1617. #if defined(LN) || defined(LT)

  1618. 	movaps	%xmm0, -32 * SIZE(BO)

  1619. 	movaps	%xmm2, -28 * SIZE(BO)

  1620. 	movaps	%xmm1, -24 * SIZE(BO)

  1621. 	movaps	%xmm3, -20 * SIZE(BO)

  1622. 

  1623. 	movaps	%xmm0,  %xmm4

  1624. 	unpcklps %xmm1, %xmm0

  1625. 	unpckhps %xmm1, %xmm4

  1626. 

  1627. 	movaps	%xmm2,  %xmm5

  1628. 	unpcklps %xmm3, %xmm2

  1629. 	unpckhps %xmm3, %xmm5

  1630. 

  1631. 	movsd	%xmm0,  (CO1)

  1632. 	movhps	%xmm0,  (CO1, LDC,  1)

  1633. 	movsd	%xmm4,  (CO1, LDC,  2)

  1634. 	movhps	%xmm4,  (CO1, %rax, 1)

  1635. 

  1636. 	movsd	%xmm2,  (CO2)

  1637. 	movhps	%xmm2,  (CO2, LDC,  1)

  1638. 	movsd	%xmm5,  (CO2, LDC,  2)

  1639. 	movhps	%xmm5,  (CO2, %rax, 1)

  1640. #else

  1641. 	movlhps	%xmm1, %xmm0

  1642. 	movlhps	%xmm3, %xmm2

  1643. 	movlhps	%xmm5, %xmm4

  1644. 	movlhps	%xmm7, %xmm6

  1645. 

  1646. 	movaps	%xmm0, -32 * SIZE(AO)

  1647. 	movaps	%xmm2, -28 * SIZE(AO)

  1648. 	movaps	%xmm4, -24 * SIZE(AO)

  1649. 	movaps	%xmm6, -20 * SIZE(AO)

  1650. 

  1651. 	movsd	%xmm0,  (CO1)

  1652. 	movsd	%xmm1,  (CO1, LDC,  1)

  1653. 	movsd	%xmm2,  (CO1, LDC,  2)

  1654. 	movsd	%xmm3,  (CO1, %rax, 1)

  1655. 

  1656. 	movsd	%xmm4,  (CO2)

  1657. 	movsd	%xmm5,  (CO2, LDC,  1)

  1658. 	movsd	%xmm6,  (CO2, LDC,  2)

  1659. 	movsd	%xmm7,  (CO2, %rax, 1)

  1660. #endif

  1661. 

  1662. #ifndef LN

  1663. 	addq	$2 * SIZE, CO1

  1664. 	addq	$2 * SIZE, CO2

  1665. #endif

  1666. 

  1667. #if defined(LT) || defined(RN)

  1668. 	movq	K,  %rax

  1669. 	subq	KK, %rax

  1670. 	leaq	(,%rax, SIZE), %rax

  1671. 	leaq	(AO, %rax, 2), AO

  1672. 	leaq	(BO, %rax, 8), BO

  1673. #endif

  1674. 

  1675. #ifdef LN

  1676. 	subq	$2, KK

  1677. #endif

  1678. 

  1679. #ifdef LT

  1680. 	addq	$2, KK

  1681. #endif

  1682. 

  1683. #ifdef RT

  1684.        movq	K, %rax

  1685.        salq	$1 + BASE_SHIFT, %rax

  1686.        addq	%rax, AORIG

  1687. #endif

  1688. 	ALIGN_4

  1689. 

  1690. .L30:

  1691. 	testq	$1, M

  1692. 	BRANCH

  1693. 	jle	.L39

  1694. 

  1695. #ifdef LN

  1696.        movq	K, %rax

  1697.        salq	$BASE_SHIFT, %rax

  1698.        subq	%rax, AORIG

  1699. #endif

  1700. 

  1701. #if defined(LN) || defined(RT)

  1702. 	movq	KK, %rax

  1703. 	leaq	(, %rax, SIZE), %rax

  1704. 	movq	AORIG, AO

  1705. 	leaq	(AO, %rax, 1), AO

  1706. 	leaq	(B,  %rax, 8), BO

  1707. #else

  1708. 	movq	B, BO

  1709. #endif

  1710. 

  1711. 	xorps	%xmm2, %xmm2

  1712. 	movsd	-32 * SIZE(AO), %xmm0

  1713. 	xorps	%xmm3, %xmm3

  1714. 	xorps	%xmm8,  %xmm8

  1715. 	xorps	%xmm12, %xmm12

  1716. 

  1717. #if defined(LT) || defined(RN)

  1718. 	movq	KK, %rax

  1719. #else

  1720. 	movq	K, %rax

  1721. 	subq	KK, %rax

  1722. #endif

  1723. 	sarq	$2, %rax

  1724. 	NOBRANCH

  1725. 	jle	.L35

  1726. 	ALIGN_3

  1727. 

  1728. .L32:

  1729. 	pshufd	$0x00, %xmm0, %xmm1

  1730. 	addps	%xmm2, %xmm8

  1731. 	movaps	-32 * SIZE(BO), %xmm2

  1732. 	mulps	%xmm1, %xmm2

  1733. 	addps	%xmm3, %xmm12

  1734. 	movaps	-28 * SIZE(BO), %xmm3

  1735. 	mulps	%xmm1, %xmm3

  1736. 

  1737. 	pshufd	$0x55, %xmm0, %xmm1

  1738. 	movsd	-30 * SIZE(AO), %xmm0

  1739. 	addps	%xmm2, %xmm8

  1740. 	movaps	-24 * SIZE(BO), %xmm2

  1741. 	mulps	%xmm1, %xmm2

  1742. 	addps	%xmm3, %xmm12

  1743. 	movaps	-20 * SIZE(BO), %xmm3

  1744. 	mulps	%xmm1, %xmm3

  1745. 

  1746. 	pshufd	$0x00, %xmm0, %xmm1

  1747. 	addps	%xmm2, %xmm8

  1748. 	movaps	-16 * SIZE(BO), %xmm2

  1749. 	mulps	%xmm1, %xmm2

  1750. 	addps	%xmm3, %xmm12

  1751. 	movaps	-12 * SIZE(BO), %xmm3

  1752. 	mulps	%xmm1, %xmm3

  1753. 

  1754. 	pshufd	$0x55, %xmm0, %xmm1

  1755. 	movsd	-28 * SIZE(AO), %xmm0

  1756. 	addps	%xmm2, %xmm8

  1757. 	movaps	 -8 * SIZE(BO), %xmm2

  1758. 	mulps	%xmm1, %xmm2

  1759. 	addps	%xmm3, %xmm12

  1760. 	movaps	 -4 * SIZE(BO), %xmm3

  1761. 	mulps	%xmm1, %xmm3

  1762. 

  1763. 	subq	$-32 * SIZE, BO

  1764. 	subq	$ -4 * SIZE, AO

  1765. 

  1766. 	subq	$1, %rax

  1767. 	BRANCH

  1768. 	jg	.L32

  1769. 	ALIGN_3

  1770. 

  1771. .L35:

  1772. #if defined(LT) || defined(RN)

  1773. 	movq	KK, %rax

  1774. #else

  1775. 	movq	K, %rax

  1776. 	subq	KK, %rax

  1777. #endif

  1778. 	andq	$3, %rax		# if (k & 1)

  1779. 	BRANCH

  1780. 	je	.L38

  1781. 	ALIGN_3

  1782. 

  1783. .L36:

  1784. 	pshufd	$0x00, %xmm0, %xmm1

  1785. 	movss	-31 * SIZE(AO), %xmm0

  1786. 	addps	%xmm2, %xmm8

  1787. 	movaps	-32 * SIZE(BO), %xmm2

  1788. 	mulps	%xmm1, %xmm2

  1789. 	addps	%xmm3, %xmm12

  1790. 	movaps	-28 * SIZE(BO), %xmm3

  1791. 	mulps	%xmm1, %xmm3

  1792. 

  1793. 	addq	$1 * SIZE, AO

  1794. 	addq	$8 * SIZE, BO

  1795. 

  1796. 	subq	$1, %rax

  1797. 	BRANCH

  1798. 	jg	.L36

  1799. 	ALIGN_3

  1800. 

  1801. .L38:

  1802. #if defined(LN) || defined(RT)

  1803. 	movq	KK, %rax

  1804. #ifdef LN

  1805. 	subq	$1, %rax

  1806. #else

  1807. 	subq	$8, %rax

  1808. #endif

  1809. 

  1810. 	leaq	(, %rax, SIZE), %rax

  1811. 

  1812. 	movq	AORIG, AO

  1813. 	leaq	(AO, %rax, 1), AO

  1814. 	leaq	(B,  %rax, 8), BO

  1815. #endif

  1816. 

  1817. 	addps	%xmm2, %xmm8

  1818. 	addps	%xmm3, %xmm12

  1819. 

  1820. #if defined(LN) || defined(LT)

  1821. 	movaps	-32 * SIZE(BO), %xmm0

  1822. 	movaps	-28 * SIZE(BO), %xmm4

  1823. 

  1824. 	subps	%xmm8,  %xmm0

  1825. 	subps	%xmm12, %xmm4

  1826. #else

  1827. 	movsd	-32 * SIZE(AO), %xmm0

  1828. 	movhps	-30 * SIZE(AO), %xmm0

  1829. 	movsd	-28 * SIZE(AO), %xmm4

  1830. 	movhps	-26 * SIZE(AO), %xmm4

  1831. 

  1832. 	subps	%xmm8,  %xmm0

  1833. 	subps	%xmm12, %xmm4

  1834. 

  1835. 	pshufd	$0xff, %xmm0, %xmm3

  1836. 	pshufd	$0xaa, %xmm0, %xmm2

  1837. 	pshufd	$0x55, %xmm0, %xmm1

  1838. 	pshufd	$0x00, %xmm0, %xmm0

  1839. 

  1840. 	pshufd	$0xff, %xmm4, %xmm7

  1841. 	pshufd	$0xaa, %xmm4, %xmm6

  1842. 	pshufd	$0x55, %xmm4, %xmm5

  1843. 	pshufd	$0x00, %xmm4, %xmm4

  1844. #endif

  1845. 

  1846. #if defined(LN) || defined(LT)

  1847. 	movaps	-32 * SIZE(AO), %xmm8

  1848. 

  1849. 	pshufd	 $0x00, %xmm8, %xmm15

  1850. 	mulps	 %xmm15, %xmm0

  1851. 	mulps	 %xmm15, %xmm4

  1852. #endif

  1853. 

  1854. #ifdef RN

  1855. 	movaps	-32 * SIZE(BO), %xmm8

  1856. 

  1857. 	pshufd	 $0x00, %xmm8, %xmm15

  1858. 	mulss	 %xmm15, %xmm0

  1859. 	pshufd	 $0x55,  %xmm8, %xmm15

  1860. 	mulss	 %xmm0,  %xmm15

  1861. 	subss	 %xmm15, %xmm1

  1862. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1863. 	mulss	 %xmm0,  %xmm15

  1864. 	subss	 %xmm15, %xmm2

  1865. 	pshufd	 $0xff,  %xmm8, %xmm15

  1866. 	mulss	 %xmm0,  %xmm15

  1867. 	subss	 %xmm15, %xmm3

  1868. 

  1869. 	movaps	-28 * SIZE(BO), %xmm8

  1870. 

  1871. 	pshufd	 $0x00,  %xmm8, %xmm15

  1872. 	mulss	 %xmm0,  %xmm15

  1873. 	subss	 %xmm15, %xmm4

  1874. 	pshufd	 $0x55,  %xmm8, %xmm15

  1875. 	mulss	 %xmm0,  %xmm15

  1876. 	subss	 %xmm15, %xmm5

  1877. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1878. 	mulss	 %xmm0,  %xmm15

  1879. 	subss	 %xmm15, %xmm6

  1880. 	pshufd	 $0xff,  %xmm8, %xmm15

  1881. 	mulss	 %xmm0,  %xmm15

  1882. 	subss	 %xmm15, %xmm7

  1883. 

  1884. 	movaps	-24 * SIZE(BO), %xmm8

  1885. 

  1886. 	pshufd	 $0x55, %xmm8, %xmm15

  1887. 	mulss	 %xmm15, %xmm1

  1888. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1889. 	mulss	 %xmm1,  %xmm15

  1890. 	subss	 %xmm15, %xmm2

  1891. 	pshufd	 $0xff,  %xmm8, %xmm15

  1892. 	mulss	 %xmm1,  %xmm15

  1893. 	subss	 %xmm15, %xmm3

  1894. 

  1895. 	movaps	-20 * SIZE(BO), %xmm8

  1896. 

  1897. 	pshufd	 $0x00,  %xmm8, %xmm15

  1898. 	mulss	 %xmm1,  %xmm15

  1899. 	subss	 %xmm15, %xmm4

  1900. 	pshufd	 $0x55,  %xmm8, %xmm15

  1901. 	mulss	 %xmm1,  %xmm15

  1902. 	subss	 %xmm15, %xmm5

  1903. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1904. 	mulss	 %xmm1,  %xmm15

  1905. 	subss	 %xmm15, %xmm6

  1906. 	pshufd	 $0xff,  %xmm8, %xmm15

  1907. 	mulss	 %xmm1,  %xmm15

  1908. 	subss	 %xmm15, %xmm7

  1909. 

  1910. 	movaps	-16 * SIZE(BO), %xmm8

  1911. 

  1912. 	pshufd	 $0xaa, %xmm8, %xmm15

  1913. 	mulss	 %xmm15, %xmm2

  1914. 	pshufd	 $0xff,  %xmm8, %xmm15

  1915. 	mulss	 %xmm2,  %xmm15

  1916. 	subss	 %xmm15, %xmm3

  1917. 

  1918. 	movaps	-12 * SIZE(BO), %xmm8

  1919. 

  1920. 	pshufd	 $0x00,  %xmm8, %xmm15

  1921. 	mulss	 %xmm2,  %xmm15

  1922. 	subss	 %xmm15, %xmm4

  1923. 	pshufd	 $0x55,  %xmm8, %xmm15

  1924. 	mulss	 %xmm2,  %xmm15

  1925. 	subss	 %xmm15, %xmm5

  1926. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1927. 	mulss	 %xmm2,  %xmm15

  1928. 	subss	 %xmm15, %xmm6

  1929. 	pshufd	 $0xff,  %xmm8, %xmm15

  1930. 	mulss	 %xmm2,  %xmm15

  1931. 	subss	 %xmm15, %xmm7

  1932. 

  1933. 	movaps	 -8 * SIZE(BO), %xmm8

  1934. 

  1935. 	pshufd	 $0xff, %xmm8, %xmm15

  1936. 	mulss	 %xmm15, %xmm3

  1937. 

  1938. 	movaps	 -4 * SIZE(BO), %xmm8

  1939. 

  1940. 	pshufd	 $0x00,  %xmm8, %xmm15

  1941. 	mulss	 %xmm3,  %xmm15

  1942. 	subss	 %xmm15, %xmm4

  1943. 	pshufd	 $0x55,  %xmm8, %xmm15

  1944. 	mulss	 %xmm3,  %xmm15

  1945. 	subss	 %xmm15, %xmm5

  1946. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1947. 	mulss	 %xmm3,  %xmm15

  1948. 	subss	 %xmm15, %xmm6

  1949. 	pshufd	 $0xff,  %xmm8, %xmm15

  1950. 	mulss	 %xmm3,  %xmm15

  1951. 	subss	 %xmm15, %xmm7

  1952. 

  1953. 	movaps	  4 * SIZE(BO), %xmm8

  1954. 

  1955. 	pshufd	 $0x00, %xmm8, %xmm15

  1956. 	mulss	 %xmm15, %xmm4

  1957. 	pshufd	 $0x55,  %xmm8, %xmm15

  1958. 	mulss	 %xmm4,  %xmm15

  1959. 	subss	 %xmm15, %xmm5

  1960. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1961. 	mulss	 %xmm4,  %xmm15

  1962. 	subss	 %xmm15, %xmm6

  1963. 	pshufd	 $0xff,  %xmm8, %xmm15

  1964. 	mulss	 %xmm4,  %xmm15

  1965. 	subss	 %xmm15, %xmm7

  1966. 

  1967. 	movaps	 12 * SIZE(BO), %xmm8

  1968. 

  1969. 	pshufd	 $0x55, %xmm8, %xmm15

  1970. 	mulss	 %xmm15, %xmm5

  1971. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1972. 	mulss	 %xmm5,  %xmm15

  1973. 	subss	 %xmm15, %xmm6

  1974. 	pshufd	 $0xff,  %xmm8, %xmm15

  1975. 	mulss	 %xmm5,  %xmm15

  1976. 	subss	 %xmm15, %xmm7

  1977. 

  1978. 	movaps	 20 * SIZE(BO), %xmm8

  1979. 

  1980. 	pshufd	 $0xaa, %xmm8, %xmm15

  1981. 	mulss	 %xmm15, %xmm6

  1982. 	pshufd	 $0xff,  %xmm8, %xmm15

  1983. 	mulss	 %xmm6,  %xmm15

  1984. 	subss	 %xmm15, %xmm7

  1985. 

  1986. 	movaps	 28 * SIZE(BO), %xmm8

  1987. 

  1988. 	pshufd	 $0xff, %xmm8, %xmm15

  1989. 	mulss	 %xmm15, %xmm7

  1990. #endif

  1991. 

  1992. #ifdef RT

  1993. 	movaps	 28 * SIZE(BO), %xmm8

  1994. 

  1995. 	pshufd	 $0xff, %xmm8, %xmm15

  1996. 	mulss	 %xmm15, %xmm7

  1997. 	pshufd	 $0xaa,  %xmm8, %xmm15

  1998. 	mulss	 %xmm7,  %xmm15

  1999. 	subss	 %xmm15, %xmm6

  2000. 	pshufd	 $0x55,  %xmm8, %xmm15

  2001. 	mulss	 %xmm7,  %xmm15

  2002. 	subss	 %xmm15, %xmm5

  2003. 	pshufd	 $0x00,  %xmm8, %xmm15

  2004. 	mulss	 %xmm7,  %xmm15

  2005. 	subss	 %xmm15, %xmm4

  2006. 

  2007. 	movaps	 24 * SIZE(BO), %xmm8

  2008. 

  2009. 	pshufd	 $0xff,  %xmm8, %xmm15

  2010. 	mulss	 %xmm7,  %xmm15

  2011. 	subss	 %xmm15, %xmm3

  2012. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2013. 	mulss	 %xmm7,  %xmm15

  2014. 	subss	 %xmm15, %xmm2

  2015. 	pshufd	 $0x55,  %xmm8, %xmm15

  2016. 	mulss	 %xmm7,  %xmm15

  2017. 	subss	 %xmm15, %xmm1

  2018. 	pshufd	 $0x00,  %xmm8, %xmm15

  2019. 	mulss	 %xmm7,  %xmm15

  2020. 	subss	 %xmm15, %xmm0

  2021. 

  2022. 	movaps	 20 * SIZE(BO), %xmm8

  2023. 

  2024. 	pshufd	 $0xaa, %xmm8, %xmm15

  2025. 	mulss	 %xmm15, %xmm6

  2026. 	pshufd	 $0x55,  %xmm8, %xmm15

  2027. 	mulss	 %xmm6,  %xmm15

  2028. 	subss	 %xmm15, %xmm5

  2029. 	pshufd	 $0x00,  %xmm8, %xmm15

  2030. 	mulss	 %xmm6,  %xmm15

  2031. 	subss	 %xmm15, %xmm4

  2032. 

  2033. 	movaps	 16 * SIZE(BO), %xmm8

  2034. 

  2035. 	pshufd	 $0xff,  %xmm8, %xmm15

  2036. 	mulss	 %xmm6,  %xmm15

  2037. 	subss	 %xmm15, %xmm3

  2038. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2039. 	mulss	 %xmm6,  %xmm15

  2040. 	subss	 %xmm15, %xmm2

  2041. 	pshufd	 $0x55,  %xmm8, %xmm15

  2042. 	mulss	 %xmm6,  %xmm15

  2043. 	subss	 %xmm15, %xmm1

  2044. 	pshufd	 $0x00,  %xmm8, %xmm15

  2045. 	mulss	 %xmm6,  %xmm15

  2046. 	subss	 %xmm15, %xmm0

  2047. 

  2048. 	movaps	 12 * SIZE(BO), %xmm8

  2049. 

  2050. 	pshufd	 $0x55, %xmm8, %xmm15

  2051. 	mulss	 %xmm15, %xmm5

  2052. 	pshufd	 $0x00,  %xmm8, %xmm15

  2053. 	mulss	 %xmm5,  %xmm15

  2054. 	subss	 %xmm15, %xmm4

  2055. 

  2056. 	movaps	  8 * SIZE(BO), %xmm8

  2057. 

  2058. 	pshufd	 $0xff,  %xmm8, %xmm15

  2059. 	mulss	 %xmm5,  %xmm15

  2060. 	subss	 %xmm15, %xmm3

  2061. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2062. 	mulss	 %xmm5,  %xmm15

  2063. 	subss	 %xmm15, %xmm2

  2064. 	pshufd	 $0x55,  %xmm8, %xmm15

  2065. 	mulss	 %xmm5,  %xmm15

  2066. 	subss	 %xmm15, %xmm1

  2067. 	pshufd	 $0x00,  %xmm8, %xmm15

  2068. 	mulss	 %xmm5,  %xmm15

  2069. 	subss	 %xmm15, %xmm0

  2070. 

  2071. 	movaps	  4 * SIZE(BO), %xmm8

  2072. 

  2073. 	pshufd	 $0x00, %xmm8, %xmm15

  2074. 	mulss	 %xmm15, %xmm4

  2075. 

  2076. 	movaps	  0 * SIZE(BO), %xmm8

  2077. 

  2078. 	pshufd	 $0xff,  %xmm8, %xmm15

  2079. 	mulss	 %xmm4,  %xmm15

  2080. 	subss	 %xmm15, %xmm3

  2081. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2082. 	mulss	 %xmm4,  %xmm15

  2083. 	subss	 %xmm15, %xmm2

  2084. 	pshufd	 $0x55,  %xmm8, %xmm15

  2085. 	mulss	 %xmm4,  %xmm15

  2086. 	subss	 %xmm15, %xmm1

  2087. 	pshufd	 $0x00,  %xmm8, %xmm15

  2088. 	mulss	 %xmm4,  %xmm15

  2089. 	subss	 %xmm15, %xmm0

  2090. 

  2091. 	movaps	 -8 * SIZE(BO), %xmm8

  2092. 

  2093. 	pshufd	 $0xff, %xmm8, %xmm15

  2094. 	mulss	 %xmm15, %xmm3

  2095. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2096. 	mulss	 %xmm3,  %xmm15

  2097. 	subss	 %xmm15, %xmm2

  2098. 	pshufd	 $0x55,  %xmm8, %xmm15

  2099. 	mulss	 %xmm3,  %xmm15

  2100. 	subss	 %xmm15, %xmm1

  2101. 	pshufd	 $0x00,  %xmm8, %xmm15

  2102. 	mulss	 %xmm3,  %xmm15

  2103. 	subss	 %xmm15, %xmm0

  2104. 

  2105. 	movaps	-16 * SIZE(BO), %xmm8

  2106. 

  2107. 	pshufd	 $0xaa, %xmm8, %xmm15

  2108. 	mulss	 %xmm15, %xmm2

  2109. 	pshufd	 $0x55,  %xmm8, %xmm15

  2110. 	mulss	 %xmm2,  %xmm15

  2111. 	subss	 %xmm15, %xmm1

  2112. 	pshufd	 $0x00,  %xmm8, %xmm15

  2113. 	mulss	 %xmm2,  %xmm15

  2114. 	subss	 %xmm15, %xmm0

  2115. 

  2116. 	movaps	-24 * SIZE(BO), %xmm8

  2117. 

  2118. 	pshufd	 $0x55, %xmm8, %xmm15

  2119. 	mulss	 %xmm15, %xmm1

  2120. 	pshufd	 $0x00,  %xmm8, %xmm15

  2121. 	mulss	 %xmm1,  %xmm15

  2122. 	subss	 %xmm15, %xmm0

  2123. 

  2124. 	movaps	-32 * SIZE(BO), %xmm8

  2125. 

  2126. 	pshufd	 $0x00, %xmm8, %xmm15

  2127. 	mulss	 %xmm15, %xmm0

  2128. #endif

  2129. 

  2130. #ifdef LN

  2131. 	subq	$1 * SIZE, CO1

  2132. 	subq	$1 * SIZE, CO2

  2133. #endif

  2134. 

  2135. 	leaq	(LDC, LDC, 2), %rax

  2136. 

  2137. #if defined(LN) || defined(LT)

  2138. 	movaps	%xmm0, -32 * SIZE(BO)

  2139. 	movaps	%xmm4, -28 * SIZE(BO)

  2140. 

  2141. 	pshufd	$0xff, %xmm0, %xmm3

  2142. 	pshufd	$0xaa, %xmm0, %xmm2

  2143. 	pshufd	$0x55, %xmm0, %xmm1

  2144. 	pshufd	$0x00, %xmm0, %xmm0

  2145. 

  2146. 	pshufd	$0xff, %xmm4, %xmm7

  2147. 	pshufd	$0xaa, %xmm4, %xmm6

  2148. 	pshufd	$0x55, %xmm4, %xmm5

  2149. 	pshufd	$0x00, %xmm4, %xmm4

  2150. #else

  2151. 	unpcklps %xmm1, %xmm0

  2152. 	unpcklps %xmm3, %xmm2

  2153. 	unpcklps %xmm5, %xmm4

  2154. 	unpcklps %xmm7, %xmm6

  2155. 

  2156. 	movlps	%xmm0, -32 * SIZE(AO)

  2157. 	movlps	%xmm2, -30 * SIZE(AO)

  2158. 	movlps	%xmm4, -28 * SIZE(AO)

  2159. 	movlps	%xmm6, -26 * SIZE(AO)

  2160. #endif

  2161. 

  2162. 	movss	%xmm0,  (CO1)

  2163. 	movss	%xmm1,  (CO1, LDC,  1)

  2164. 	movss	%xmm2,  (CO1, LDC,  2)

  2165. 	movss	%xmm3,  (CO1, %rax, 1)

  2166. 

  2167. 	movss	%xmm4,  (CO2)

  2168. 	movss	%xmm5,  (CO2, LDC,  1)

  2169. 	movss	%xmm6,  (CO2, LDC,  2)

  2170. 	movss	%xmm7,  (CO2, %rax, 1)

  2171. 

  2172. #ifndef LN

  2173. 	addq	$1 * SIZE, CO1

  2174. 	addq	$1 * SIZE, CO2

  2175. #endif

  2176. 

  2177. #if defined(LT) || defined(RN)

  2178. 	movq	K,  %rax

  2179. 	subq	KK, %rax

  2180. 	leaq	(,%rax, SIZE), %rax

  2181. 	leaq	(AO, %rax, 1), AO

  2182. 	leaq	(BO, %rax, 8), BO

  2183. #endif

  2184. 

  2185. #ifdef LN

  2186. 	subq	$1, KK

  2187. #endif

  2188. 

  2189. #ifdef LT

  2190. 	addq	$1, KK

  2191. #endif

  2192. 

  2193. #ifdef RT

  2194.        movq	K, %rax

  2195.        salq	$BASE_SHIFT, %rax

  2196.        addq	%rax, AORIG

  2197. #endif

  2198. 	ALIGN_4

  2199. 

  2200. .L39:

  2201. #ifdef LN

  2202.        leaq	(, K, SIZE), %rax

  2203.        leaq	(B, %rax, 8), B

  2204. #endif

  2205. #if defined(LT) || defined(RN)

  2206. 	movq	BO, B

  2207. #endif

  2208. 

  2209. #ifdef RN

  2210. 	addq	$8, KK

  2211. #endif

  2212. 

  2213. #ifdef RT

  2214. 	subq	$8, KK

  2215. #endif

  2216. 

  2217. 	subq	$1, J

  2218. 	BRANCH

  2219. 	jg	.L10

  2220. 	ALIGN_4

  2221. 

  2222. .L40:

  2223. 	testq	$4, N

  2224. 	jle	.L70

  2225. 

  2226. #if defined(LT) || defined(RN)

  2227. 	movq	A, AO

  2228. #else

  2229. 	movq	A, AORIG

  2230. #endif

  2231. 

  2232. #ifdef RT

  2233.        movq	K, %rax

  2234.        salq	$2 + BASE_SHIFT, %rax

  2235.        subq	%rax, B

  2236. 

  2237.        leaq	(, LDC, 4), %rax

  2238.        subq	%rax, C

  2239. #endif

  2240. 

  2241. 	movq	C, CO1

  2242. 	leaq	(C, LDC, 2), CO2

  2243. #ifndef RT

  2244. 	leaq	(C, LDC, 4), C

  2245. #endif

  2246. 

  2247. #ifdef LN

  2248. 	movq	OFFSET, %rax

  2249. 	addq	M, %rax

  2250. 	movq	%rax, KK

  2251. #endif

  2252. 

  2253. #ifdef LT

  2254. 	movq	OFFSET, %rax

  2255. 	movq	%rax, KK

  2256. #endif

  2257. 

  2258. 	movq	M,  I

  2259. 	sarq	$2, I

  2260. 	NOBRANCH

  2261. 	jle	.L50

  2262. 	ALIGN_4

  2263. 

  2264. .L41:

  2265. #ifdef LN

  2266.        movq	K, %rax

  2267.        salq	$2 + BASE_SHIFT, %rax

  2268.        subq	%rax, AORIG

  2269. #endif

  2270. 

  2271. #if defined(LN) || defined(RT)

  2272. 	movq	KK, %rax

  2273. 	leaq	(, %rax, SIZE), %rax

  2274. 	movq	AORIG, AO

  2275. 	leaq	(AO, %rax, 4), AO

  2276. 	leaq	(B,  %rax, 4), BO

  2277. #else

  2278. 	movq	B, BO

  2279. #endif

  2280. 

  2281. 	xorps	%xmm1, %xmm1

  2282. 	movaps	-32 * SIZE(AO), %xmm0

  2283. 	xorps	%xmm2, %xmm2

  2284. 	xorps	%xmm3, %xmm3

  2285. 	xorps	%xmm4, %xmm4

  2286. 

  2287. 	xorps	%xmm8,  %xmm8

  2288. 	prefetcht2     4 * SIZE(CO1)

  2289. 	xorps	%xmm9,  %xmm9

  2290. 	prefetcht2     4 * SIZE(CO1, LDC,  1)

  2291. 	xorps	%xmm10, %xmm10

  2292. 	prefetcht2     4 * SIZE(CO2)

  2293. 	xorps	%xmm11, %xmm11

  2294. 	prefetcht2     4 * SIZE(CO2, LDC,  1)

  2295. 

  2296. #if defined(LT) || defined(RN)

  2297. 	movq	KK, %rax

  2298. #else

  2299. 	movq	K, %rax

  2300. 	subq	KK, %rax

  2301. #endif

  2302. 	sarq	$2, %rax

  2303. 	NOBRANCH

  2304. 	jle	.L45

  2305. 	ALIGN_3

  2306. 

  2307. .L42:

  2308. 	PREFETCH	(PREFETCHSIZE +  0) * SIZE(AO)

  2309. 

  2310. 	addps	%xmm1, %xmm8

  2311. 	movaps	-32 * SIZE(BO), %xmm1

  2312. 	addps	%xmm2, %xmm9

  2313. 	pshufd	$0x39, %xmm1, %xmm2

  2314. 	mulps	%xmm0, %xmm1

  2315. 	addps	%xmm3, %xmm10

  2316. 	pshufd	$0x39, %xmm2, %xmm3

  2317. 	mulps	%xmm0, %xmm2

  2318. 

  2319. 	addps	%xmm4, %xmm11

  2320. 	pshufd	$0x39, %xmm3, %xmm4

  2321. 	mulps	%xmm0, %xmm3

  2322. 	mulps	%xmm0, %xmm4

  2323. 	movaps	-28 * SIZE(AO), %xmm0

  2324. 

  2325. 	addps	%xmm1, %xmm8

  2326. 	movaps	-28 * SIZE(BO), %xmm1

  2327. 	addps	%xmm2, %xmm9

  2328. 	pshufd	$0x39, %xmm1, %xmm2

  2329. 	mulps	%xmm0, %xmm1

  2330. 	addps	%xmm3, %xmm10

  2331. 	pshufd	$0x39, %xmm2, %xmm3

  2332. 	mulps	%xmm0, %xmm2

  2333. 

  2334. 	addps	%xmm4, %xmm11

  2335. 	pshufd	$0x39, %xmm3, %xmm4

  2336. 	mulps	%xmm0, %xmm3

  2337. 	mulps	%xmm0, %xmm4

  2338. 	movaps	-24 * SIZE(AO), %xmm0

  2339. 

  2340. 	addps	%xmm1, %xmm8

  2341. 	movaps	-24 * SIZE(BO), %xmm1

  2342. 	addps	%xmm2, %xmm9

  2343. 	pshufd	$0x39, %xmm1, %xmm2

  2344. 	mulps	%xmm0, %xmm1

  2345. 	addps	%xmm3, %xmm10

  2346. 	pshufd	$0x39, %xmm2, %xmm3

  2347. 	mulps	%xmm0, %xmm2

  2348. 

  2349. 	addps	%xmm4, %xmm11

  2350. 	pshufd	$0x39, %xmm3, %xmm4

  2351. 	mulps	%xmm0, %xmm3

  2352. 	mulps	%xmm0, %xmm4

  2353. 	movaps	-20 * SIZE(AO), %xmm0

  2354. 

  2355. 	addps	%xmm1, %xmm8

  2356. 	movaps	-20 * SIZE(BO), %xmm1

  2357. 	addps	%xmm2, %xmm9

  2358. 	pshufd	$0x39, %xmm1, %xmm2

  2359. 	mulps	%xmm0, %xmm1

  2360. 	addps	%xmm3, %xmm10

  2361. 	pshufd	$0x39, %xmm2, %xmm3

  2362. 	mulps	%xmm0, %xmm2

  2363. 

  2364. 	addps	%xmm4, %xmm11

  2365. 	pshufd	$0x39, %xmm3, %xmm4

  2366. 	mulps	%xmm0, %xmm3

  2367. 	mulps	%xmm0, %xmm4

  2368. 	movaps	-16 * SIZE(AO), %xmm0

  2369. 

  2370. 	subq	$-16 * SIZE, AO

  2371. 	subq	$-16 * SIZE, BO

  2372. 	subq	$1, %rax

  2373. 	BRANCH

  2374. 	jg	.L42

  2375. 	ALIGN_3

  2376. 

  2377. .L45:

  2378. #if defined(LT) || defined(RN)

  2379. 	movq	KK, %rax

  2380. #else

  2381. 	movq	K, %rax

  2382. 	subq	KK, %rax

  2383. #endif

  2384. 	andq	$3, %rax		# if (k & 1)

  2385. 	BRANCH

  2386. 	je	.L48

  2387. 	ALIGN_3

  2388. 

  2389. .L46:

  2390. 	addps	%xmm1, %xmm8

  2391. 	movaps	-32 * SIZE(BO), %xmm1

  2392. 	addps	%xmm2, %xmm9

  2393. 	pshufd	$0x39, %xmm1, %xmm2

  2394. 	mulps	%xmm0, %xmm1

  2395. 	addps	%xmm3, %xmm10

  2396. 	pshufd	$0x39, %xmm2, %xmm3

  2397. 	mulps	%xmm0, %xmm2

  2398. 

  2399. 	addps	%xmm4, %xmm11

  2400. 	pshufd	$0x39, %xmm3, %xmm4

  2401. 	mulps	%xmm0, %xmm3

  2402. 	mulps	%xmm0, %xmm4

  2403. 	movaps	-28 * SIZE(AO), %xmm0

  2404. 

  2405. 	addq	$4 * SIZE, AO

  2406. 	addq	$4 * SIZE, BO

  2407. 

  2408. 	subq	$1, %rax

  2409. 	BRANCH

  2410. 	jg	.L46

  2411. 	ALIGN_3

  2412. 

  2413. .L48:

  2414. #if defined(LN) || defined(RT)

  2415. 	movq	KK, %rax

  2416. #ifdef LN

  2417. 	subq	$4, %rax

  2418. #else

  2419. 	subq	$4, %rax

  2420. #endif

  2421. 

  2422. 	leaq	(, %rax, SIZE), %rax

  2423. 

  2424. 	movq	AORIG, AO

  2425. 	leaq	(AO, %rax, 4), AO

  2426. 	leaq	(B,  %rax, 4), BO

  2427. #endif

  2428. 

  2429. 	addps	%xmm1, %xmm8

  2430. 	addps	%xmm2, %xmm9

  2431. 	addps	%xmm3, %xmm10

  2432. 	addps	%xmm4, %xmm11

  2433. 

  2434. #if defined(LN) || defined(LT)

  2435. 	movaps	%xmm8, %xmm4

  2436. 	shufps	$0x88, %xmm9,  %xmm8

  2437. 	movaps	%xmm10, %xmm5

  2438. 	shufps	$0x88, %xmm11, %xmm10

  2439. 	shufps	$0xdd, %xmm11, %xmm4

  2440. 	shufps	$0xdd, %xmm9,  %xmm5

  2441. 

  2442. 	movaps	%xmm8, %xmm6

  2443. 	shufps	$0x88, %xmm10, %xmm8

  2444. 	shufps	$0xdd, %xmm6,  %xmm10

  2445. 

  2446. 	movaps	%xmm4, %xmm9

  2447. 	movaps	%xmm5, %xmm11

  2448. 	shufps	$0x22, %xmm5, %xmm9

  2449. 	shufps	$0x77, %xmm4, %xmm11

  2450. 

  2451. 	movaps	-32 * SIZE(BO), %xmm0

  2452. 	movaps	-28 * SIZE(BO), %xmm1

  2453. 	movaps	-24 * SIZE(BO), %xmm2

  2454. 	movaps	-20 * SIZE(BO), %xmm3

  2455. #else

  2456. 	movaps	%xmm9, %xmm4

  2457. 	shufps	$0xd8, %xmm8, %xmm9

  2458. 	shufps	$0xd8, %xmm11, %xmm8

  2459. 	shufps	$0xd8, %xmm10, %xmm11

  2460. 	shufps	$0xd8, %xmm4, %xmm10

  2461. 

  2462. 	movaps	%xmm8, %xmm4

  2463. 	shufps	$0xd8, %xmm10, %xmm8

  2464. 	shufps	$0xd8, %xmm4, %xmm10

  2465. 	movaps	%xmm9, %xmm5

  2466. 	shufps	$0xd8, %xmm11, %xmm9

  2467. 	shufps	$0xd8, %xmm5, %xmm11

  2468. 

  2469. 	movaps	-32 * SIZE(AO), %xmm0

  2470. 	movaps	-28 * SIZE(AO), %xmm1

  2471. 	movaps	-24 * SIZE(AO), %xmm2

  2472. 	movaps	-20 * SIZE(AO), %xmm3

  2473. #endif

  2474. 

  2475. 	subps	%xmm8,  %xmm0

  2476. 	subps	%xmm9,  %xmm1

  2477. 	subps	%xmm10, %xmm2

  2478. 	subps	%xmm11, %xmm3

  2479. 

  2480. #ifdef LN

  2481. 	movaps	-20 * SIZE(AO), %xmm8

  2482. 

  2483. 	pshufd	 $0xff, %xmm8, %xmm15

  2484. 	mulps	 %xmm15, %xmm3

  2485. 	pshufd	 $0xaa, %xmm8, %xmm15

  2486. 	mulps	 %xmm3,  %xmm15

  2487. 	subps	 %xmm15, %xmm2

  2488. 	pshufd	 $0x55, %xmm8, %xmm15

  2489. 	mulps	 %xmm3,  %xmm15

  2490. 	subps	 %xmm15, %xmm1

  2491. 	pshufd	 $0x00, %xmm8, %xmm15

  2492. 	mulps	 %xmm3,  %xmm15

  2493. 	subps	 %xmm15, %xmm0

  2494. 

  2495. 	movaps	-24 * SIZE(AO), %xmm8

  2496. 

  2497. 	pshufd	 $0xaa, %xmm8, %xmm15

  2498. 	mulps	 %xmm15, %xmm2

  2499. 	pshufd	 $0x55, %xmm8, %xmm15

  2500. 	mulps	 %xmm2,  %xmm15

  2501. 	subps	 %xmm15, %xmm1

  2502. 	pshufd	 $0x00, %xmm8, %xmm15

  2503. 	mulps	 %xmm2,  %xmm15

  2504. 	subps	 %xmm15, %xmm0

  2505. 

  2506. 	movaps	-28 * SIZE(AO), %xmm8

  2507. 

  2508. 	pshufd	 $0x55, %xmm8, %xmm15

  2509. 	mulps	 %xmm15, %xmm1

  2510. 	pshufd	 $0x00, %xmm8, %xmm15

  2511. 	mulps	 %xmm1,  %xmm15

  2512. 	subps	 %xmm15, %xmm0

  2513. 

  2514. 	movaps	-32 * SIZE(AO), %xmm8

  2515. 

  2516. 	pshufd	 $0x00, %xmm8, %xmm15

  2517. 	mulps	 %xmm15, %xmm0

  2518. #endif

  2519. 

  2520. #ifdef LT

  2521. 	movaps	-32 * SIZE(AO), %xmm8

  2522. 

  2523. 	pshufd	 $0x00, %xmm8, %xmm15

  2524. 	mulps	 %xmm15, %xmm0

  2525. 	pshufd	 $0x55, %xmm8, %xmm15

  2526. 	mulps	 %xmm0,  %xmm15

  2527. 	subps	 %xmm15, %xmm1

  2528. 	pshufd	 $0xaa, %xmm8, %xmm15

  2529. 	mulps	 %xmm0,  %xmm15

  2530. 	subps	 %xmm15, %xmm2

  2531. 	pshufd	 $0xff, %xmm8, %xmm15

  2532. 	mulps	 %xmm0,  %xmm15

  2533. 	subps	 %xmm15, %xmm3

  2534. 

  2535. 	movaps	-28 * SIZE(AO), %xmm8

  2536. 

  2537. 	pshufd	 $0x55, %xmm8, %xmm15

  2538. 	mulps	 %xmm15, %xmm1

  2539. 	pshufd	 $0xaa, %xmm8, %xmm15

  2540. 	mulps	 %xmm1,  %xmm15

  2541. 	subps	 %xmm15, %xmm2

  2542. 	pshufd	 $0xff, %xmm8, %xmm15

  2543. 	mulps	 %xmm1,  %xmm15

  2544. 	subps	 %xmm15, %xmm3

  2545. 

  2546. 	movaps	-24 * SIZE(AO), %xmm8

  2547. 

  2548. 	pshufd	 $0xaa, %xmm8, %xmm15

  2549. 	mulps	 %xmm15, %xmm2

  2550. 	pshufd	 $0xff, %xmm8, %xmm15

  2551. 	mulps	 %xmm2,  %xmm15

  2552. 	subps	 %xmm15, %xmm3

  2553. 

  2554. 	movaps	-20 * SIZE(AO), %xmm8

  2555. 

  2556. 	pshufd	 $0xff, %xmm8, %xmm15

  2557. 	mulps	 %xmm15, %xmm3

  2558. #endif

  2559. 

  2560. #ifdef RN

  2561. 	movaps	-32 * SIZE(BO), %xmm8

  2562. 

  2563. 	pshufd	 $0x00, %xmm8, %xmm15

  2564. 	mulps	 %xmm15, %xmm0

  2565. 	pshufd	 $0x55,  %xmm8, %xmm15

  2566. 	mulps	 %xmm0,  %xmm15

  2567. 	subps	 %xmm15, %xmm1

  2568. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2569. 	mulps	 %xmm0,  %xmm15

  2570. 	subps	 %xmm15, %xmm2

  2571. 	pshufd	 $0xff,  %xmm8, %xmm15

  2572. 	mulps	 %xmm0,  %xmm15

  2573. 	subps	 %xmm15, %xmm3

  2574. 

  2575. 	movaps	-28 * SIZE(BO), %xmm8

  2576. 

  2577. 	pshufd	 $0x55, %xmm8, %xmm15

  2578. 	mulps	 %xmm15, %xmm1

  2579. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2580. 	mulps	 %xmm1,  %xmm15

  2581. 	subps	 %xmm15, %xmm2

  2582. 	pshufd	 $0xff,  %xmm8, %xmm15

  2583. 	mulps	 %xmm1,  %xmm15

  2584. 	subps	 %xmm15, %xmm3

  2585. 

  2586. 	movaps	-24 * SIZE(BO), %xmm8

  2587. 

  2588. 	pshufd	 $0xaa, %xmm8, %xmm15

  2589. 	mulps	 %xmm15, %xmm2

  2590. 	pshufd	 $0xff,  %xmm8, %xmm15

  2591. 	mulps	 %xmm2,  %xmm15

  2592. 	subps	 %xmm15, %xmm3

  2593. 

  2594. 	movaps	-20 * SIZE(BO), %xmm8

  2595. 

  2596. 	pshufd	 $0xff, %xmm8, %xmm15

  2597. 	mulps	 %xmm15, %xmm3

  2598. #endif

  2599. 

  2600. #ifdef RT

  2601. 	movaps	-20 * SIZE(BO), %xmm8

  2602. 

  2603. 	pshufd	 $0xff, %xmm8, %xmm15

  2604. 	mulps	 %xmm15, %xmm3

  2605. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2606. 	mulps	 %xmm3,  %xmm15

  2607. 	subps	 %xmm15, %xmm2

  2608. 	pshufd	 $0x55,  %xmm8, %xmm15

  2609. 	mulps	 %xmm3,  %xmm15

  2610. 	subps	 %xmm15, %xmm1

  2611. 	pshufd	 $0x00,  %xmm8, %xmm15

  2612. 	mulps	 %xmm3,  %xmm15

  2613. 	subps	 %xmm15, %xmm0

  2614. 

  2615. 	movaps	-24 * SIZE(BO), %xmm8

  2616. 

  2617. 	pshufd	 $0xaa, %xmm8, %xmm15

  2618. 	mulps	 %xmm15, %xmm2

  2619. 	pshufd	 $0x55,  %xmm8, %xmm15

  2620. 	mulps	 %xmm2,  %xmm15

  2621. 	subps	 %xmm15, %xmm1

  2622. 	pshufd	 $0x00,  %xmm8, %xmm15

  2623. 	mulps	 %xmm2,  %xmm15

  2624. 	subps	 %xmm15, %xmm0

  2625. 

  2626. 	movaps	-28 * SIZE(BO), %xmm8

  2627. 

  2628. 	pshufd	 $0x55, %xmm8, %xmm15

  2629. 	mulps	 %xmm15, %xmm1

  2630. 	pshufd	 $0x00,  %xmm8, %xmm15

  2631. 	mulps	 %xmm1,  %xmm15

  2632. 	subps	 %xmm15, %xmm0

  2633. 

  2634. 	movaps	-32 * SIZE(BO), %xmm8

  2635. 

  2636. 	pshufd	 $0x00, %xmm8, %xmm15

  2637. 	mulps	 %xmm15, %xmm0

  2638. #endif

  2639. 

  2640. #ifdef LN

  2641. 	subq	$4 * SIZE, CO1

  2642. 	subq	$4 * SIZE, CO2

  2643. #endif

  2644. 

  2645. #if defined(LN) || defined(LT)

  2646. 	movaps	%xmm0, -32 * SIZE(BO)

  2647. 	movaps	%xmm1, -28 * SIZE(BO)

  2648. 	movaps	%xmm2, -24 * SIZE(BO)

  2649. 	movaps	%xmm3, -20 * SIZE(BO)

  2650. 

  2651. 	movaps	%xmm0, %xmm8

  2652. 	shufps	$0x88, %xmm1, %xmm0

  2653. 	shufps	$0xdd, %xmm8, %xmm1

  2654. 

  2655. 	movaps	%xmm2, %xmm9

  2656. 	shufps	$0x88, %xmm3, %xmm2

  2657. 	shufps	$0xdd, %xmm9, %xmm3

  2658. 

  2659. 	movaps	%xmm0, %xmm8

  2660. 	shufps	$0x88, %xmm2, %xmm0

  2661. 	movaps	%xmm1, %xmm9

  2662. 	shufps	$0x22, %xmm3, %xmm1

  2663. 	shufps	$0xdd, %xmm2, %xmm8

  2664. 	movaps	%xmm8, %xmm2

  2665. 	shufps	$0x77, %xmm3, %xmm9

  2666. 	movaps	%xmm9, %xmm3

  2667. #else

  2668. 	movaps	%xmm0, -32 * SIZE(AO)

  2669. 	movaps	%xmm1, -28 * SIZE(AO)

  2670. 	movaps	%xmm2, -24 * SIZE(AO)

  2671. 	movaps	%xmm3, -20 * SIZE(AO)

  2672. #endif

  2673. 

  2674. 	leaq	(LDC, LDC, 2), %rax

  2675. 

  2676. 	movsd	%xmm0,  0 * SIZE(CO1)

  2677. 	movhps	%xmm0,  2 * SIZE(CO1)

  2678. 	movsd	%xmm1,  0 * SIZE(CO1, LDC,  1)

  2679. 	movhps	%xmm1,  2 * SIZE(CO1, LDC,  1)

  2680. 

  2681. 	movsd	%xmm2,  0 * SIZE(CO2)

  2682. 	movhps	%xmm2,  2 * SIZE(CO2)

  2683. 	movsd	%xmm3,  0 * SIZE(CO2, LDC,  1)

  2684. 	movhps	%xmm3,  2 * SIZE(CO2, LDC,  1)

  2685. 

  2686. #ifndef LN

  2687. 	addq	$4 * SIZE, CO1

  2688. 	addq	$4 * SIZE, CO2

  2689. #endif

  2690. 

  2691. #if defined(LT) || defined(RN)

  2692. 	movq	K,  %rax

  2693. 	subq	KK, %rax

  2694. 	leaq	(,%rax, SIZE), %rax

  2695. 	leaq	(AO, %rax, 4), AO

  2696. 	leaq	(BO, %rax, 4), BO

  2697. #endif

  2698. 

  2699. #ifdef LN

  2700. 	subq	$4, KK

  2701. #endif

  2702. 

  2703. #ifdef LT

  2704. 	addq	$4, KK

  2705. #endif

  2706. 

  2707. #ifdef RT

  2708.        movq	K, %rax

  2709.        salq	$2 + BASE_SHIFT, %rax

  2710.        addq	%rax, AORIG

  2711. #endif

  2712. 

  2713. 	decq	I

  2714. 	BRANCH

  2715. 	jg	.L41

  2716. 	ALIGN_4

  2717. 

  2718. .L50:

  2719. 	testq	$2, M

  2720. 	BRANCH

  2721. 	jle	.L60

  2722. 

  2723. #ifdef LN

  2724.        movq	K, %rax

  2725.        salq	$1 + BASE_SHIFT, %rax

  2726.        subq	%rax, AORIG

  2727. #endif

  2728. 

  2729. #if defined(LN) || defined(RT)

  2730. 	movq	KK, %rax

  2731. 	leaq	(, %rax, SIZE), %rax

  2732. 	movq	AORIG, AO

  2733. 	leaq	(AO, %rax, 2), AO

  2734. 	leaq	(B,  %rax, 4), BO

  2735. #else

  2736. 	movq	B, BO

  2737. #endif

  2738. 

  2739. 	xorps	%xmm1, %xmm1

  2740. 	movddup	-32 * SIZE(AO), %xmm0

  2741. 	xorps	%xmm2, %xmm2

  2742. 	movaps	-32 * SIZE(BO), %xmm5

  2743. 	xorps	%xmm8,  %xmm8

  2744. 	xorps	%xmm9,  %xmm9

  2745. 

  2746. #if defined(LT) || defined(RN)

  2747. 	movq	KK, %rax

  2748. #else

  2749. 	movq	K, %rax

  2750. 	subq	KK, %rax

  2751. #endif

  2752. 	sarq	$2, %rax

  2753. 	NOBRANCH

  2754. 	jle	.L55

  2755. 	ALIGN_3

  2756. 

  2757. .L52:

  2758. 	addps	%xmm1, %xmm8

  2759. 	pshufd	$0x50, %xmm5, %xmm1

  2760. 	mulps	%xmm0, %xmm1

  2761. 	addps	%xmm2, %xmm9

  2762. 	pshufd	$0xfa, %xmm5, %xmm2

  2763. 	movaps	-28 * SIZE(BO), %xmm5

  2764. 	mulps	%xmm0, %xmm2

  2765. 	movddup	-30 * SIZE(AO), %xmm0

  2766. 

  2767. 	addps	%xmm1, %xmm8

  2768. 	pshufd	$0x50, %xmm5, %xmm1

  2769. 	mulps	%xmm0, %xmm1

  2770. 	addps	%xmm2, %xmm9

  2771. 	pshufd	$0xfa, %xmm5, %xmm2

  2772. 	movaps	-24 * SIZE(BO), %xmm5

  2773. 	mulps	%xmm0, %xmm2

  2774. 	movddup	-28 * SIZE(AO), %xmm0

  2775. 

  2776. 	addps	%xmm1, %xmm8

  2777. 	pshufd	$0x50, %xmm5, %xmm1

  2778. 	mulps	%xmm0, %xmm1

  2779. 	addps	%xmm2, %xmm9

  2780. 	pshufd	$0xfa, %xmm5, %xmm2

  2781. 	movaps	-20 * SIZE(BO), %xmm5

  2782. 	mulps	%xmm0, %xmm2

  2783. 	movddup	-26 * SIZE(AO), %xmm0

  2784. 

  2785. 	addps	%xmm1, %xmm8

  2786. 	pshufd	$0x50, %xmm5, %xmm1

  2787. 	mulps	%xmm0, %xmm1

  2788. 	addps	%xmm2, %xmm9

  2789. 	pshufd	$0xfa, %xmm5, %xmm2

  2790. 	movaps	-16 * SIZE(BO), %xmm5

  2791. 	mulps	%xmm0, %xmm2

  2792. 	movddup	-24 * SIZE(AO), %xmm0

  2793. 

  2794. 	subq	$-16 * SIZE, BO

  2795. 	subq	$ -8 * SIZE, AO

  2796. 

  2797. 	subq	$1, %rax

  2798. 	BRANCH

  2799. 	jg	.L52

  2800. 	ALIGN_3

  2801. 

  2802. .L55:

  2803. #if defined(LT) || defined(RN)

  2804. 	movq	KK, %rax

  2805. #else

  2806. 	movq	K, %rax

  2807. 	subq	KK, %rax

  2808. #endif

  2809. 	andq	$3, %rax		# if (k & 1)

  2810. 	BRANCH

  2811. 	je	.L58

  2812. 	ALIGN_3

  2813. 

  2814. .L56:

  2815. 	addps	%xmm1, %xmm8

  2816. 	pshufd	$0x50, %xmm5, %xmm1

  2817. 	mulps	%xmm0, %xmm1

  2818. 	addps	%xmm2, %xmm9

  2819. 	pshufd	$0xfa, %xmm5, %xmm2

  2820. 	movaps	-28 * SIZE(BO), %xmm5

  2821. 	mulps	%xmm0, %xmm2

  2822. 	movddup	-30 * SIZE(AO), %xmm0

  2823. 

  2824. 	addq	$2 * SIZE, AO

  2825. 	addq	$4 * SIZE, BO

  2826. 

  2827. 	subq	$1, %rax

  2828. 	BRANCH

  2829. 	jg	.L56

  2830. 	ALIGN_3

  2831. 

  2832. .L58:

  2833. #if defined(LN) || defined(RT)

  2834. 	movq	KK, %rax

  2835. #ifdef LN

  2836. 	subq	$2, %rax

  2837. #else

  2838. 	subq	$4, %rax

  2839. #endif

  2840. 

  2841. 	leaq	(, %rax, SIZE), %rax

  2842. 

  2843. 	movq	AORIG, AO

  2844. 	leaq	(AO, %rax, 2), AO

  2845. 	leaq	(B,  %rax, 4), BO

  2846. #endif

  2847. 

  2848. 	addps	%xmm1, %xmm8

  2849. 	addps	%xmm2, %xmm9

  2850. 

  2851. #if defined(LN) || defined(LT)

  2852. 	movaps	%xmm8, %xmm4

  2853. 	shufps	$0x88, %xmm9, %xmm8

  2854. 	shufps	$0xdd, %xmm9, %xmm4

  2855. 

  2856. 	movaps	-32 * SIZE(BO), %xmm0

  2857. 	movaps	-28 * SIZE(BO), %xmm1

  2858. 

  2859. 	subps	%xmm8,  %xmm0

  2860. 	subps	%xmm4,  %xmm1

  2861. #else

  2862. 	movaps	-32 * SIZE(AO), %xmm0

  2863. 	movaps	-28 * SIZE(AO), %xmm2

  2864. 

  2865. 	subps	%xmm8,  %xmm0

  2866. 	subps	%xmm9,  %xmm2

  2867. 

  2868. 	movhlps	%xmm0, %xmm1

  2869. 	movhlps	%xmm2, %xmm3

  2870. #endif

  2871. 

  2872. #ifdef LN

  2873. 	movaps	-32 * SIZE(AO), %xmm8

  2874. 

  2875. 	pshufd	 $0xff, %xmm8, %xmm15

  2876. 	mulps	 %xmm15, %xmm1

  2877. 	pshufd	 $0xaa, %xmm8, %xmm15

  2878. 	mulps	 %xmm1,  %xmm15

  2879. 	subps	 %xmm15, %xmm0

  2880. 	pshufd	 $0x00, %xmm8, %xmm15

  2881. 	mulps	 %xmm15, %xmm0

  2882. #endif

  2883. 

  2884. #ifdef LT

  2885. 	movaps	-32 * SIZE(AO), %xmm8

  2886. 

  2887. 	pshufd	 $0x00, %xmm8, %xmm15

  2888. 	mulps	 %xmm15, %xmm0

  2889. 	pshufd	 $0x55, %xmm8, %xmm15

  2890. 	mulps	 %xmm0,  %xmm15

  2891. 	subps	 %xmm15, %xmm1

  2892. 	pshufd	 $0xff, %xmm8, %xmm15

  2893. 	mulps	 %xmm15, %xmm1

  2894. #endif

  2895. 

  2896. #ifdef RN

  2897. 	movaps	-32 * SIZE(BO), %xmm8

  2898. 

  2899. 	pshufd	 $0x00, %xmm8, %xmm15

  2900. 	mulps	 %xmm15, %xmm0

  2901. 	pshufd	 $0x55,  %xmm8, %xmm15

  2902. 	mulps	 %xmm0,  %xmm15

  2903. 	subps	 %xmm15, %xmm1

  2904. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2905. 	mulps	 %xmm0,  %xmm15

  2906. 	subps	 %xmm15, %xmm2

  2907. 	pshufd	 $0xff,  %xmm8, %xmm15

  2908. 	mulps	 %xmm0,  %xmm15

  2909. 	subps	 %xmm15, %xmm3

  2910. 

  2911. 	movaps	-28 * SIZE(BO), %xmm8

  2912. 

  2913. 	pshufd	 $0x55, %xmm8, %xmm15

  2914. 	mulps	 %xmm15, %xmm1

  2915. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2916. 	mulps	 %xmm1,  %xmm15

  2917. 	subps	 %xmm15, %xmm2

  2918. 	pshufd	 $0xff,  %xmm8, %xmm15

  2919. 	mulps	 %xmm1,  %xmm15

  2920. 	subps	 %xmm15, %xmm3

  2921. 

  2922. 	movaps	-24 * SIZE(BO), %xmm8

  2923. 

  2924. 	pshufd	 $0xaa, %xmm8, %xmm15

  2925. 	mulps	 %xmm15, %xmm2

  2926. 	pshufd	 $0xff,  %xmm8, %xmm15

  2927. 	mulps	 %xmm2,  %xmm15

  2928. 	subps	 %xmm15, %xmm3

  2929. 

  2930. 	movaps	-20 * SIZE(BO), %xmm8

  2931. 

  2932. 	pshufd	 $0xff, %xmm8, %xmm15

  2933. 	mulps	 %xmm15, %xmm3

  2934. #endif

  2935. 

  2936. #ifdef RT

  2937. 	movaps	-20 * SIZE(BO), %xmm8

  2938. 

  2939. 	pshufd	 $0xff, %xmm8, %xmm15

  2940. 	mulps	 %xmm15, %xmm3

  2941. 	pshufd	 $0xaa,  %xmm8, %xmm15

  2942. 	mulps	 %xmm3,  %xmm15

  2943. 	subps	 %xmm15, %xmm2

  2944. 	pshufd	 $0x55,  %xmm8, %xmm15

  2945. 	mulps	 %xmm3,  %xmm15

  2946. 	subps	 %xmm15, %xmm1

  2947. 	pshufd	 $0x00,  %xmm8, %xmm15

  2948. 	mulps	 %xmm3,  %xmm15

  2949. 	subps	 %xmm15, %xmm0

  2950. 

  2951. 	movaps	-24 * SIZE(BO), %xmm8

  2952. 

  2953. 	pshufd	 $0xaa, %xmm8, %xmm15

  2954. 	mulps	 %xmm15, %xmm2

  2955. 	pshufd	 $0x55,  %xmm8, %xmm15

  2956. 	mulps	 %xmm2,  %xmm15

  2957. 	subps	 %xmm15, %xmm1

  2958. 	pshufd	 $0x00,  %xmm8, %xmm15

  2959. 	mulps	 %xmm2,  %xmm15

  2960. 	subps	 %xmm15, %xmm0

  2961. 

  2962. 	movaps	-28 * SIZE(BO), %xmm8

  2963. 

  2964. 	pshufd	 $0x55, %xmm8, %xmm15

  2965. 	mulps	 %xmm15, %xmm1

  2966. 	pshufd	 $0x00,  %xmm8, %xmm15

  2967. 	mulps	 %xmm1,  %xmm15

  2968. 	subps	 %xmm15, %xmm0

  2969. 

  2970. 	movaps	-32 * SIZE(BO), %xmm8

  2971. 

  2972. 	pshufd	 $0x00, %xmm8, %xmm15

  2973. 	mulps	 %xmm15, %xmm0

  2974. #endif

  2975. 

  2976. #ifdef LN

  2977. 	subq	$2 * SIZE, CO1

  2978. 	subq	$2 * SIZE, CO2

  2979. #endif

  2980. 

  2981. 	leaq	(LDC, LDC, 2), %rax

  2982. 

  2983. #if defined(LN) || defined(LT)

  2984. 	movaps	%xmm0, -32 * SIZE(BO)

  2985. 	movaps	%xmm1, -28 * SIZE(BO)

  2986. 

  2987. 	movaps	%xmm0,  %xmm4

  2988. 	unpcklps %xmm1, %xmm0

  2989. 	unpckhps %xmm1, %xmm4

  2990. 

  2991. 	movsd	%xmm0,  (CO1)

  2992. 	movhps	%xmm0,  (CO1, LDC,  1)

  2993. 	movsd	%xmm4,  (CO2)

  2994. 	movhps	%xmm4,  (CO2, LDC,  1)

  2995. #else

  2996. 	movlhps	%xmm1, %xmm0

  2997. 	movlhps	%xmm3, %xmm2

  2998. 

  2999. 	movaps	%xmm0, -32 * SIZE(AO)

  3000. 	movaps	%xmm2, -28 * SIZE(AO)

  3001. 

  3002. 	movsd	%xmm0,  (CO1)

  3003. 	movsd	%xmm1,  (CO1, LDC,  1)

  3004. 	movsd	%xmm2,  (CO2)

  3005. 	movsd	%xmm3,  (CO2, LDC,  1)

  3006. #endif

  3007. 

  3008. #ifndef LN

  3009. 	addq	$2 * SIZE, CO1

  3010. 	addq	$2 * SIZE, CO2

  3011. #endif

  3012. 

  3013. #if defined(LT) || defined(RN)

  3014. 	movq	K,  %rax

  3015. 	subq	KK, %rax

  3016. 	leaq	(,%rax, SIZE), %rax

  3017. 	leaq	(AO, %rax, 2), AO

  3018. 	leaq	(BO, %rax, 4), BO

  3019. #endif

  3020. 

  3021. #ifdef LN

  3022. 	subq	$2, KK

  3023. #endif

  3024. 

  3025. #ifdef LT

  3026. 	addq	$2, KK

  3027. #endif

  3028. 

  3029. #ifdef RT

  3030.        movq	K, %rax

  3031.        salq	$1 + BASE_SHIFT, %rax

  3032.        addq	%rax, AORIG

  3033. #endif

  3034. 	ALIGN_4

  3035. 

  3036. .L60:

  3037. 	testq	$1, M

  3038. 	BRANCH

  3039. 	jle	.L69

  3040. 

  3041. #ifdef LN

  3042.        movq	K, %rax

  3043.        salq	$BASE_SHIFT, %rax

  3044.        subq	%rax, AORIG

  3045. #endif

  3046. 

  3047. #if defined(LN) || defined(RT)

  3048. 	movq	KK, %rax

  3049. 	leaq	(, %rax, SIZE), %rax

  3050. 	movq	AORIG, AO

  3051. 	leaq	(AO, %rax, 1), AO

  3052. 	leaq	(B,  %rax, 4), BO

  3053. #else

  3054. 	movq	B, BO

  3055. #endif

  3056. 

  3057. 	xorps	%xmm2, %xmm2

  3058. 	movsd	-32 * SIZE(AO), %xmm0

  3059. 	xorps	%xmm8, %xmm8

  3060. 	xorps	%xmm9, %xmm9

  3061. 

  3062. #if defined(LT) || defined(RN)

  3063. 	movq	KK, %rax

  3064. #else

  3065. 	movq	K, %rax

  3066. 	subq	KK, %rax

  3067. #endif

  3068. 	sarq	$2, %rax

  3069. 	NOBRANCH

  3070. 	jle	.L65

  3071. 	ALIGN_3

  3072. 

  3073. .L62:

  3074. 	pshufd	$0x00, %xmm0, %xmm1

  3075. 	addps	%xmm2, %xmm8

  3076. 	movaps	-32 * SIZE(BO), %xmm2

  3077. 	mulps	%xmm1, %xmm2

  3078. 

  3079. 	pshufd	$0x55, %xmm0, %xmm1

  3080. 	movsd	-30 * SIZE(AO), %xmm0

  3081. 	addps	%xmm2, %xmm9

  3082. 	movaps	-28 * SIZE(BO), %xmm2

  3083. 	mulps	%xmm1, %xmm2

  3084. 

  3085. 	pshufd	$0x00, %xmm0, %xmm1

  3086. 	addps	%xmm2, %xmm8

  3087. 	movaps	-24 * SIZE(BO), %xmm2

  3088. 	mulps	%xmm1, %xmm2

  3089. 

  3090. 	pshufd	$0x55, %xmm0, %xmm1

  3091. 	movsd	-28 * SIZE(AO), %xmm0

  3092. 	addps	%xmm2, %xmm9

  3093. 	movaps	-20 * SIZE(BO), %xmm2

  3094. 	mulps	%xmm1, %xmm2

  3095. 

  3096. 	subq	$-16 * SIZE, BO

  3097. 	subq	$ -4 * SIZE, AO

  3098. 

  3099. 	subq	$1, %rax

  3100. 	BRANCH

  3101. 	jg	.L62

  3102. 	addps	%xmm9, %xmm8

  3103. 	ALIGN_3

  3104. 

  3105. .L65:

  3106. #if defined(LT) || defined(RN)

  3107. 	movq	KK, %rax

  3108. #else

  3109. 	movq	K, %rax

  3110. 	subq	KK, %rax

  3111. #endif

  3112. 	andq	$3, %rax		# if (k & 1)

  3113. 	BRANCH

  3114. 	je	.L68

  3115. 	ALIGN_3

  3116. 

  3117. .L66:

  3118. 	pshufd	$0x00, %xmm0, %xmm1

  3119. 	movss	-31 * SIZE(AO), %xmm0

  3120. 	addps	%xmm2, %xmm8

  3121. 	movaps	-32 * SIZE(BO), %xmm2

  3122. 	mulps	%xmm1, %xmm2

  3123. 

  3124. 	addq	$1 * SIZE, AO

  3125. 	addq	$4 * SIZE, BO

  3126. 

  3127. 	subq	$1, %rax

  3128. 	BRANCH

  3129. 	jg	.L66

  3130. 	ALIGN_3

  3131. 

  3132. .L68:

  3133. #if defined(LN) || defined(RT)

  3134. 	movq	KK, %rax

  3135. #ifdef LN

  3136. 	subq	$1, %rax

  3137. #else

  3138. 	subq	$4, %rax

  3139. #endif

  3140. 

  3141. 	leaq	(, %rax, SIZE), %rax

  3142. 

  3143. 	movq	AORIG, AO

  3144. 	leaq	(AO, %rax, 1), AO

  3145. 	leaq	(B,  %rax, 4), BO

  3146. #endif

  3147. 

  3148. 	addps	%xmm2, %xmm8

  3149. 

  3150. #if defined(LN) || defined(LT)

  3151. 	movaps	-32 * SIZE(BO), %xmm0

  3152. 

  3153. 	subps	%xmm8,  %xmm0

  3154. #else

  3155. 	movsd	-32 * SIZE(AO), %xmm0

  3156. 	movhps	-30 * SIZE(AO), %xmm0

  3157. 

  3158. 	subps	%xmm8,  %xmm0

  3159. 

  3160. 	pshufd	$0xff, %xmm0, %xmm3

  3161. 	pshufd	$0xaa, %xmm0, %xmm2

  3162. 	pshufd	$0x55, %xmm0, %xmm1

  3163. 	pshufd	$0x00, %xmm0, %xmm0

  3164. #endif

  3165. 

  3166. #if defined(LN) || defined(LT)

  3167. 	movaps	-32 * SIZE(AO), %xmm8

  3168. 

  3169. 	pshufd	 $0x00, %xmm8, %xmm15

  3170. 	mulps	 %xmm15, %xmm0

  3171. #endif

  3172. 

  3173. #ifdef RN

  3174. 	movaps	-32 * SIZE(BO), %xmm8

  3175. 

  3176. 	pshufd	 $0x00, %xmm8, %xmm15

  3177. 	mulss	 %xmm15, %xmm0

  3178. 	pshufd	 $0x55,  %xmm8, %xmm15

  3179. 	mulss	 %xmm0,  %xmm15

  3180. 	subss	 %xmm15, %xmm1

  3181. 	pshufd	 $0xaa,  %xmm8, %xmm15

  3182. 	mulss	 %xmm0,  %xmm15

  3183. 	subss	 %xmm15, %xmm2

  3184. 	pshufd	 $0xff,  %xmm8, %xmm15

  3185. 	mulss	 %xmm0,  %xmm15

  3186. 	subss	 %xmm15, %xmm3

  3187. 

  3188. 	movaps	-28 * SIZE(BO), %xmm8

  3189. 

  3190. 	pshufd	 $0x55, %xmm8, %xmm15

  3191. 	mulss	 %xmm15, %xmm1

  3192. 	pshufd	 $0xaa,  %xmm8, %xmm15

  3193. 	mulss	 %xmm1,  %xmm15

  3194. 	subss	 %xmm15, %xmm2

  3195. 	pshufd	 $0xff,  %xmm8, %xmm15

  3196. 	mulss	 %xmm1,  %xmm15

  3197. 	subss	 %xmm15, %xmm3

  3198. 

  3199. 	movaps	-24 * SIZE(BO), %xmm8

  3200. 

  3201. 	pshufd	 $0xaa, %xmm8, %xmm15

  3202. 	mulss	 %xmm15, %xmm2

  3203. 	pshufd	 $0xff,  %xmm8, %xmm15

  3204. 	mulss	 %xmm2,  %xmm15

  3205. 	subss	 %xmm15, %xmm3

  3206. 

  3207. 	movaps	-20 * SIZE(BO), %xmm8

  3208. 

  3209. 	pshufd	 $0xff, %xmm8, %xmm15

  3210. 	mulss	 %xmm15, %xmm3

  3211. #endif

  3212. 

  3213. #ifdef RT

  3214. 	movaps	-20 * SIZE(BO), %xmm8

  3215. 

  3216. 	pshufd	 $0xff, %xmm8, %xmm15

  3217. 	mulss	 %xmm15, %xmm3

  3218. 	pshufd	 $0xaa,  %xmm8, %xmm15

  3219. 	mulss	 %xmm3,  %xmm15

  3220. 	subss	 %xmm15, %xmm2

  3221. 	pshufd	 $0x55,  %xmm8, %xmm15

  3222. 	mulss	 %xmm3,  %xmm15

  3223. 	subss	 %xmm15, %xmm1

  3224. 	pshufd	 $0x00,  %xmm8, %xmm15

  3225. 	mulss	 %xmm3,  %xmm15

  3226. 	subss	 %xmm15, %xmm0

  3227. 

  3228. 	movaps	-24 * SIZE(BO), %xmm8

  3229. 

  3230. 	pshufd	 $0xaa, %xmm8, %xmm15

  3231. 	mulss	 %xmm15, %xmm2

  3232. 	pshufd	 $0x55,  %xmm8, %xmm15

  3233. 	mulss	 %xmm2,  %xmm15

  3234. 	subss	 %xmm15, %xmm1

  3235. 	pshufd	 $0x00,  %xmm8, %xmm15

  3236. 	mulss	 %xmm2,  %xmm15

  3237. 	subss	 %xmm15, %xmm0

  3238. 

  3239. 	movaps	-28 * SIZE(BO), %xmm8

  3240. 

  3241. 	pshufd	 $0x55, %xmm8, %xmm15

  3242. 	mulss	 %xmm15, %xmm1

  3243. 	pshufd	 $0x00,  %xmm8, %xmm15

  3244. 	mulss	 %xmm1,  %xmm15

  3245. 	subss	 %xmm15, %xmm0

  3246. 

  3247. 	movaps	-32 * SIZE(BO), %xmm8

  3248. 

  3249. 	pshufd	 $0x00, %xmm8, %xmm15

  3250. 	mulss	 %xmm15, %xmm0

  3251. #endif

  3252. 

  3253. #ifdef LN

  3254. 	subq	$1 * SIZE, CO1

  3255. 	subq	$1 * SIZE, CO2

  3256. #endif

  3257. 

  3258. #if defined(LN) || defined(LT)

  3259. 	movaps	%xmm0, -32 * SIZE(BO)

  3260. 

  3261. 	pshufd	$0xff, %xmm0, %xmm3

  3262. 	pshufd	$0xaa, %xmm0, %xmm2

  3263. 	pshufd	$0x55, %xmm0, %xmm1

  3264. 	pshufd	$0x00, %xmm0, %xmm0

  3265. #else

  3266. 	unpcklps %xmm1, %xmm0

  3267. 	unpcklps %xmm3, %xmm2

  3268. 

  3269. 	movlps	%xmm0, -32 * SIZE(AO)

  3270. 	movlps	%xmm2, -30 * SIZE(AO)

  3271. #endif

  3272. 

  3273. 	movss	%xmm0,  (CO1)

  3274. 	movss	%xmm1,  (CO1, LDC,  1)

  3275. 	movss	%xmm2,  (CO2)

  3276. 	movss	%xmm3,  (CO2, LDC,  1)

  3277. 

  3278. #ifndef LN

  3279. 	addq	$1 * SIZE, CO1

  3280. 	addq	$1 * SIZE, CO2

  3281. #endif

  3282. 

  3283. #if defined(LT) || defined(RN)

  3284. 	movq	K,  %rax

  3285. 	subq	KK, %rax

  3286. 	leaq	(,%rax, SIZE), %rax

  3287. 	leaq	(AO, %rax, 1), AO

  3288. 	leaq	(BO, %rax, 4), BO

  3289. #endif

  3290. 

  3291. #ifdef LN

  3292. 	subq	$1, KK

  3293. #endif

  3294. 

  3295. #ifdef LT

  3296. 	addq	$1, KK

  3297. #endif

  3298. 

  3299. #ifdef RT

  3300.        movq	K, %rax

  3301.        salq	$BASE_SHIFT, %rax

  3302.        addq	%rax, AORIG

  3303. #endif

  3304. 	ALIGN_4

  3305. 

  3306. .L69:

  3307. #ifdef LN

  3308.        leaq	(, K, SIZE), %rax

  3309.        leaq	(B, %rax, 4), B

  3310. #endif

  3311. #if defined(LT) || defined(RN)

  3312. 	movq	BO, B

  3313. #endif

  3314. 

  3315. #ifdef RN

  3316. 	addq	$4, KK

  3317. #endif

  3318. 

  3319. #ifdef RT

  3320. 	subq	$4, KK

  3321. #endif

  3322. 	ALIGN_4

  3323. 

  3324. .L70:

  3325. 	testq	$2, N

  3326. 	jle	.L100

  3327. 

  3328. #if defined(LT) || defined(RN)

  3329. 	movq	A, AO

  3330. #else

  3331. 	movq	A, AORIG

  3332. #endif

  3333. 

  3334. #ifdef RT

  3335.        movq	K, %rax

  3336.        salq	$1 + BASE_SHIFT, %rax

  3337.        subq	%rax, B

  3338. 

  3339.        leaq	(, LDC, 2), %rax

  3340.        subq	%rax, C

  3341. #endif

  3342. 

  3343. 	movq	C, CO1

  3344. 	leaq	(C, LDC, 1), CO2

  3345. #ifndef RT

  3346. 	leaq	(C, LDC, 2), C

  3347. #endif

  3348. 

  3349. #ifdef LN

  3350. 	movq	OFFSET, %rax

  3351. 	addq	M, %rax

  3352. 	movq	%rax, KK

  3353. #endif

  3354. 

  3355. #ifdef LT

  3356. 	movq	OFFSET, %rax

  3357. 	movq	%rax, KK

  3358. #endif

  3359. 

  3360. 	movq	M,  I

  3361. 	sarq	$2, I

  3362. 	NOBRANCH

  3363. 	jle	.L80

  3364. 	ALIGN_4

  3365. 

  3366. .L71:

  3367. #ifdef LN

  3368.        movq	K, %rax

  3369.        salq	$2 + BASE_SHIFT, %rax

  3370.        subq	%rax, AORIG

  3371. #endif

  3372. 

  3373. #if defined(LN) || defined(RT)

  3374. 	movq	KK, %rax

  3375. 	leaq	(, %rax, SIZE), %rax

  3376. 	movq	AORIG, AO

  3377. 	leaq	(AO, %rax, 4), AO

  3378. 	leaq	(B,  %rax, 2), BO

  3379. #else

  3380. 	movq	B, BO

  3381. #endif

  3382. 

  3383. 	xorps	%xmm1, %xmm1

  3384. 	movaps	-32 * SIZE(AO), %xmm0

  3385. 	xorps	%xmm2, %xmm2

  3386. 	movsd	-32 * SIZE(BO), %xmm3

  3387. 

  3388. 	xorps	%xmm8,  %xmm8

  3389. 	prefetcht2     4 * SIZE(CO1)

  3390. 	xorps	%xmm9,  %xmm9

  3391. 	prefetcht2     4 * SIZE(CO2)

  3392. 

  3393. #if defined(LT) || defined(RN)

  3394. 	movq	KK, %rax

  3395. #else

  3396. 	movq	K, %rax

  3397. 	subq	KK, %rax

  3398. #endif

  3399. 	sarq	$2, %rax

  3400. 	NOBRANCH

  3401. 	jle	.L75

  3402. 	ALIGN_3

  3403. 

  3404. .L72:

  3405. 	PREFETCH	(PREFETCHSIZE +  0) * SIZE(AO)

  3406. 

  3407. 	addps	%xmm1, %xmm8

  3408. 	pshufd	$0x00,  %xmm3, %xmm1

  3409. 	mulps	%xmm0, %xmm1

  3410. 	addps	%xmm2, %xmm9

  3411. 	pshufd	$0x55,  %xmm3, %xmm2

  3412. 	movsd	-30 * SIZE(BO), %xmm3

  3413. 	mulps	%xmm0, %xmm2

  3414. 	movaps	-28 * SIZE(AO), %xmm0

  3415. 

  3416. 	addps	%xmm1, %xmm8

  3417. 	pshufd	$0x00,  %xmm3, %xmm1

  3418. 	mulps	%xmm0, %xmm1

  3419. 	addps	%xmm2, %xmm9

  3420. 	pshufd	$0x55,  %xmm3, %xmm2

  3421. 	movsd	-28 * SIZE(BO), %xmm3

  3422. 	mulps	%xmm0, %xmm2

  3423. 	movaps	-24 * SIZE(AO), %xmm0

  3424. 

  3425. 	addps	%xmm1, %xmm8

  3426. 	pshufd	$0x00,  %xmm3, %xmm1

  3427. 	mulps	%xmm0, %xmm1

  3428. 	addps	%xmm2, %xmm9

  3429. 	pshufd	$0x55,  %xmm3, %xmm2

  3430. 	movsd	-26 * SIZE(BO), %xmm3

  3431. 	mulps	%xmm0, %xmm2

  3432. 	movaps	-20 * SIZE(AO), %xmm0

  3433. 

  3434. 	addps	%xmm1, %xmm8

  3435. 	pshufd	$0x00,  %xmm3, %xmm1

  3436. 	mulps	%xmm0, %xmm1

  3437. 	addps	%xmm2, %xmm9

  3438. 	pshufd	$0x55,  %xmm3, %xmm2

  3439. 	movsd	-24 * SIZE(BO), %xmm3

  3440. 	mulps	%xmm0, %xmm2

  3441. 	movaps	-16 * SIZE(AO), %xmm0

  3442. 

  3443. 	subq	$-16 * SIZE, AO

  3444. 	subq	$ -8 * SIZE, BO

  3445. 	subq	$1, %rax

  3446. 	BRANCH

  3447. 	jg	.L72

  3448. 	ALIGN_3

  3449. 

  3450. .L75:

  3451. #if defined(LT) || defined(RN)

  3452. 	movq	KK, %rax

  3453. #else

  3454. 	movq	K, %rax

  3455. 	subq	KK, %rax

  3456. #endif

  3457. 	andq	$3, %rax		# if (k & 1)

  3458. 	BRANCH

  3459. 	je	.L78

  3460. 	ALIGN_3

  3461. 

  3462. .L76:

  3463. 	addps	%xmm1, %xmm8

  3464. 	pshufd	$0x00,  %xmm3, %xmm1

  3465. 	mulps	%xmm0, %xmm1

  3466. 	addps	%xmm2, %xmm9

  3467. 	pshufd	$0x55,  %xmm3, %xmm2

  3468. 	movsd	-30 * SIZE(BO), %xmm3

  3469. 	mulps	%xmm0, %xmm2

  3470. 	movaps	-28 * SIZE(AO), %xmm0

  3471. 

  3472. 	addq	$4 * SIZE, AO

  3473. 	addq	$2 * SIZE, BO

  3474. 

  3475. 	subq	$1, %rax

  3476. 	BRANCH

  3477. 	jg	.L76

  3478. 	ALIGN_3

  3479. 

  3480. .L78:

  3481. #if defined(LN) || defined(RT)

  3482. 	movq	KK, %rax

  3483. #ifdef LN

  3484. 	subq	$4, %rax

  3485. #else

  3486. 	subq	$2, %rax

  3487. #endif

  3488. 

  3489. 	leaq	(, %rax, SIZE), %rax

  3490. 

  3491. 	movq	AORIG, AO

  3492. 	leaq	(AO, %rax, 4), AO

  3493. 	leaq	(B,  %rax, 2), BO

  3494. #endif

  3495. 

  3496. 	addps	%xmm1, %xmm8

  3497. 	addps	%xmm2, %xmm9

  3498. 

  3499. #if defined(LN) || defined(LT)

  3500. 	movaps	%xmm8,  %xmm4

  3501. 	unpcklps %xmm9, %xmm8

  3502. 	unpckhps %xmm9, %xmm4

  3503. 

  3504. 	movaps	-32 * SIZE(BO), %xmm0

  3505. 	movaps	-28 * SIZE(BO), %xmm2

  3506. 

  3507. 	subps	%xmm8,  %xmm0

  3508. 	subps	%xmm4,  %xmm2

  3509. 

  3510. 	movhlps	%xmm0, %xmm1

  3511. 	movhlps	%xmm2, %xmm3

  3512. #else

  3513. 	movaps	-32 * SIZE(AO), %xmm0

  3514. 	movaps	-28 * SIZE(AO), %xmm2

  3515. 

  3516. 	subps	%xmm8,  %xmm0

  3517. 	subps	%xmm9,  %xmm2

  3518. #endif

  3519. 

  3520. 

  3521. #ifdef LN

  3522. 	movaps	-20 * SIZE(AO), %xmm8

  3523. 

  3524. 	pshufd	 $0xff, %xmm8, %xmm15

  3525. 	mulps	 %xmm15, %xmm3

  3526. 	pshufd	 $0xaa, %xmm8, %xmm15

  3527. 	mulps	 %xmm3,  %xmm15

  3528. 	subps	 %xmm15, %xmm2

  3529. 	pshufd	 $0x55, %xmm8, %xmm15

  3530. 	mulps	 %xmm3,  %xmm15

  3531. 	subps	 %xmm15, %xmm1

  3532. 	pshufd	 $0x00, %xmm8, %xmm15

  3533. 	mulps	 %xmm3,  %xmm15

  3534. 	subps	 %xmm15, %xmm0

  3535. 

  3536. 	movaps	-24 * SIZE(AO), %xmm8

  3537. 

  3538. 	pshufd	 $0xaa, %xmm8, %xmm15

  3539. 	mulps	 %xmm15, %xmm2

  3540. 	pshufd	 $0x55, %xmm8, %xmm15

  3541. 	mulps	 %xmm2,  %xmm15

  3542. 	subps	 %xmm15, %xmm1

  3543. 	pshufd	 $0x00, %xmm8, %xmm15

  3544. 	mulps	 %xmm2,  %xmm15

  3545. 	subps	 %xmm15, %xmm0

  3546. 

  3547. 	movaps	-28 * SIZE(AO), %xmm8

  3548. 

  3549. 	pshufd	 $0x55, %xmm8, %xmm15

  3550. 	mulps	 %xmm15, %xmm1

  3551. 	pshufd	 $0x00, %xmm8, %xmm15

  3552. 	mulps	 %xmm1,  %xmm15

  3553. 	subps	 %xmm15, %xmm0

  3554. 

  3555. 	movaps	-32 * SIZE(AO), %xmm8

  3556. 

  3557. 	pshufd	 $0x00, %xmm8, %xmm15

  3558. 	mulps	 %xmm15, %xmm0

  3559. #endif

  3560. 

  3561. #ifdef LT

  3562. 	movaps	-32 * SIZE(AO), %xmm8

  3563. 

  3564. 	pshufd	 $0x00, %xmm8, %xmm15

  3565. 	mulps	 %xmm15, %xmm0

  3566. 	pshufd	 $0x55, %xmm8, %xmm15

  3567. 	mulps	 %xmm0,  %xmm15

  3568. 	subps	 %xmm15, %xmm1

  3569. 	pshufd	 $0xaa, %xmm8, %xmm15

  3570. 	mulps	 %xmm0,  %xmm15

  3571. 	subps	 %xmm15, %xmm2

  3572. 	pshufd	 $0xff, %xmm8, %xmm15

  3573. 	mulps	 %xmm0,  %xmm15

  3574. 	subps	 %xmm15, %xmm3

  3575. 

  3576. 	movaps	-28 * SIZE(AO), %xmm8

  3577. 

  3578. 	pshufd	 $0x55, %xmm8, %xmm15

  3579. 	mulps	 %xmm15, %xmm1

  3580. 	pshufd	 $0xaa, %xmm8, %xmm15

  3581. 	mulps	 %xmm1,  %xmm15

  3582. 	subps	 %xmm15, %xmm2

  3583. 	pshufd	 $0xff, %xmm8, %xmm15

  3584. 	mulps	 %xmm1,  %xmm15

  3585. 	subps	 %xmm15, %xmm3

  3586. 

  3587. 	movaps	-24 * SIZE(AO), %xmm8

  3588. 

  3589. 	pshufd	 $0xaa, %xmm8, %xmm15

  3590. 	mulps	 %xmm15, %xmm2

  3591. 	pshufd	 $0xff, %xmm8, %xmm15

  3592. 	mulps	 %xmm2,  %xmm15

  3593. 	subps	 %xmm15, %xmm3

  3594. 

  3595. 	movaps	-20 * SIZE(AO), %xmm8

  3596. 

  3597. 	pshufd	 $0xff, %xmm8, %xmm15

  3598. 	mulps	 %xmm15, %xmm3

  3599. #endif

  3600. 

  3601. #ifdef RN

  3602. 	movaps	-32 * SIZE(BO), %xmm8

  3603. 

  3604. 	pshufd	 $0x00, %xmm8, %xmm15

  3605. 	mulps	 %xmm15, %xmm0

  3606. 	pshufd	 $0x55,  %xmm8, %xmm15

  3607. 	mulps	 %xmm0,  %xmm15

  3608. 	subps	 %xmm15, %xmm2

  3609. 

  3610. 	pshufd	 $0xff, %xmm8, %xmm15

  3611. 	mulps	 %xmm15, %xmm2

  3612. #endif

  3613. 

  3614. #ifdef RT

  3615. 	movaps	-32 * SIZE(BO), %xmm8

  3616. 

  3617. 	pshufd	 $0xff, %xmm8, %xmm15

  3618. 	mulps	 %xmm15, %xmm2

  3619. 	pshufd	 $0xaa,  %xmm8, %xmm15

  3620. 	mulps	 %xmm2,  %xmm15

  3621. 	subps	 %xmm15, %xmm0

  3622. 	pshufd	 $0x00, %xmm8, %xmm15

  3623. 	mulps	 %xmm15, %xmm0

  3624. #endif

  3625. 

  3626. #ifdef LN

  3627. 	subq	$4 * SIZE, CO1

  3628. 	subq	$4 * SIZE, CO2

  3629. #endif

  3630. 

  3631. #if defined(LN) || defined(LT)

  3632. 	movlps	%xmm0, -32 * SIZE(BO)

  3633. 	movlps	%xmm1, -30 * SIZE(BO)

  3634. 	movlps	%xmm2, -28 * SIZE(BO)

  3635. 	movlps	%xmm3, -26 * SIZE(BO)

  3636. 

  3637. 	unpcklps %xmm1, %xmm0

  3638. 	unpcklps %xmm3, %xmm2

  3639. 

  3640. 	movlps	%xmm0,  0 * SIZE(CO1)

  3641. 	movlps	%xmm2,  2 * SIZE(CO1)

  3642. 	movhps	%xmm0,  0 * SIZE(CO2)

  3643. 	movhps	%xmm2,  2 * SIZE(CO2)

  3644. 

  3645. #else

  3646. 	movaps	%xmm0, -32 * SIZE(AO)

  3647. 	movaps	%xmm2, -28 * SIZE(AO)

  3648. 

  3649. 	movlps	%xmm0,  0 * SIZE(CO1)

  3650. 	movhps	%xmm0,  2 * SIZE(CO1)

  3651. 	movlps	%xmm2,  0 * SIZE(CO2)

  3652. 	movhps	%xmm2,  2 * SIZE(CO2)

  3653. #endif

  3654. 

  3655. #ifndef LN

  3656. 	addq	$4 * SIZE, CO1

  3657. 	addq	$4 * SIZE, CO2

  3658. #endif

  3659. 

  3660. #if defined(LT) || defined(RN)

  3661. 	movq	K,  %rax

  3662. 	subq	KK, %rax

  3663. 	leaq	(,%rax, SIZE), %rax

  3664. 	leaq	(AO, %rax, 4), AO

  3665. 	leaq	(BO, %rax, 2), BO

  3666. #endif

  3667. 

  3668. #ifdef LN

  3669. 	subq	$4, KK

  3670. #endif

  3671. 

  3672. #ifdef LT

  3673. 	addq	$4, KK

  3674. #endif

  3675. 

  3676. #ifdef RT

  3677.        movq	K, %rax

  3678.        salq	$2 + BASE_SHIFT, %rax

  3679.        addq	%rax, AORIG

  3680. #endif

  3681. 

  3682. 	decq	I

  3683. 	BRANCH

  3684. 	jg	.L71

  3685. 	ALIGN_4

  3686. 

  3687. .L80:

  3688. 	testq	$2, M

  3689. 	BRANCH

  3690. 	jle	.L90

  3691. 

  3692. #ifdef LN

  3693.        movq	K, %rax

  3694.        salq	$1 + BASE_SHIFT, %rax

  3695.        subq	%rax, AORIG

  3696. #endif

  3697. 

  3698. #if defined(LN) || defined(RT)

  3699. 	movq	KK, %rax

  3700. 	leaq	(, %rax, SIZE), %rax

  3701. 	movq	AORIG, AO

  3702. 	leaq	(AO, %rax, 2), AO

  3703. 	leaq	(B,  %rax, 2), BO

  3704. #else

  3705. 	movq	B, BO

  3706. #endif

  3707. 

  3708. 	xorps	%xmm1, %xmm1

  3709. 	movddup	-32 * SIZE(AO), %xmm0

  3710. 	xorps	%xmm2, %xmm2

  3711. 	movsd	-32 * SIZE(BO), %xmm5

  3712. 	xorps	%xmm8,  %xmm8

  3713. 	xorps	%xmm9,  %xmm9

  3714. 

  3715. #if defined(LT) || defined(RN)

  3716. 	movq	KK, %rax

  3717. #else

  3718. 	movq	K, %rax

  3719. 	subq	KK, %rax

  3720. #endif

  3721. 	sarq	$2, %rax

  3722. 	NOBRANCH

  3723. 	jle	.L85

  3724. 	ALIGN_3

  3725. 

  3726. .L82:

  3727. 	addps	%xmm1, %xmm8

  3728. 	movsd	-32 * SIZE(BO), %xmm1

  3729. 	unpcklps    %xmm1, %xmm1

  3730. 	mulps	%xmm0, %xmm1

  3731. 	movddup	-30 * SIZE(AO), %xmm0

  3732. 

  3733. 	addps	%xmm1, %xmm8

  3734. 	movsd	-30 * SIZE(BO), %xmm1

  3735. 	unpcklps    %xmm1, %xmm1

  3736. 	mulps	%xmm0, %xmm1

  3737. 	movddup	-28 * SIZE(AO), %xmm0

  3738. 

  3739. 	addps	%xmm1, %xmm8

  3740. 	movsd	-28 * SIZE(BO), %xmm1

  3741. 	unpcklps    %xmm1, %xmm1

  3742. 	mulps	%xmm0, %xmm1

  3743. 	movddup	-26 * SIZE(AO), %xmm0

  3744. 

  3745. 	addps	%xmm1, %xmm8

  3746. 	movsd	-26 * SIZE(BO), %xmm1

  3747. 	unpcklps    %xmm1, %xmm1

  3748. 	mulps	%xmm0, %xmm1

  3749. 	movddup	-24 * SIZE(AO), %xmm0

  3750. 

  3751. 	subq	$-8 * SIZE, BO

  3752. 	subq	$-8 * SIZE, AO

  3753. 

  3754. 	subq	$1, %rax

  3755. 	BRANCH

  3756. 	jg	.L82

  3757. 	ALIGN_3

  3758. 

  3759. .L85:

  3760. #if defined(LT) || defined(RN)

  3761. 	movq	KK, %rax

  3762. #else

  3763. 	movq	K, %rax

  3764. 	subq	KK, %rax

  3765. #endif

  3766. 	andq	$3, %rax		# if (k & 1)

  3767. 	BRANCH

  3768. 	je	.L88

  3769. 	ALIGN_3

  3770. 

  3771. .L86:

  3772. 	addps	%xmm1, %xmm8

  3773. 	movsd	-32 * SIZE(BO), %xmm1

  3774. 	unpcklps    %xmm1, %xmm1

  3775. 	mulps	%xmm0, %xmm1

  3776. 	movddup	-30 * SIZE(AO), %xmm0

  3777. 

  3778. 	addq	$2 * SIZE, AO

  3779. 	addq	$2 * SIZE, BO

  3780. 

  3781. 	subq	$1, %rax

  3782. 	BRANCH

  3783. 	jg	.L86

  3784. 	ALIGN_3

  3785. 

  3786. .L88:

  3787. #if defined(LN) || defined(RT)

  3788. 	movq	KK, %rax

  3789. #ifdef LN

  3790. 	subq	$2, %rax

  3791. #else

  3792. 	subq	$2, %rax

  3793. #endif

  3794. 

  3795. 	leaq	(, %rax, SIZE), %rax

  3796. 

  3797. 	movq	AORIG, AO

  3798. 	leaq	(AO, %rax, 2), AO

  3799. 	leaq	(B,  %rax, 2), BO

  3800. #endif

  3801. 

  3802. 	addps	%xmm1, %xmm8

  3803. 

  3804. #if defined(LN) || defined(LT)

  3805. 	pshufd	$0xd8, %xmm8, %xmm8

  3806. 

  3807. 	movaps	-32 * SIZE(BO), %xmm0

  3808. #else

  3809. 	movaps	-32 * SIZE(AO), %xmm0

  3810. #endif

  3811. 

  3812. 	subps	%xmm8, %xmm0

  3813. 

  3814. 	movhlps	%xmm0, %xmm1

  3815. 

  3816. #ifdef LN

  3817. 	movaps	-32 * SIZE(AO), %xmm8

  3818. 

  3819. 	pshufd	 $0xff, %xmm8, %xmm15

  3820. 	mulps	 %xmm15, %xmm1

  3821. 	pshufd	 $0xaa, %xmm8, %xmm15

  3822. 	mulps	 %xmm1,  %xmm15

  3823. 	subps	 %xmm15, %xmm0

  3824. 	pshufd	 $0x00, %xmm8, %xmm15

  3825. 	mulps	 %xmm15, %xmm0

  3826. #endif

  3827. 

  3828. #ifdef LT

  3829. 	movaps	-32 * SIZE(AO), %xmm8

  3830. 

  3831. 	pshufd	 $0x00, %xmm8, %xmm15

  3832. 	mulps	 %xmm15, %xmm0

  3833. 	pshufd	 $0x55, %xmm8, %xmm15

  3834. 	mulps	 %xmm0,  %xmm15

  3835. 	subps	 %xmm15, %xmm1

  3836. 	pshufd	 $0xff, %xmm8, %xmm15

  3837. 	mulps	 %xmm15, %xmm1

  3838. #endif

  3839. 

  3840. #ifdef RN

  3841. 	movaps	-32 * SIZE(BO), %xmm8

  3842. 

  3843. 	pshufd	 $0x00, %xmm8, %xmm15

  3844. 	mulps	 %xmm15, %xmm0

  3845. 	pshufd	 $0x55,  %xmm8, %xmm15

  3846. 	mulps	 %xmm0,  %xmm15

  3847. 	subps	 %xmm15, %xmm1

  3848. 	pshufd	 $0xff, %xmm8, %xmm15

  3849. 	mulps	 %xmm15, %xmm1

  3850. #endif

  3851. 

  3852. #ifdef RT

  3853. 	movaps	-32 * SIZE(BO), %xmm8

  3854. 

  3855. 	pshufd	 $0xff, %xmm8, %xmm15

  3856. 	mulps	 %xmm15, %xmm1

  3857. 	pshufd	 $0xaa,  %xmm8, %xmm15

  3858. 	mulps	 %xmm1,  %xmm15

  3859. 	subps	 %xmm15, %xmm0

  3860. 	pshufd	 $0x00, %xmm8, %xmm15

  3861. 	mulps	 %xmm15, %xmm0

  3862. #endif

  3863. 

  3864. #ifdef LN

  3865. 	subq	$2 * SIZE, CO1

  3866. 	subq	$2 * SIZE, CO2

  3867. #endif

  3868. 

  3869. #if defined(LN) || defined(LT)

  3870. 	movlps	%xmm0, -32 * SIZE(BO)

  3871. 	movlps	%xmm1, -30 * SIZE(BO)

  3872. 

  3873. 	unpcklps       %xmm1, %xmm0

  3874. 

  3875. 	movlps	%xmm0,  (CO1)

  3876. 	movhps	%xmm0,  (CO2)

  3877. #else

  3878. 	movlps	%xmm0, -32 * SIZE(AO)

  3879. 	movlps	%xmm1, -30 * SIZE(AO)

  3880. 

  3881. 	movsd	%xmm0,  (CO1)

  3882. 	movsd	%xmm1,  (CO2)

  3883. #endif

  3884. 

  3885. #ifndef LN

  3886. 	addq	$2 * SIZE, CO1

  3887. 	addq	$2 * SIZE, CO2

  3888. #endif

  3889. 

  3890. #if defined(LT) || defined(RN)

  3891. 	movq	K,  %rax

  3892. 	subq	KK, %rax

  3893. 	leaq	(,%rax, SIZE), %rax

  3894. 	leaq	(AO, %rax, 2), AO

  3895. 	leaq	(BO, %rax, 2), BO

  3896. #endif

  3897. 

  3898. #ifdef LN

  3899. 	subq	$2, KK

  3900. #endif

  3901. 

  3902. #ifdef LT

  3903. 	addq	$2, KK

  3904. #endif

  3905. 

  3906. #ifdef RT

  3907.        movq	K, %rax

  3908.        salq	$1 + BASE_SHIFT, %rax

  3909.        addq	%rax, AORIG

  3910. #endif

  3911. 	ALIGN_4

  3912. 

  3913. .L90:

  3914. 	testq	$1, M

  3915. 	BRANCH

  3916. 	jle	.L99

  3917. 

  3918. #ifdef LN

  3919.        movq	K, %rax

  3920.        salq	$BASE_SHIFT, %rax

  3921.        subq	%rax, AORIG

  3922. #endif

  3923. 

  3924. #if defined(LN) || defined(RT)

  3925. 	movq	KK, %rax

  3926. 	leaq	(, %rax, SIZE), %rax

  3927. 	movq	AORIG, AO

  3928. 	leaq	(AO, %rax, 1), AO

  3929. 	leaq	(B,  %rax, 2), BO

  3930. #else

  3931. 	movq	B, BO

  3932. #endif

  3933. 

  3934. 	xorps	%xmm2, %xmm2

  3935. 	movsd	-32 * SIZE(AO), %xmm0

  3936. 	xorps	%xmm8, %xmm8

  3937. 	xorps	%xmm9, %xmm9

  3938. 

  3939. #if defined(LT) || defined(RN)

  3940. 	movq	KK, %rax

  3941. #else

  3942. 	movq	K, %rax

  3943. 	subq	KK, %rax

  3944. #endif

  3945. 	sarq	$2, %rax

  3946. 	NOBRANCH

  3947. 	jle	.L95

  3948. 	ALIGN_3

  3949. 

  3950. .L92:

  3951. 	pshufd	$0x00, %xmm0, %xmm1

  3952. 	addps	%xmm2, %xmm8

  3953. 	movsd	-32 * SIZE(BO), %xmm2

  3954. 	mulps	%xmm1, %xmm2

  3955. 

  3956. 	pshufd	$0x55, %xmm0, %xmm1

  3957. 	movsd	-30 * SIZE(AO), %xmm0

  3958. 	addps	%xmm2, %xmm9

  3959. 	movsd	-30 * SIZE(BO), %xmm2

  3960. 	mulps	%xmm1, %xmm2

  3961. 

  3962. 	pshufd	$0x00, %xmm0, %xmm1

  3963. 	addps	%xmm2, %xmm8

  3964. 	movsd	-28 * SIZE(BO), %xmm2

  3965. 	mulps	%xmm1, %xmm2

  3966. 

  3967. 	pshufd	$0x55, %xmm0, %xmm1

  3968. 	movsd	-28 * SIZE(AO), %xmm0

  3969. 	addps	%xmm2, %xmm9

  3970. 	movsd	-26 * SIZE(BO), %xmm2

  3971. 	mulps	%xmm1, %xmm2

  3972. 

  3973. 	subq	$-4 * SIZE, AO

  3974. 	subq	$-8 * SIZE, BO

  3975. 

  3976. 	subq	$1, %rax

  3977. 	BRANCH

  3978. 	jg	.L92

  3979. 	addps	%xmm9, %xmm8

  3980. 	ALIGN_3

  3981. 

  3982. .L95:

  3983. #if defined(LT) || defined(RN)

  3984. 	movq	KK, %rax

  3985. #else

  3986. 	movq	K, %rax

  3987. 	subq	KK, %rax

  3988. #endif

  3989. 	andq	$3, %rax		# if (k & 1)

  3990. 	BRANCH

  3991. 	je	.L98

  3992. 	ALIGN_3

  3993. 

  3994. .L96:

  3995. 	pshufd	$0x00, %xmm0, %xmm1

  3996. 	movss	-31 * SIZE(AO), %xmm0

  3997. 	addps	%xmm2, %xmm8

  3998. 	movsd	-32 * SIZE(BO), %xmm2

  3999. 	mulps	%xmm1, %xmm2

  4000. 

  4001. 	addq	$1 * SIZE, AO

  4002. 	addq	$2 * SIZE, BO

  4003. 

  4004. 	subq	$1, %rax

  4005. 	BRANCH

  4006. 	jg	.L96

  4007. 	ALIGN_3

  4008. 

  4009. .L98:

  4010. #if defined(LN) || defined(RT)

  4011. 	movq	KK, %rax

  4012. #ifdef LN

  4013. 	subq	$1, %rax

  4014. #else

  4015. 	subq	$2, %rax

  4016. #endif

  4017. 

  4018. 	leaq	(, %rax, SIZE), %rax

  4019. 

  4020. 	movq	AORIG, AO

  4021. 	leaq	(AO, %rax, 1), AO

  4022. 	leaq	(B,  %rax, 2), BO

  4023. #endif

  4024. 

  4025. 	addps	%xmm2, %xmm8

  4026. 

  4027. #if defined(LN) || defined(LT)

  4028. 	movsd	-32 * SIZE(BO), %xmm0

  4029. 

  4030. 	subps	%xmm8,  %xmm0

  4031. #else

  4032. 	movsd	-32 * SIZE(AO), %xmm0

  4033. 

  4034. 	subps	%xmm8,  %xmm0

  4035. #endif

  4036. 

  4037. 	pshufd	$0x55, %xmm0, %xmm1

  4038. 	pshufd	$0x00, %xmm0, %xmm0

  4039. 

  4040. #if defined(LN) || defined(LT)

  4041. 	movss	-32 * SIZE(AO), %xmm8

  4042. 

  4043. 	mulss	 %xmm8, %xmm0

  4044. 	mulss	 %xmm8, %xmm1

  4045. #endif

  4046. 

  4047. #ifdef RN

  4048. 	movaps	-32 * SIZE(BO), %xmm8

  4049. 

  4050. 	pshufd	 $0x00, %xmm8, %xmm15

  4051. 	mulss	 %xmm15, %xmm0

  4052. 	pshufd	 $0x55,  %xmm8, %xmm15

  4053. 	mulss	 %xmm0,  %xmm15

  4054. 	subss	 %xmm15, %xmm1

  4055. 	pshufd	 $0xff, %xmm8, %xmm15

  4056. 	mulss	 %xmm15, %xmm1

  4057. #endif

  4058. 

  4059. #ifdef RT

  4060. 	movaps	-32 * SIZE(BO), %xmm8

  4061. 

  4062. 	pshufd	 $0xff, %xmm8, %xmm15

  4063. 	mulss	 %xmm15, %xmm1

  4064. 	pshufd	 $0xaa,  %xmm8, %xmm15

  4065. 	mulss	 %xmm1,  %xmm15

  4066. 	subss	 %xmm15, %xmm0

  4067. 	pshufd	 $0x00, %xmm8, %xmm15

  4068. 	mulss	 %xmm15, %xmm0

  4069. #endif

  4070. 

  4071. #ifdef LN

  4072. 	subq	$1 * SIZE, CO1

  4073. 	subq	$1 * SIZE, CO2

  4074. #endif

  4075. 

  4076. #if defined(LN) || defined(LT)

  4077. 	movss	%xmm0, -32 * SIZE(BO)

  4078. 	movss	%xmm1, -31 * SIZE(BO)

  4079. #else

  4080. 	movss	%xmm0, -32 * SIZE(AO)

  4081. 	movss	%xmm1, -31 * SIZE(AO)

  4082. #endif

  4083. 

  4084. 	movss	%xmm0,  (CO1)

  4085. 	movss	%xmm1,  (CO2)

  4086. 

  4087. #ifndef LN

  4088. 	addq	$1 * SIZE, CO1

  4089. 	addq	$1 * SIZE, CO2

  4090. #endif

  4091. 

  4092. #if defined(LT) || defined(RN)

  4093. 	movq	K,  %rax

  4094. 	subq	KK, %rax

  4095. 	leaq	(,%rax, SIZE), %rax

  4096. 	leaq	(AO, %rax, 1), AO

  4097. 	leaq	(BO, %rax, 2), BO

  4098. #endif

  4099. 

  4100. #ifdef LN

  4101. 	subq	$1, KK

  4102. #endif

  4103. 

  4104. #ifdef LT

  4105. 	addq	$1, KK

  4106. #endif

  4107. 

  4108. #ifdef RT

  4109.        movq	K, %rax

  4110.        salq	$BASE_SHIFT, %rax

  4111.        addq	%rax, AORIG

  4112. #endif

  4113. 	ALIGN_4

  4114. 

  4115. .L99:

  4116. #ifdef LN

  4117.        leaq	(, K, SIZE), %rax

  4118.        leaq	(B, %rax, 2), B

  4119. #endif

  4120. #if defined(LT) || defined(RN)

  4121. 	movq	BO, B

  4122. #endif

  4123. 

  4124. #ifdef RN

  4125. 	addq	$2, KK

  4126. #endif

  4127. 

  4128. #ifdef RT

  4129. 	subq	$2, KK

  4130. #endif

  4131. 	ALIGN_4

  4132. 

  4133. .L100:

  4134. 	testq	$1, N

  4135. 	jle	.L999

  4136. 

  4137. #if defined(LT) || defined(RN)

  4138. 	movq	A, AO

  4139. #else

  4140. 	movq	A, AORIG

  4141. #endif

  4142. 

  4143. #ifdef RT

  4144. 	movq	K, %rax

  4145. 	salq	$BASE_SHIFT, %rax

  4146. 	subq	%rax, B

  4147. 

  4148. 	subq	LDC, C

  4149. #endif

  4150. 

  4151. 	movq	C, CO1

  4152. #ifndef RT

  4153. 	addq	LDC, C

  4154. #endif

  4155. 

  4156. #ifdef LN

  4157. 	movq	OFFSET, %rax

  4158. 	addq	M, %rax

  4159. 	movq	%rax, KK

  4160. #endif

  4161. 

  4162. #ifdef LT

  4163. 	movq	OFFSET, %rax

  4164. 	movq	%rax, KK

  4165. #endif

  4166. 

  4167. 	movq	M,  I

  4168. 	sarq	$2, I

  4169. 	NOBRANCH

  4170. 	jle	.L110

  4171. 	ALIGN_4

  4172. 

  4173. .L101:

  4174. #ifdef LN

  4175.        movq	K, %rax

  4176.        salq	$2 + BASE_SHIFT, %rax

  4177.        subq	%rax, AORIG

  4178. #endif

  4179. 

  4180. #if defined(LN) || defined(RT)

  4181. 	movq	KK, %rax

  4182. 	leaq	(, %rax, SIZE), %rax

  4183. 	movq	AORIG, AO

  4184. 	leaq	(AO, %rax, 4), AO

  4185. 	leaq	(B,  %rax, 1), BO

  4186. #else

  4187. 	movq	B, BO

  4188. #endif

  4189. 

  4190. 	xorps	%xmm1, %xmm1

  4191. 	movaps	-32 * SIZE(AO), %xmm0

  4192. 	movsd	-32 * SIZE(BO), %xmm3

  4193. 	xorps	%xmm8,  %xmm8

  4194. 	prefetcht2     4 * SIZE(CO1)

  4195. 

  4196. #if defined(LT) || defined(RN)

  4197. 	movq	KK, %rax

  4198. #else

  4199. 	movq	K, %rax

  4200. 	subq	KK, %rax

  4201. #endif

  4202. 	sarq	$2, %rax

  4203. 	NOBRANCH

  4204. 	jle	.L105

  4205. 	ALIGN_3

  4206. 

  4207. .L102:

  4208. 	PREFETCH	(PREFETCHSIZE +  0) * SIZE(AO)

  4209. 

  4210. 	addps	%xmm1, %xmm8

  4211. 	pshufd	$0x00,  %xmm3, %xmm1

  4212. 	movss	-31 * SIZE(BO), %xmm3

  4213. 	mulps	%xmm0, %xmm1

  4214. 	movaps	-28 * SIZE(AO), %xmm0

  4215. 

  4216. 	addps	%xmm1, %xmm8

  4217. 	pshufd	$0x00,  %xmm3, %xmm1

  4218. 	movss	-30 * SIZE(BO), %xmm3

  4219. 	mulps	%xmm0, %xmm1

  4220. 	movaps	-24 * SIZE(AO), %xmm0

  4221. 

  4222. 	addps	%xmm1, %xmm8

  4223. 	pshufd	$0x00,  %xmm3, %xmm1

  4224. 	movss	-29 * SIZE(BO), %xmm3

  4225. 	mulps	%xmm0, %xmm1

  4226. 	movaps	-20 * SIZE(AO), %xmm0

  4227. 

  4228. 	addps	%xmm1, %xmm8

  4229. 	pshufd	$0x00,  %xmm3, %xmm1

  4230. 	movss	-28 * SIZE(BO), %xmm3

  4231. 	mulps	%xmm0, %xmm1

  4232. 	movaps	-16 * SIZE(AO), %xmm0

  4233. 

  4234. 	subq	$-16 * SIZE, AO

  4235. 	subq	$ -4 * SIZE, BO

  4236. 	subq	$1, %rax

  4237. 	BRANCH

  4238. 	jg	.L102

  4239. 	ALIGN_3

  4240. 

  4241. .L105:

  4242. #if defined(LT) || defined(RN)

  4243. 	movq	KK, %rax

  4244. #else

  4245. 	movq	K, %rax

  4246. 	subq	KK, %rax

  4247. #endif

  4248. 	andq	$3, %rax		# if (k & 1)

  4249. 	BRANCH

  4250. 	je	.L108

  4251. 	ALIGN_3

  4252. 

  4253. .L106:

  4254. 	addps	%xmm1, %xmm8

  4255. 	pshufd	$0x00,  %xmm3, %xmm1

  4256. 	movss	-31 * SIZE(BO), %xmm3

  4257. 	mulps	%xmm0, %xmm1

  4258. 	movaps	-28 * SIZE(AO), %xmm0

  4259. 

  4260. 	addq	$4 * SIZE, AO

  4261. 	addq	$1 * SIZE, BO

  4262. 

  4263. 	subq	$1, %rax

  4264. 	BRANCH

  4265. 	jg	.L106

  4266. 	ALIGN_3

  4267. 

  4268. .L108:

  4269. #if defined(LN) || defined(RT)

  4270. 	movq	KK, %rax

  4271. #ifdef LN

  4272. 	subq	$4, %rax

  4273. #else

  4274. 	subq	$1, %rax

  4275. #endif

  4276. 

  4277. 	leaq	(, %rax, SIZE), %rax

  4278. 

  4279. 	movq	AORIG, AO

  4280. 	leaq	(AO, %rax, 4), AO

  4281. 	leaq	(B,  %rax, 1), BO

  4282. #endif

  4283. 

  4284. 	addps	%xmm1, %xmm8

  4285. 

  4286. #if defined(LN) || defined(LT)

  4287. 	movsd	-32 * SIZE(BO), %xmm0

  4288. 	movhps	-30 * SIZE(BO), %xmm0

  4289. 

  4290. 	subps	%xmm8,  %xmm0

  4291. 

  4292. 	pshufd	$0xff, %xmm0, %xmm3

  4293. 	pshufd	$0xaa, %xmm0, %xmm2

  4294. 	pshufd	$0x55, %xmm0, %xmm1

  4295. #else

  4296. 	movaps	-32 * SIZE(AO), %xmm0

  4297. 

  4298. 	subps	%xmm8,  %xmm0

  4299. #endif

  4300. 

  4301. #ifdef LN

  4302. 	movaps	-20 * SIZE(AO), %xmm8

  4303. 

  4304. 	pshufd	 $0xff, %xmm8, %xmm15

  4305. 	mulss	 %xmm15, %xmm3

  4306. 	pshufd	 $0xaa, %xmm8, %xmm15

  4307. 	mulss	 %xmm3,  %xmm15

  4308. 	subss	 %xmm15, %xmm2

  4309. 	pshufd	 $0x55, %xmm8, %xmm15

  4310. 	mulss	 %xmm3,  %xmm15

  4311. 	subss	 %xmm15, %xmm1

  4312. 	pshufd	 $0x00, %xmm8, %xmm15

  4313. 	mulss	 %xmm3,  %xmm15

  4314. 	subss	 %xmm15, %xmm0

  4315. 

  4316. 	movaps	-24 * SIZE(AO), %xmm8

  4317. 

  4318. 	pshufd	 $0xaa, %xmm8, %xmm15

  4319. 	mulss	 %xmm15, %xmm2

  4320. 	pshufd	 $0x55, %xmm8, %xmm15

  4321. 	mulss	 %xmm2,  %xmm15

  4322. 	subss	 %xmm15, %xmm1

  4323. 	pshufd	 $0x00, %xmm8, %xmm15

  4324. 	mulss	 %xmm2,  %xmm15

  4325. 	subss	 %xmm15, %xmm0

  4326. 

  4327. 	movaps	-28 * SIZE(AO), %xmm8

  4328. 

  4329. 	pshufd	 $0x55, %xmm8, %xmm15

  4330. 	mulss	 %xmm15, %xmm1

  4331. 	pshufd	 $0x00, %xmm8, %xmm15

  4332. 	mulss	 %xmm1,  %xmm15

  4333. 	subss	 %xmm15, %xmm0

  4334. 

  4335. 	movaps	-32 * SIZE(AO), %xmm8

  4336. 

  4337. 	pshufd	 $0x00, %xmm8, %xmm15

  4338. 	mulss	 %xmm15, %xmm0

  4339. #endif

  4340. 

  4341. #ifdef LT

  4342. 	movaps	-32 * SIZE(AO), %xmm8

  4343. 

  4344. 	pshufd	 $0x00, %xmm8, %xmm15

  4345. 	mulss	 %xmm15, %xmm0

  4346. 	pshufd	 $0x55, %xmm8, %xmm15

  4347. 	mulss	 %xmm0,  %xmm15

  4348. 	subss	 %xmm15, %xmm1

  4349. 	pshufd	 $0xaa, %xmm8, %xmm15

  4350. 	mulss	 %xmm0,  %xmm15

  4351. 	subss	 %xmm15, %xmm2

  4352. 	pshufd	 $0xff, %xmm8, %xmm15

  4353. 	mulss	 %xmm0,  %xmm15

  4354. 	subss	 %xmm15, %xmm3

  4355. 

  4356. 	movaps	-28 * SIZE(AO), %xmm8

  4357. 

  4358. 	pshufd	 $0x55, %xmm8, %xmm15

  4359. 	mulss	 %xmm15, %xmm1

  4360. 	pshufd	 $0xaa, %xmm8, %xmm15

  4361. 	mulss	 %xmm1,  %xmm15

  4362. 	subss	 %xmm15, %xmm2

  4363. 	pshufd	 $0xff, %xmm8, %xmm15

  4364. 	mulss	 %xmm1,  %xmm15

  4365. 	subss	 %xmm15, %xmm3

  4366. 

  4367. 	movaps	-24 * SIZE(AO), %xmm8

  4368. 

  4369. 	pshufd	 $0xaa, %xmm8, %xmm15

  4370. 	mulss	 %xmm15, %xmm2

  4371. 	pshufd	 $0xff, %xmm8, %xmm15

  4372. 	mulss	 %xmm2,  %xmm15

  4373. 	subss	 %xmm15, %xmm3

  4374. 

  4375. 	movaps	-20 * SIZE(AO), %xmm8

  4376. 

  4377. 	pshufd	 $0xff, %xmm8, %xmm15

  4378. 	mulss	 %xmm15, %xmm3

  4379. #endif

  4380. 

  4381. #if defined(RN) || defined(RT)

  4382. 	movaps	-32 * SIZE(BO), %xmm8

  4383. 

  4384. 	pshufd	 $0x00, %xmm8, %xmm15

  4385. 	mulps	 %xmm15, %xmm0

  4386. #endif

  4387. 

  4388. #ifdef LN

  4389. 	subq	$4 * SIZE, CO1

  4390. #endif

  4391. 

  4392. #if defined(LN) || defined(LT)

  4393. 	unpcklps %xmm1, %xmm0

  4394. 	unpcklps %xmm3, %xmm2

  4395. 

  4396. 	movlps	%xmm0, -32 * SIZE(BO)

  4397. 	movlps	%xmm2, -30 * SIZE(BO)

  4398. 

  4399. 	movlps	%xmm0,  0 * SIZE(CO1)

  4400. 	movlps	%xmm2,  2 * SIZE(CO1)

  4401. #else

  4402. 	movaps	%xmm0, -32 * SIZE(AO)

  4403. 

  4404. 	movlps	%xmm0,  0 * SIZE(CO1)

  4405. 	movhps	%xmm0,  2 * SIZE(CO1)

  4406. #endif

  4407. 

  4408. #ifndef LN

  4409. 	addq	$4 * SIZE, CO1

  4410. #endif

  4411. 

  4412. #if defined(LT) || defined(RN)

  4413. 	movq	K,  %rax

  4414. 	subq	KK, %rax

  4415. 	leaq	(,%rax, SIZE), %rax

  4416. 	leaq	(AO, %rax, 4), AO

  4417. 	leaq	(BO, %rax, 1), BO

  4418. #endif

  4419. 

  4420. #ifdef LN

  4421. 	subq	$4, KK

  4422. #endif

  4423. 

  4424. #ifdef LT

  4425. 	addq	$4, KK

  4426. #endif

  4427. 

  4428. #ifdef RT

  4429.        movq	K, %rax

  4430.        salq	$2 + BASE_SHIFT, %rax

  4431.        addq	%rax, AORIG

  4432. #endif

  4433. 

  4434. 	decq	I

  4435. 	BRANCH

  4436. 	jg	.L101

  4437. 	ALIGN_4

  4438. 

  4439. .L110:

  4440. 	testq	$2, M

  4441. 	BRANCH

  4442. 	jle	.L120

  4443. 

  4444. #ifdef LN

  4445.        movq	K, %rax

  4446.        salq	$1 + BASE_SHIFT, %rax

  4447.        subq	%rax, AORIG

  4448. #endif

  4449. 

  4450. #if defined(LN) || defined(RT)

  4451. 	movq	KK, %rax

  4452. 	leaq	(, %rax, SIZE), %rax

  4453. 	movq	AORIG, AO

  4454. 	leaq	(AO, %rax, 2), AO

  4455. 	leaq	(B,  %rax, 1), BO

  4456. #else

  4457. 	movq	B, BO

  4458. #endif

  4459. 

  4460. 	xorps	%xmm1, %xmm1

  4461. 	movddup	-32 * SIZE(AO), %xmm0

  4462. 	xorps	%xmm8,  %xmm8

  4463. 

  4464. #if defined(LT) || defined(RN)

  4465. 	movq	KK, %rax

  4466. #else

  4467. 	movq	K, %rax

  4468. 	subq	KK, %rax

  4469. #endif

  4470. 	sarq	$2, %rax

  4471. 	NOBRANCH

  4472. 	jle	.L115

  4473. 	ALIGN_3

  4474. 

  4475. .L112:

  4476. 	addps	%xmm1, %xmm8

  4477. 	movss	-32 * SIZE(BO), %xmm1

  4478. 	unpcklps %xmm1, %xmm1

  4479. 	mulps	%xmm0, %xmm1

  4480. 	movsd	-30 * SIZE(AO), %xmm0

  4481. 

  4482. 	addps	%xmm1, %xmm8

  4483. 	movss	-31 * SIZE(BO), %xmm1

  4484. 	unpcklps %xmm1, %xmm1

  4485. 	mulps	%xmm0, %xmm1

  4486. 	movsd	-28 * SIZE(AO), %xmm0

  4487. 

  4488. 	addps	%xmm1, %xmm8

  4489. 	movss	-30 * SIZE(BO), %xmm1

  4490. 	unpcklps %xmm1, %xmm1

  4491. 	mulps	%xmm0, %xmm1

  4492. 	movsd	-26 * SIZE(AO), %xmm0

  4493. 

  4494. 	addps	%xmm1, %xmm8

  4495. 	movss	-29 * SIZE(BO), %xmm1

  4496. 	unpcklps %xmm1, %xmm1

  4497. 	mulps	%xmm0, %xmm1

  4498. 	movsd	-24 * SIZE(AO), %xmm0

  4499. 

  4500. 	subq	$-4 * SIZE, BO

  4501. 	subq	$-8 * SIZE, AO

  4502. 

  4503. 	subq	$1, %rax

  4504. 	BRANCH

  4505. 	jg	.L112

  4506. 	ALIGN_3

  4507. 

  4508. .L115:

  4509. #if defined(LT) || defined(RN)

  4510. 	movq	KK, %rax

  4511. #else

  4512. 	movq	K, %rax

  4513. 	subq	KK, %rax

  4514. #endif

  4515. 	andq	$3, %rax		# if (k & 1)

  4516. 	BRANCH

  4517. 	je	.L118

  4518. 	ALIGN_3

  4519. 

  4520. .L116:

  4521. 	addps	%xmm1, %xmm8

  4522. 	movss	-32 * SIZE(BO), %xmm1

  4523. 	unpcklps %xmm1, %xmm1

  4524. 	mulps	%xmm0, %xmm1

  4525. 	movsd	-30 * SIZE(AO), %xmm0

  4526. 

  4527. 	addq	$2 * SIZE, AO

  4528. 	addq	$1 * SIZE, BO

  4529. 

  4530. 	subq	$1, %rax

  4531. 	BRANCH

  4532. 	jg	.L116

  4533. 	ALIGN_3

  4534. 

  4535. .L118:

  4536. #if defined(LN) || defined(RT)

  4537. 	movq	KK, %rax

  4538. #ifdef LN

  4539. 	subq	$2, %rax

  4540. #else

  4541. 	subq	$1, %rax

  4542. #endif

  4543. 

  4544. 	leaq	(, %rax, SIZE), %rax

  4545. 

  4546. 	movq	AORIG, AO

  4547. 	leaq	(AO, %rax, 2), AO

  4548. 	leaq	(B,  %rax, 1), BO

  4549. #endif

  4550. 

  4551. 	addps	%xmm1, %xmm8

  4552. 

  4553. #if defined(LN) || defined(LT)

  4554. 	movsd	-32 * SIZE(BO), %xmm0

  4555. 

  4556. 	subps	%xmm8,  %xmm0

  4557. 

  4558. 	pshufd	$0x55, %xmm0, %xmm1

  4559. #else

  4560. 	movsd	-32 * SIZE(AO), %xmm0

  4561. 

  4562. 	subps	%xmm8,  %xmm0

  4563. #endif

  4564. 

  4565. #ifdef LN

  4566. 	movaps	-32 * SIZE(AO), %xmm8

  4567. 

  4568. 	pshufd	 $0xff, %xmm8, %xmm15

  4569. 	mulss	 %xmm15, %xmm1

  4570. 	pshufd	 $0xaa, %xmm8, %xmm15

  4571. 	mulss	 %xmm1,  %xmm15

  4572. 	subss	 %xmm15, %xmm0

  4573. 	pshufd	 $0x00, %xmm8, %xmm15

  4574. 	mulss	 %xmm15, %xmm0

  4575. #endif

  4576. 

  4577. #ifdef LT

  4578. 	movaps	-32 * SIZE(AO), %xmm8

  4579. 

  4580. 	pshufd	 $0x00, %xmm8, %xmm15

  4581. 	mulss	 %xmm15, %xmm0

  4582. 	pshufd	 $0x55, %xmm8, %xmm15

  4583. 	mulss	 %xmm0,  %xmm15

  4584. 	subss	 %xmm15, %xmm1

  4585. 	pshufd	 $0xff, %xmm8, %xmm15

  4586. 	mulss	 %xmm15, %xmm1

  4587. #endif

  4588. 

  4589. #if defined(RN) || defined(RT)

  4590. 	movaps	-32 * SIZE(BO), %xmm8

  4591. 

  4592. 	pshufd	 $0x00, %xmm8, %xmm15

  4593. 	mulps	 %xmm15, %xmm0

  4594. #endif

  4595. 

  4596. #ifdef LN

  4597. 	subq	$2 * SIZE, CO1

  4598. #endif

  4599. 

  4600. #if defined(LN) || defined(LT)

  4601. 	unpcklps %xmm1, %xmm0

  4602. 

  4603. 	movlps	%xmm0, -32 * SIZE(BO)

  4604. 

  4605. 	movlps	%xmm0,  0 * SIZE(CO1)

  4606. #else

  4607. 	movlps	%xmm0, -32 * SIZE(AO)

  4608. 

  4609. 	movlps	%xmm0,  0 * SIZE(CO1)

  4610. #endif

  4611. 

  4612. #ifndef LN

  4613. 	addq	$2 * SIZE, CO1

  4614. #endif

  4615. 

  4616. #if defined(LT) || defined(RN)

  4617. 	movq	K,  %rax

  4618. 	subq	KK, %rax

  4619. 	leaq	(,%rax, SIZE), %rax

  4620. 	leaq	(AO, %rax, 2), AO

  4621. 	leaq	(BO, %rax, 1), BO

  4622. #endif

  4623. 

  4624. #ifdef LN

  4625. 	subq	$2, KK

  4626. #endif

  4627. 

  4628. #ifdef LT

  4629. 	addq	$2, KK

  4630. #endif

  4631. 

  4632. #ifdef RT

  4633.        movq	K, %rax

  4634.        salq	$1 + BASE_SHIFT, %rax

  4635.        addq	%rax, AORIG

  4636. #endif

  4637. 	ALIGN_4

  4638. 

  4639. .L120:

  4640. 	testq	$1, M

  4641. 	BRANCH

  4642. 	jle	.L129

  4643. 

  4644. #ifdef LN

  4645.        movq	K, %rax

  4646.        salq	$BASE_SHIFT, %rax

  4647.        subq	%rax, AORIG

  4648. #endif

  4649. 

  4650. #if defined(LN) || defined(RT)

  4651. 	movq	KK, %rax

  4652. 	leaq	(, %rax, SIZE), %rax

  4653. 	movq	AORIG, AO

  4654. 	leaq	(AO, %rax, 1), AO

  4655. 	leaq	(B,  %rax, 1), BO

  4656. #else

  4657. 	movq	B, BO

  4658. #endif

  4659. 

  4660. 	xorps	%xmm2, %xmm2

  4661. 	movss	-32 * SIZE(AO), %xmm0

  4662. 	xorps	%xmm8, %xmm8

  4663. 

  4664. #if defined(LT) || defined(RN)

  4665. 	movq	KK, %rax

  4666. #else

  4667. 	movq	K, %rax

  4668. 	subq	KK, %rax

  4669. #endif

  4670. 	sarq	$2, %rax

  4671. 	NOBRANCH

  4672. 	jle	.L125

  4673. 	ALIGN_3

  4674. 

  4675. .L122:

  4676. 	addss	%xmm2, %xmm8

  4677. 	movss	-32 * SIZE(BO), %xmm2

  4678. 	mulss	%xmm0, %xmm2

  4679. 	movss	-31 * SIZE(AO), %xmm0

  4680. 

  4681. 	addss	%xmm2, %xmm8

  4682. 	movss	-31 * SIZE(BO), %xmm2

  4683. 	mulss	%xmm0, %xmm2

  4684. 	movss	-30 * SIZE(AO), %xmm0

  4685. 

  4686. 	addss	%xmm2, %xmm8

  4687. 	movss	-30 * SIZE(BO), %xmm2

  4688. 	mulss	%xmm0, %xmm2

  4689. 	movss	-29 * SIZE(AO), %xmm0

  4690. 

  4691. 	addss	%xmm2, %xmm8

  4692. 	movss	-29 * SIZE(BO), %xmm2

  4693. 	mulss	%xmm0, %xmm2

  4694. 	movss	-28 * SIZE(AO), %xmm0

  4695. 

  4696. 	subq	$-4 * SIZE, AO

  4697. 	subq	$-4 * SIZE, BO

  4698. 

  4699. 	subq	$1, %rax

  4700. 	BRANCH

  4701. 	jg	.L122

  4702. 	ALIGN_3

  4703. 

  4704. .L125:

  4705. #if defined(LT) || defined(RN)

  4706. 	movq	KK, %rax

  4707. #else

  4708. 	movq	K, %rax

  4709. 	subq	KK, %rax

  4710. #endif

  4711. 	andq	$3, %rax		# if (k & 1)

  4712. 	BRANCH

  4713. 	je	.L128

  4714. 	ALIGN_3

  4715. 

  4716. .L126:

  4717. 	addss	%xmm2, %xmm8

  4718. 	movss	-32 * SIZE(BO), %xmm2

  4719. 	mulss	%xmm0, %xmm2

  4720. 	movss	-31 * SIZE(AO), %xmm0

  4721. 

  4722. 	addq	$1 * SIZE, AO

  4723. 	addq	$1 * SIZE, BO

  4724. 

  4725. 	subq	$1, %rax

  4726. 	BRANCH

  4727. 	jg	.L126

  4728. 	ALIGN_3

  4729. 

  4730. .L128:

  4731. #if defined(LN) || defined(RT)

  4732. 	movq	KK, %rax

  4733. 	subq	$1, %rax

  4734. 

  4735. 	leaq	(, %rax, SIZE), %rax

  4736. 

  4737. 	movq	AORIG, AO

  4738. 	leaq	(AO, %rax, 1), AO

  4739. 	leaq	(B,  %rax, 1), BO

  4740. #endif

  4741. 

  4742. 	addss	%xmm2, %xmm8

  4743. 

  4744. #if defined(LN) || defined(LT)

  4745. 	movss	-32 * SIZE(BO), %xmm0

  4746. 

  4747. 	subss	%xmm8,  %xmm0

  4748. #else

  4749. 	movss	-32 * SIZE(AO), %xmm0

  4750. 

  4751. 	subss	%xmm8,  %xmm0

  4752. #endif

  4753. 

  4754. #if defined(LN) || defined(LT)

  4755. 	movss	-32 * SIZE(AO), %xmm8

  4756. #endif

  4757. 

  4758. #if defined(RN) || defined(RT)

  4759. 	movaps	-32 * SIZE(BO), %xmm8

  4760. #endif

  4761. 

  4762. 	mulss	 %xmm8, %xmm0

  4763. 

  4764. #ifdef LN

  4765. 	subq	$1 * SIZE, CO1

  4766. #endif

  4767. 

  4768. #if defined(LN) || defined(LT)

  4769. 	movss	%xmm0, -32 * SIZE(BO)

  4770. #else

  4771. 	movss	%xmm0, -32 * SIZE(AO)

  4772. #endif

  4773. 

  4774. 	movss	%xmm0,  (CO1)

  4775. 

  4776. #ifndef LN

  4777. 	addq	$1 * SIZE, CO1

  4778. #endif

  4779. 

  4780. #if defined(LT) || defined(RN)

  4781. 	movq	K,  %rax

  4782. 	subq	KK, %rax

  4783. 	leaq	(,%rax, SIZE), %rax

  4784. 	leaq	(AO, %rax, 1), AO

  4785. 	leaq	(BO, %rax, 1), BO

  4786. #endif

  4787. 

  4788. #ifdef LN

  4789. 	subq	$1, KK

  4790. #endif

  4791. 

  4792. #ifdef LT

  4793. 	addq	$1, KK

  4794. #endif

  4795. 

  4796. #ifdef RT

  4797.        movq	K, %rax

  4798.        salq	$BASE_SHIFT, %rax

  4799.        addq	%rax, AORIG

  4800. #endif

  4801. 	ALIGN_4

  4802. 

  4803. .L129:

  4804. #ifdef LN

  4805.        leaq	(, K, SIZE), %rax

  4806.        leaq	(B, %rax, 1), B

  4807. #endif

  4808. #if defined(LT) || defined(RN)

  4809. 	movq	BO, B

  4810. #endif

  4811. 

  4812. #ifdef RN

  4813. 	addq	$1, KK

  4814. #endif

  4815. 

  4816. #ifdef RT

  4817. 	subq	$1, KK

  4818. #endif

  4819. 	ALIGN_4

  4820. 

  4821. .L999:

  4822. 	movq	  0(%rsp), %rbx

  4823. 	movq	  8(%rsp), %rbp

  4824. 	movq	 16(%rsp), %r12

  4825. 	movq	 24(%rsp), %r13

  4826. 	movq	 32(%rsp), %r14

  4827. 	movq	 40(%rsp), %r15

  4828. 

  4829. #ifdef WINDOWS_ABI

  4830. 	movq	 48(%rsp), %rdi

  4831. 	movq	 56(%rsp), %rsi

  4832. 	movups	 64(%rsp), %xmm6

  4833. 	movups	 80(%rsp), %xmm7

  4834. 	movups	 96(%rsp), %xmm8

  4835. 	movups	112(%rsp), %xmm9

  4836. 	movups	128(%rsp), %xmm10

  4837. 	movups	144(%rsp), %xmm11

  4838. 	movups	160(%rsp), %xmm12

  4839. 	movups	176(%rsp), %xmm13

  4840. 	movups	192(%rsp), %xmm14

  4841. 	movups	208(%rsp), %xmm15

  4842. #endif

  4843. 

  4844. 	addq	$STACKSIZE, %rsp

  4845. 	ret

  4846. 

  4847. 	EPILOGUE