OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: cd8ac192a9
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from 'cd8ac192a9'
${ noResults }
OpenBLAS/kernel/x86_64/sgemv_n.S

6059 lines
117 kB
Raw Blame History 

  1. /*********************************************************************/

  2. /* Copyright 2009, 2010 The University of Texas at Austin.           */

  3. /* All rights reserved.                                              */

  4. /*                                                                   */

  5. /* Redistribution and use in source and binary forms, with or        */

  6. /* without modification, are permitted provided that the following   */

  7. /* conditions are met:                                               */

  8. /*                                                                   */

  9. /*   1. Redistributions of source code must retain the above         */

  10. /*      copyright notice, this list of conditions and the following  */

  11. /*      disclaimer.                                                  */

  12. /*                                                                   */

  13. /*   2. Redistributions in binary form must reproduce the above      */

  14. /*      copyright notice, this list of conditions and the following  */

  15. /*      disclaimer in the documentation and/or other materials       */

  16. /*      provided with the distribution.                              */

  17. /*                                                                   */

  18. /*    THIS  SOFTWARE IS PROVIDED  BY THE  UNIVERSITY OF  TEXAS AT    */

  19. /*    AUSTIN  ``AS IS''  AND ANY  EXPRESS OR  IMPLIED WARRANTIES,    */

  20. /*    INCLUDING, BUT  NOT LIMITED  TO, THE IMPLIED  WARRANTIES OF    */

  21. /*    MERCHANTABILITY  AND FITNESS FOR  A PARTICULAR  PURPOSE ARE    */

  22. /*    DISCLAIMED.  IN  NO EVENT SHALL THE UNIVERSITY  OF TEXAS AT    */

  23. /*    AUSTIN OR CONTRIBUTORS BE  LIABLE FOR ANY DIRECT, INDIRECT,    */

  24. /*    INCIDENTAL,  SPECIAL, EXEMPLARY,  OR  CONSEQUENTIAL DAMAGES    */

  25. /*    (INCLUDING, BUT  NOT LIMITED TO,  PROCUREMENT OF SUBSTITUTE    */

  26. /*    GOODS  OR  SERVICES; LOSS  OF  USE,  DATA,  OR PROFITS;  OR    */

  27. /*    BUSINESS INTERRUPTION) HOWEVER CAUSED  AND ON ANY THEORY OF    */

  28. /*    LIABILITY, WHETHER  IN CONTRACT, STRICT  LIABILITY, OR TORT    */

  29. /*    (INCLUDING NEGLIGENCE OR OTHERWISE)  ARISING IN ANY WAY OUT    */

  30. /*    OF  THE  USE OF  THIS  SOFTWARE,  EVEN  IF ADVISED  OF  THE    */

  31. /*    POSSIBILITY OF SUCH DAMAGE.                                    */

  32. /*                                                                   */

  33. /* The views and conclusions contained in the software and           */

  34. /* documentation are those of the authors and should not be          */

  35. /* interpreted as representing official policies, either expressed   */

  36. /* or implied, of The University of Texas at Austin.                 */

  37. /*********************************************************************/

  38. 

  39. #define ASSEMBLER

  40. #include "common.h"

  41. #include "l2param.h"

  42. 

  43. #if GEMV_UNROLL < 4

  44. #undef  GEMV_UNROLL

  45. #define GEMV_UNROLL 4

  46. #endif

  47. 

  48. #ifndef WINDOWS_ABI

  49. 

  50. #define STACKSIZE	128

  51. 

  52. #define OLD_M	  %rdi

  53. #define OLD_N	  %rsi

  54. #define OLD_A	  %rcx

  55. #define OLD_LDA	  %r8

  56. #define STACK_INCX	 8 + STACKSIZE(%rsp)

  57. #define STACK_Y		16 + STACKSIZE(%rsp)

  58. #define STACK_INCY	24 + STACKSIZE(%rsp)

  59. #define STACK_BUFFER	32 + STACKSIZE(%rsp)

  60. #define ALPHA	48	      (%rsp)

  61. #define MMM	56(%rsp)

  62. #define NN	64(%rsp)

  63. #define AA	72(%rsp)

  64. #define LDAX	80(%rsp)

  65. #define XX	96(%rsp)

  66. #else

  67. 

  68. #define STACKSIZE	288

  69. 

  70. #define OLD_M	  %rcx

  71. #define OLD_N	  %rdx

  72. #define OLD_A		 40 + STACKSIZE(%rsp)

  73. #define OLD_LDA		 48 + STACKSIZE(%rsp)

  74. #define OLD_X		 56 + STACKSIZE(%rsp)

  75. #define STACK_INCX	 64 + STACKSIZE(%rsp)

  76. #define STACK_Y		 72 + STACKSIZE(%rsp)

  77. #define STACK_INCY	 80 + STACKSIZE(%rsp)

  78. #define STACK_BUFFER	 88 + STACKSIZE(%rsp)

  79. #define ALPHA	224	       (%rsp)

  80. 

  81. #define MMM	232(%rsp)

  82. #define NN	240(%rsp)

  83. #define AA	248(%rsp)

  84. #define LDAX 256(%rsp)

  85. #define XX	264(%rsp)

  86. 

  87. #endif

  88. 

  89. #define LDA	%r8

  90. #define X	%r9

  91. 

  92. #define INCX	%rsi

  93. #define INCY	%rdi

  94. 

  95. #define M	%r10

  96. #define N	%r11

  97. #define A	%r12

  98. #define Y	%r14

  99. #define BUFFER	%r13

  100. 

  101. #define I	%rax

  102. #define A1	%rbx

  103. #define A2	%rcx

  104. #define LDA3	%rdx

  105. #define Y1	%rbp

  106. 

  107. #ifdef ALIGNED_ACCESS

  108. #define MM	%r15

  109. #else

  110. #define MM	M

  111. #endif

  112. 

  113. 	PROLOGUE

  114. 	PROFCODE

  115. 

  116. 	subq	$STACKSIZE, %rsp

  117. 	movq	%rbx,  0(%rsp)

  118. 	movq	%rbp,  8(%rsp)

  119. 	movq	%r12, 16(%rsp)

  120. 	movq	%r13, 24(%rsp)

  121. 	movq	%r14, 32(%rsp)

  122. 	movq	%r15, 40(%rsp)

  123. 

  124. #ifdef WINDOWS_ABI

  125. 	movq	%rdi,    48(%rsp)

  126. 	movq	%rsi,    56(%rsp)

  127. 	movups	%xmm6,   64(%rsp)

  128. 	movups	%xmm7,   80(%rsp)

  129. 	movups	%xmm8,   96(%rsp)

  130. 	movups	%xmm9,  112(%rsp)

  131. 	movups	%xmm10, 128(%rsp)

  132. 	movups	%xmm11, 144(%rsp)

  133. 	movups	%xmm12, 160(%rsp)

  134. 	movups	%xmm13, 176(%rsp)

  135. 	movups	%xmm14, 192(%rsp)

  136. 	movups	%xmm15, 208(%rsp)

  137. 

  138. 	movq	OLD_M,	      M

  139. 	movq	OLD_N,        N

  140. 	movq	OLD_A,        A

  141. 	movq	OLD_LDA,      LDA

  142. 	movq	OLD_X,        X

  143. #else

  144. 	movq	OLD_M,	      M

  145. 	movq	OLD_N,        N

  146. 	movq	OLD_A,        A

  147. 	movq	OLD_LDA,      LDA

  148. #endif

  149. 

  150. #ifndef WINDOWS_ABI

  151. 	movss	 %xmm0, ALPHA

  152. #else

  153. 	movss	 %xmm3, ALPHA

  154. #endif

  155. 

  156. 

  157. 	movq	M,MMM

  158. 	movq	A,AA

  159. 	movq	N,NN

  160. 	movq	LDA,LDAX

  161. 	movq	X,XX

  162. 	movq	STACK_Y,      Y

  163. .L0t:

  164. 	xorq	I,I

  165. 	addq	$1,I

  166. 	salq	$22,I

  167. 	subq	I,MMM

  168. 	movq	I,M

  169. 	jge	.L00t

  170. 

  171. 	movq	MMM,M

  172. 	addq	I,M

  173. 	jle	.L999x

  174. 

  175. .L00t:

  176. 	movq	AA,A

  177. 	movq	NN,N

  178. 	movq	LDAX,LDA

  179. 	movq	XX,X

  180. 

  181. 	movq	STACK_INCX,   INCX

  182. 	movq	STACK_INCY,   INCY

  183. 	movq	STACK_BUFFER, BUFFER

  184. 

  185. 	leaq	(,INCX, SIZE), INCX

  186. 	leaq	(,INCY, SIZE), INCY

  187. 	leaq	(,LDA,  SIZE), LDA

  188. 

  189. 	leaq	(LDA, LDA, 2), LDA3

  190. 

  191. #ifdef ALIGNED_ACCESS

  192. 	movq	M, MM

  193. 	testq	$4 * SIZE - 1, A

  194. 	je	.L0X

  195. 	cmpq	$3, M

  196. 	jle	.L0X

  197. 

  198. 	movq	A, MM

  199. 	sarq	$BASE_SHIFT, MM

  200. 	andq	$3, MM

  201. 	subq	$4, MM

  202. 	addq	M,  MM

  203. 

  204. .L0X:

  205. #endif

  206. 

  207. 	testq	N, N		# if n <= 0 goto END

  208. 	jle	.L999

  209. 	testq	M, M		# if n <= 0 goto END

  210. 	jle	.L999

  211. 

  212. 	subq	$-32 * SIZE, A

  213. 

  214. 	movq	BUFFER, Y1

  215. 

  216. 	pxor	%xmm0, %xmm0

  217. 

  218. 	movq	M,   %rax

  219. #ifdef ALIGNED_ACCESS

  220. 	addq	$19, %rax

  221. #else

  222. 	addq	$16, %rax

  223. #endif

  224. 	sarq	$4,  %rax

  225. 	ALIGN_3

  226. 

  227. .L01:

  228. 	movaps	%xmm0,  0 * SIZE(Y1)

  229. 	movaps	%xmm0,  4 * SIZE(Y1)

  230. 	movaps	%xmm0,  8 * SIZE(Y1)

  231. 	movaps	%xmm0, 12 * SIZE(Y1)

  232. 	addq	$16 * SIZE, Y1

  233. 	decq	%rax

  234. 	jg	.L01

  235. 	ALIGN_3

  236. 

  237. .L10:

  238. #ifdef ALIGNED_ACCESS

  239. 	movq	A,  %rax

  240. 	andq	$4 * SIZE - 1, %rax

  241. 	addq	%rax, BUFFER

  242. 

  243. 	testq	$4 * SIZE - 1, LDA

  244. 	jne	.L100

  245. #endif

  246. 

  247. #if GEMV_UNROLL >= 8

  248. 

  249. 	cmpq	$8, N

  250. 	jl	.L20

  251. 	ALIGN_3

  252. 

  253. .L11:

  254. 	subq	$8, N

  255. 

  256. 	leaq	32 * SIZE(BUFFER), Y1

  257. 	movq	A,  A1

  258. 	leaq	(A,  LDA, 4), A2

  259. 	leaq	(A,  LDA, 8), A

  260. 

  261. 	movss	(X), %xmm8

  262. 	addq	INCX, X

  263. 	movss	(X), %xmm9

  264. 	addq	INCX, X

  265. 	movss	(X), %xmm10

  266. 	addq	INCX, X

  267. 	movss	(X), %xmm11

  268. 	addq	INCX, X

  269. 	movss	(X), %xmm12

  270. 	addq	INCX, X

  271. 	movss	(X), %xmm13

  272. 	addq	INCX, X

  273. 	movss	(X), %xmm14

  274. 	addq	INCX, X

  275. 	movss	(X), %xmm15

  276. 	addq	INCX, X

  277. 

  278. 	movss	ALPHA, %xmm0

  279. 

  280. 	mulss	%xmm0, %xmm8

  281. 	shufps	$0, %xmm8,  %xmm8

  282. 	mulss	%xmm0, %xmm9

  283. 	shufps	$0, %xmm9,  %xmm9

  284. 	mulss	%xmm0, %xmm10

  285. 	shufps	$0, %xmm10, %xmm10

  286. 	mulss	%xmm0, %xmm11

  287. 	shufps	$0, %xmm11, %xmm11

  288. 

  289. 	mulss	%xmm0, %xmm12

  290. 	shufps	$0, %xmm12, %xmm12

  291. 	mulss	%xmm0, %xmm13

  292. 	shufps	$0, %xmm13, %xmm13

  293. 	mulss	%xmm0, %xmm14

  294. 	shufps	$0, %xmm14, %xmm14

  295. 	mulss	%xmm0, %xmm15

  296. 	shufps	$0, %xmm15, %xmm15

  297. 

  298. #ifdef ALIGNED_ACCESS

  299. 	cmpq	$3, M

  300. 	jle	.L17

  301. 

  302. 	testq	$SIZE, A1

  303. 	je	.L1X

  304. 

  305. 	movss	 -32 * SIZE(A1), %xmm4

  306. 	movss	 -32 * SIZE(A1, LDA,  1), %xmm5

  307. 	movss	 -32 * SIZE(A1, LDA,  2), %xmm6

  308. 	movss	 -32 * SIZE(A1, LDA3, 1), %xmm7

  309. 

  310. 	movss	 -32 * SIZE(Y1), %xmm0

  311. 

  312. 	mulss	 %xmm8,  %xmm4

  313. 	addss	 %xmm4,  %xmm0

  314. 	movss	 -32 * SIZE(A2), %xmm4

  315. 	mulss	 %xmm9,  %xmm5

  316. 	addss	 %xmm5,  %xmm0

  317. 	movss	 -32 * SIZE(A2, LDA,  1), %xmm5

  318. 	mulss	 %xmm10, %xmm6

  319. 	addss	 %xmm6,  %xmm0

  320. 	movss	 -32 * SIZE(A2, LDA,  2), %xmm6

  321. 	mulss	 %xmm11, %xmm7

  322. 	addss	 %xmm7,  %xmm0

  323. 	movss	 -32 * SIZE(A2, LDA3, 1), %xmm7

  324. 

  325. 	mulss	 %xmm12, %xmm4

  326. 	addss	 %xmm4,  %xmm0

  327. 	mulss	 %xmm13, %xmm5

  328. 	addss	 %xmm5,  %xmm0

  329. 	mulss	 %xmm14, %xmm6

  330. 	addss	 %xmm6,  %xmm0

  331. 	mulss	 %xmm15, %xmm7

  332. 	addss	 %xmm7,  %xmm0

  333. 

  334. 	movss	 %xmm0, -32 * SIZE(Y1)

  335. 

  336. 	addq	 $1 * SIZE, A1

  337. 	addq	 $1 * SIZE, A2

  338. 	addq	 $1 * SIZE, Y1

  339. 	ALIGN_3

  340. 

  341. .L1X:

  342. 	testq	$2 * SIZE, A1

  343. 	je	.L1XX

  344. 

  345. 	movsd	 -32 * SIZE(A1), %xmm4

  346. 	movsd	 -32 * SIZE(A1, LDA,  1), %xmm5

  347. 	movsd	 -32 * SIZE(A1, LDA,  2), %xmm6

  348. 	movsd	 -32 * SIZE(A1, LDA3, 1), %xmm7

  349. 

  350. 	movsd	 -32 * SIZE(Y1), %xmm0

  351. 

  352. 	mulps	 %xmm8,  %xmm4

  353. 	addps	 %xmm4,  %xmm0

  354. 	movsd	 -32 * SIZE(A2), %xmm4

  355. 	mulps	 %xmm9,  %xmm5

  356. 	addps	 %xmm5,  %xmm0

  357. 	movsd	 -32 * SIZE(A2, LDA,  1), %xmm5

  358. 	mulps	 %xmm10, %xmm6

  359. 	addps	 %xmm6,  %xmm0

  360. 	movsd	 -32 * SIZE(A2, LDA,  2), %xmm6

  361. 	mulps	 %xmm11, %xmm7

  362. 	addps	 %xmm7,  %xmm0

  363. 	movsd	 -32 * SIZE(A2, LDA3, 1), %xmm7

  364. 

  365. 	mulps	 %xmm12, %xmm4

  366. 	addps	 %xmm4,  %xmm0

  367. 	mulps	 %xmm13, %xmm5

  368. 	addps	 %xmm5,  %xmm0

  369. 	mulps	 %xmm14, %xmm6

  370. 	addps	 %xmm6,  %xmm0

  371. 	mulps	 %xmm15, %xmm7

  372. 	addps	 %xmm7,  %xmm0

  373. 

  374. 	movlps	 %xmm0, -32 * SIZE(Y1)

  375. 

  376. 	addq	 $2 * SIZE, A1

  377. 	addq	 $2 * SIZE, A2

  378. 	addq	 $2 * SIZE, Y1

  379. 	ALIGN_3

  380. 

  381. .L1XX:

  382. #endif

  383. 	movq	MM,  I

  384. 	sarq	$4,  I

  385. 	jle	.L15

  386. 

  387. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm4)

  388. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm5)

  389. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm6)

  390. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm7)

  391. 

  392. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  393. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  394. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  395. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  396. 

  397. 	decq	 I

  398. 	jle	 .L14

  399. 	ALIGN_3

  400. 

  401. .L13:

  402. #ifdef PREFETCH

  403. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1)

  404. #endif

  405. 

  406. 	mulps	 %xmm8,  %xmm4

  407. 	addps	 %xmm4,  %xmm0

  408. 	MOVUPS_A2 (-32 * SIZE, A1, LDA,  1, %xmm4)

  409. 	mulps	 %xmm8,  %xmm5

  410. 	addps	 %xmm5,  %xmm1

  411. 	MOVUPS_A2 (-28 * SIZE, A1, LDA,  1, %xmm5)

  412. 	mulps	 %xmm8,  %xmm6

  413. 	addps	 %xmm6,  %xmm2

  414. 	MOVUPS_A2 (-24 * SIZE, A1, LDA,  1, %xmm6)

  415. 	mulps	 %xmm8,  %xmm7

  416. 	addps	 %xmm7,  %xmm3

  417. 	MOVUPS_A2 (-20 * SIZE, A1, LDA,  1, %xmm7)

  418. 

  419. #ifdef PREFETCH

  420. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1, LDA)

  421. #endif

  422. 

  423. 	mulps	 %xmm9,  %xmm4

  424. 	addps	 %xmm4,  %xmm0

  425. 	MOVUPS_A2 (-32 * SIZE, A1, LDA,  2, %xmm4)

  426. 	mulps	 %xmm9,  %xmm5

  427. 	addps	 %xmm5,  %xmm1

  428. 	MOVUPS_A2 (-28 * SIZE, A1, LDA,  2, %xmm5)

  429. 	mulps	 %xmm9,  %xmm6

  430. 	addps	 %xmm6,  %xmm2

  431. 	MOVUPS_A2 (-24 * SIZE, A1, LDA,  2, %xmm6)

  432. 	mulps	 %xmm9,  %xmm7

  433. 	addps	 %xmm7,  %xmm3

  434. 	MOVUPS_A2 (-20 * SIZE, A1, LDA,  2, %xmm7)

  435. 

  436. #ifdef PREFETCH

  437. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1, LDA, 2)

  438. #endif

  439. 

  440. 	mulps	 %xmm10, %xmm4

  441. 	addps	 %xmm4,  %xmm0

  442. 	MOVUPS_A2 (-32 * SIZE, A1, LDA3, 1, %xmm4)

  443. 	mulps	 %xmm10, %xmm5

  444. 	addps	 %xmm5,  %xmm1

  445. 	MOVUPS_A2 (-28 * SIZE, A1, LDA3, 1, %xmm5)

  446. 	mulps	 %xmm10, %xmm6

  447. 	addps	 %xmm6,  %xmm2

  448. 	MOVUPS_A2 (-24 * SIZE, A1, LDA3, 1, %xmm6)

  449. 	mulps	 %xmm10, %xmm7

  450. 	addps	 %xmm7,  %xmm3

  451. 	MOVUPS_A2 (-20 * SIZE, A1, LDA3, 1, %xmm7)

  452. 

  453. #ifdef PREFETCH

  454. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1, LDA3)

  455. #endif

  456. 

  457. 	mulps	 %xmm11, %xmm4

  458. 	addps	 %xmm4,  %xmm0

  459. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm4)

  460. 	mulps	 %xmm11, %xmm5

  461. 	addps	 %xmm5,  %xmm1

  462. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm5)

  463. 	mulps	 %xmm11, %xmm6

  464. 	addps	 %xmm6,  %xmm2

  465. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm6)

  466. 	mulps	 %xmm11, %xmm7

  467. 	addps	 %xmm7,  %xmm3

  468. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm7)

  469. 

  470. #ifdef PREFETCH

  471. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2)

  472. #endif

  473. 

  474. 	mulps	 %xmm12, %xmm4

  475. 	addps	 %xmm4,  %xmm0

  476. 	MOVUPS_A2 (-32 * SIZE, A2, LDA,  1, %xmm4)

  477. 	mulps	 %xmm12, %xmm5

  478. 	addps	 %xmm5,  %xmm1

  479. 	MOVUPS_A2 (-28 * SIZE, A2, LDA,  1, %xmm5)

  480. 	mulps	 %xmm12, %xmm6

  481. 	addps	 %xmm6,  %xmm2

  482. 	MOVUPS_A2 (-24 * SIZE, A2, LDA,  1, %xmm6)

  483. 	mulps	 %xmm12, %xmm7

  484. 	addps	 %xmm7,  %xmm3

  485. 	MOVUPS_A2 (-20 * SIZE, A2, LDA,  1, %xmm7)

  486. 

  487. #ifdef PREFETCH

  488. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2, LDA)

  489. #endif

  490. 

  491. 	mulps	 %xmm13, %xmm4

  492. 	addps	 %xmm4,  %xmm0

  493. 	MOVUPS_A2 (-32 * SIZE, A2, LDA,  2, %xmm4)

  494. 	mulps	 %xmm13, %xmm5

  495. 	addps	 %xmm5,  %xmm1

  496. 	MOVUPS_A2 (-28 * SIZE, A2, LDA,  2, %xmm5)

  497. 	mulps	 %xmm13, %xmm6

  498. 	addps	 %xmm6,  %xmm2

  499. 	MOVUPS_A2 (-24 * SIZE, A2, LDA,  2, %xmm6)

  500. 	mulps	 %xmm13, %xmm7

  501. 	addps	 %xmm7,  %xmm3

  502. 	MOVUPS_A2 (-20 * SIZE, A2, LDA,  2, %xmm7)

  503. 

  504. #ifdef PREFETCH

  505. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2, LDA, 2)

  506. #endif

  507. 

  508. 	mulps	 %xmm14, %xmm4

  509. 	addps	 %xmm4,  %xmm0

  510. 	MOVUPS_A2 (-32 * SIZE, A2, LDA3, 1, %xmm4)

  511. 	mulps	 %xmm14, %xmm5

  512. 	addps	 %xmm5,  %xmm1

  513. 	MOVUPS_A2 (-28 * SIZE, A2, LDA3, 1, %xmm5)

  514. 	mulps	 %xmm14, %xmm6

  515. 	addps	 %xmm6,  %xmm2

  516. 	MOVUPS_A2 (-24 * SIZE, A2, LDA3, 1, %xmm6)

  517. 	mulps	 %xmm14, %xmm7

  518. 	addps	 %xmm7,  %xmm3

  519. 	MOVUPS_A2 (-20 * SIZE, A2, LDA3, 1, %xmm7)

  520. 

  521. #ifdef PREFETCH

  522. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2, LDA3)

  523. #endif

  524. 

  525. 	mulps	 %xmm15, %xmm4

  526. 	addps	 %xmm4,  %xmm0

  527. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm4)

  528. 	mulps	 %xmm15, %xmm5

  529. 	addps	 %xmm5,  %xmm1

  530. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm5)

  531. 	mulps	 %xmm15, %xmm6

  532. 	addps	 %xmm6,  %xmm2

  533. 	MOVUPS_A1 ( -8 * SIZE, A1, %xmm6)

  534. 	mulps	 %xmm15, %xmm7

  535. 	addps	 %xmm7,  %xmm3

  536. 	MOVUPS_A1 ( -4 * SIZE, A1, %xmm7)

  537. 

  538. #ifdef PREFETCHW

  539. 	PREFETCHW	(PREFETCHSIZE) - 128 + PREOFFSET(Y1)

  540. #endif

  541. 

  542. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  543. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  544. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  545. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  546. 

  547. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  548. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  549. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  550. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  551. 

  552. 	subq	 $-16 * SIZE, A1

  553. 	subq	 $-16 * SIZE, A2

  554. 	subq	 $-16 * SIZE, Y1

  555. 

  556. 	subq	 $1, I

  557. 	BRANCH

  558. 	jg	.L13

  559. 	ALIGN_3

  560. 

  561. .L14:

  562. 	mulps	 %xmm8,  %xmm4

  563. 	addps	 %xmm4,  %xmm0

  564. 	MOVUPS_A2 (-32 * SIZE, A1, LDA,  1, %xmm4)

  565. 	mulps	 %xmm8,  %xmm5

  566. 	addps	 %xmm5,  %xmm1

  567. 	MOVUPS_A2 (-28 * SIZE, A1, LDA,  1, %xmm5)

  568. 	mulps	 %xmm8,  %xmm6

  569. 	addps	 %xmm6,  %xmm2

  570. 	MOVUPS_A2 (-24 * SIZE, A1, LDA,  1, %xmm6)

  571. 	mulps	 %xmm8,  %xmm7

  572. 	addps	 %xmm7,  %xmm3

  573. 	MOVUPS_A2 (-20 * SIZE, A1, LDA,  1, %xmm7)

  574. 

  575. 	mulps	 %xmm9,  %xmm4

  576. 	addps	 %xmm4,  %xmm0

  577. 	MOVUPS_A2 (-32 * SIZE, A1, LDA,  2, %xmm4)

  578. 	mulps	 %xmm9,  %xmm5

  579. 	addps	 %xmm5,  %xmm1

  580. 	MOVUPS_A2 (-28 * SIZE, A1, LDA,  2, %xmm5)

  581. 	mulps	 %xmm9,  %xmm6

  582. 	addps	 %xmm6,  %xmm2

  583. 	MOVUPS_A2 (-24 * SIZE, A1, LDA,  2, %xmm6)

  584. 	mulps	 %xmm9,  %xmm7

  585. 	addps	 %xmm7,  %xmm3

  586. 	MOVUPS_A2 (-20 * SIZE, A1, LDA,  2, %xmm7)

  587. 

  588. 	mulps	 %xmm10, %xmm4

  589. 	addps	 %xmm4,  %xmm0

  590. 	MOVUPS_A2 (-32 * SIZE, A1, LDA3, 1, %xmm4)

  591. 	mulps	 %xmm10, %xmm5

  592. 	addps	 %xmm5,  %xmm1

  593. 	MOVUPS_A2 (-28 * SIZE, A1, LDA3, 1, %xmm5)

  594. 	mulps	 %xmm10, %xmm6

  595. 	addps	 %xmm6,  %xmm2

  596. 	MOVUPS_A2 (-24 * SIZE, A1, LDA3, 1, %xmm6)

  597. 	mulps	 %xmm10, %xmm7

  598. 	addps	 %xmm7,  %xmm3

  599. 	MOVUPS_A2 (-20 * SIZE, A1, LDA3, 1, %xmm7)

  600. 

  601. 	mulps	 %xmm11, %xmm4

  602. 	addps	 %xmm4,  %xmm0

  603. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm4)

  604. 	mulps	 %xmm11, %xmm5

  605. 	addps	 %xmm5,  %xmm1

  606. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm5)

  607. 	mulps	 %xmm11, %xmm6

  608. 	addps	 %xmm6,  %xmm2

  609. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm6)

  610. 	mulps	 %xmm11, %xmm7

  611. 	addps	 %xmm7,  %xmm3

  612. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm7)

  613. 

  614. 	mulps	 %xmm12, %xmm4

  615. 	addps	 %xmm4,  %xmm0

  616. 	MOVUPS_A2 (-32 * SIZE, A2, LDA,  1, %xmm4)

  617. 	mulps	 %xmm12, %xmm5

  618. 	addps	 %xmm5,  %xmm1

  619. 	MOVUPS_A2 (-28 * SIZE, A2, LDA,  1, %xmm5)

  620. 	mulps	 %xmm12, %xmm6

  621. 	addps	 %xmm6,  %xmm2

  622. 	MOVUPS_A2 (-24 * SIZE, A2, LDA,  1, %xmm6)

  623. 	mulps	 %xmm12, %xmm7

  624. 	addps	 %xmm7,  %xmm3

  625. 	MOVUPS_A2 (-20 * SIZE, A2, LDA,  1, %xmm7)

  626. 

  627. 	mulps	 %xmm13, %xmm4

  628. 	addps	 %xmm4,  %xmm0

  629. 	MOVUPS_A2 (-32 * SIZE, A2, LDA,  2, %xmm4)

  630. 	mulps	 %xmm13, %xmm5

  631. 	addps	 %xmm5,  %xmm1

  632. 	MOVUPS_A2 (-28 * SIZE, A2, LDA,  2, %xmm5)

  633. 	mulps	 %xmm13, %xmm6

  634. 	addps	 %xmm6,  %xmm2

  635. 	MOVUPS_A2 (-24 * SIZE, A2, LDA,  2, %xmm6)

  636. 	mulps	 %xmm13, %xmm7

  637. 	addps	 %xmm7,  %xmm3

  638. 	MOVUPS_A2 (-20 * SIZE, A2, LDA,  2, %xmm7)

  639. 

  640. 	mulps	 %xmm14, %xmm4

  641. 	addps	 %xmm4,  %xmm0

  642. 	MOVUPS_A2 (-32 * SIZE, A2, LDA3, 1, %xmm4)

  643. 	mulps	 %xmm14, %xmm5

  644. 	addps	 %xmm5,  %xmm1

  645. 	MOVUPS_A2 (-28 * SIZE, A2, LDA3, 1, %xmm5)

  646. 	mulps	 %xmm14, %xmm6

  647. 	addps	 %xmm6,  %xmm2

  648. 	MOVUPS_A2 (-24 * SIZE, A2, LDA3, 1, %xmm6)

  649. 	mulps	 %xmm14, %xmm7

  650. 	addps	 %xmm7,  %xmm3

  651. 	MOVUPS_A2 (-20 * SIZE, A2, LDA3, 1, %xmm7)

  652. 

  653. 	mulps	 %xmm15, %xmm4

  654. 	addps	 %xmm4,  %xmm0

  655. 	mulps	 %xmm15, %xmm5

  656. 	addps	 %xmm5,  %xmm1

  657. 	mulps	 %xmm15, %xmm6

  658. 	addps	 %xmm6,  %xmm2

  659. 	mulps	 %xmm15, %xmm7

  660. 	addps	 %xmm7,  %xmm3

  661. 

  662. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  663. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  664. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  665. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  666. 

  667. 	subq	 $-16 * SIZE, A1

  668. 	subq	 $-16 * SIZE, A2

  669. 	subq	 $-16 * SIZE, Y1

  670. 	ALIGN_3

  671. 

  672. .L15:

  673. 	testq	$8, MM

  674. 	je	.L16

  675. 

  676. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm4)

  677. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm5)

  678. 

  679. 	MOVUPS_A2 (-32 * SIZE, A1, LDA,  1, %xmm6)

  680. 	MOVUPS_A2 (-28 * SIZE, A1, LDA,  1, %xmm7)

  681. 

  682. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  683. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  684. 

  685. 	mulps	 %xmm8,  %xmm4

  686. 	addps	 %xmm4,  %xmm0

  687. 	MOVUPS_A2 (-32 * SIZE, A1, LDA,  2, %xmm4)

  688. 	mulps	 %xmm8,  %xmm5

  689. 	addps	 %xmm5,  %xmm1

  690. 	MOVUPS_A2 (-28 * SIZE, A1, LDA,  2, %xmm5)

  691. 

  692. 	mulps	 %xmm9,  %xmm6

  693. 	addps	 %xmm6,  %xmm0

  694. 	MOVUPS_A2 (-32 * SIZE, A1, LDA3, 1, %xmm6)

  695. 	mulps	 %xmm9,  %xmm7

  696. 	addps	 %xmm7,  %xmm1

  697. 	MOVUPS_A2 (-28 * SIZE, A1, LDA3, 1, %xmm7)

  698. 

  699. 	mulps	 %xmm10, %xmm4

  700. 	addps	 %xmm4,  %xmm0

  701. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm4)

  702. 	mulps	 %xmm10, %xmm5

  703. 	addps	 %xmm5,  %xmm1

  704. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm5)

  705. 

  706. 	mulps	 %xmm11, %xmm6

  707. 	addps	 %xmm6,  %xmm0

  708. 	MOVUPS_A2 (-32 * SIZE, A2, LDA,  1, %xmm6)

  709. 	mulps	 %xmm11, %xmm7

  710. 	addps	 %xmm7,  %xmm1

  711. 	MOVUPS_A2 (-28 * SIZE, A2, LDA,  1, %xmm7)

  712. 

  713. 	mulps	 %xmm12, %xmm4

  714. 	addps	 %xmm4,  %xmm0

  715. 	MOVUPS_A2 (-32 * SIZE, A2, LDA,  2, %xmm4)

  716. 	mulps	 %xmm12, %xmm5

  717. 	addps	 %xmm5,  %xmm1

  718. 	MOVUPS_A2 (-28 * SIZE, A2, LDA,  2, %xmm5)

  719. 

  720. 	mulps	 %xmm13, %xmm6

  721. 	addps	 %xmm6,  %xmm0

  722. 	MOVUPS_A2 (-32 * SIZE, A2, LDA3, 1, %xmm6)

  723. 	mulps	 %xmm13, %xmm7

  724. 	addps	 %xmm7,  %xmm1

  725. 	MOVUPS_A2 (-28 * SIZE, A2, LDA3, 1, %xmm7)

  726. 

  727. 	mulps	 %xmm14, %xmm4

  728. 	addps	 %xmm4,  %xmm0

  729. 	mulps	 %xmm14, %xmm5

  730. 	addps	 %xmm5,  %xmm1

  731. 

  732. 	mulps	 %xmm15, %xmm6

  733. 	addps	 %xmm6,  %xmm0

  734. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  735. 	mulps	 %xmm15, %xmm7

  736. 	addps	 %xmm7,  %xmm1

  737. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  738. 

  739. 	addq	 $8 * SIZE, A1

  740. 	addq	 $8 * SIZE, A2

  741. 	addq	 $8 * SIZE, Y1

  742. 	ALIGN_3

  743. 

  744. .L16:

  745. 	testq	$4, MM

  746. 	je	.L17

  747. 

  748. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm4)

  749. 	MOVUPS_A2 (-32 * SIZE, A1, LDA,  1, %xmm5)

  750. 	MOVUPS_A2 (-32 * SIZE, A1, LDA,  2, %xmm6)

  751. 	MOVUPS_A2 (-32 * SIZE, A1, LDA3, 1, %xmm7)

  752. 

  753. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  754. 

  755. 	mulps	 %xmm8,  %xmm4

  756. 	addps	 %xmm4,  %xmm0

  757. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm4)

  758. 	mulps	 %xmm9,  %xmm5

  759. 	addps	 %xmm5,  %xmm0

  760. 	MOVUPS_A2 (-32 * SIZE, A2, LDA,  1, %xmm5)

  761. 	mulps	 %xmm10, %xmm6

  762. 	addps	 %xmm6,  %xmm0

  763. 	MOVUPS_A2 (-32 * SIZE, A2, LDA,  2, %xmm6)

  764. 	mulps	 %xmm11, %xmm7

  765. 	addps	 %xmm7,  %xmm0

  766. 	MOVUPS_A2 (-32 * SIZE, A2, LDA3, 1, %xmm7)

  767. 

  768. 	mulps	 %xmm12, %xmm4

  769. 	addps	 %xmm4,  %xmm0

  770. 	mulps	 %xmm13, %xmm5

  771. 	addps	 %xmm5,  %xmm0

  772. 	mulps	 %xmm14, %xmm6

  773. 	addps	 %xmm6,  %xmm0

  774. 	mulps	 %xmm15, %xmm7

  775. 	addps	 %xmm7,  %xmm0

  776. 

  777. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  778. 

  779. 	addq	 $4 * SIZE, A1

  780. 	addq	 $4 * SIZE, A2

  781. 	addq	 $4 * SIZE, Y1

  782. 	ALIGN_3

  783. 

  784. .L17:

  785. 	testq	$2, MM

  786. 	je	.L18

  787. 

  788. 	movsd	 -32 * SIZE(A1), %xmm4

  789. 	movsd	 -32 * SIZE(A1, LDA,  1), %xmm5

  790. 	movsd	 -32 * SIZE(A1, LDA,  2), %xmm6

  791. 	movsd	 -32 * SIZE(A1, LDA3, 1), %xmm7

  792. 

  793. 	movsd	 -32 * SIZE(Y1), %xmm0

  794. 

  795. 	mulps	 %xmm8,  %xmm4

  796. 	addps	 %xmm4,  %xmm0

  797. 	movsd	 -32 * SIZE(A2), %xmm4

  798. 	mulps	 %xmm9,  %xmm5

  799. 	addps	 %xmm5,  %xmm0

  800. 	movsd	 -32 * SIZE(A2, LDA,  1), %xmm5

  801. 	mulps	 %xmm10, %xmm6

  802. 	addps	 %xmm6,  %xmm0

  803. 	movsd	 -32 * SIZE(A2, LDA,  2), %xmm6

  804. 	mulps	 %xmm11, %xmm7

  805. 	addps	 %xmm7,  %xmm0

  806. 	movsd	 -32 * SIZE(A2, LDA3, 1), %xmm7

  807. 

  808. 	mulps	 %xmm12, %xmm4

  809. 	addps	 %xmm4,  %xmm0

  810. 	mulps	 %xmm13, %xmm5

  811. 	addps	 %xmm5,  %xmm0

  812. 	mulps	 %xmm14, %xmm6

  813. 	addps	 %xmm6,  %xmm0

  814. 	mulps	 %xmm15, %xmm7

  815. 	addps	 %xmm7,  %xmm0

  816. 

  817. 	movlps	 %xmm0, -32 * SIZE(Y1)

  818. 

  819. 	addq	 $2 * SIZE, A1

  820. 	addq	 $2 * SIZE, A2

  821. 	addq	 $2 * SIZE, Y1

  822. 	ALIGN_3

  823. 

  824. .L18:

  825. 	testq	$1, MM

  826. 	je	.L19

  827. 

  828. 	movss	 -32 * SIZE(A1), %xmm4

  829. 	movss	 -32 * SIZE(A1, LDA,  1), %xmm5

  830. 	movss	 -32 * SIZE(A1, LDA,  2), %xmm6

  831. 	movss	 -32 * SIZE(A1, LDA3, 1), %xmm7

  832. 

  833. 	movss	 -32 * SIZE(Y1), %xmm0

  834. 

  835. 	mulss	 %xmm8,  %xmm4

  836. 	addss	 %xmm4,  %xmm0

  837. 	movss	 -32 * SIZE(A2), %xmm4

  838. 	mulss	 %xmm9,  %xmm5

  839. 	addss	 %xmm5,  %xmm0

  840. 	movss	 -32 * SIZE(A2, LDA,  1), %xmm5

  841. 	mulss	 %xmm10, %xmm6

  842. 	addss	 %xmm6,  %xmm0

  843. 	movss	 -32 * SIZE(A2, LDA,  2), %xmm6

  844. 	mulss	 %xmm11, %xmm7

  845. 	addss	 %xmm7,  %xmm0

  846. 	movss	 -32 * SIZE(A2, LDA3, 1), %xmm7

  847. 

  848. 	mulss	 %xmm12, %xmm4

  849. 	addss	 %xmm4,  %xmm0

  850. 	mulss	 %xmm13, %xmm5

  851. 	addss	 %xmm5,  %xmm0

  852. 	mulss	 %xmm14, %xmm6

  853. 	addss	 %xmm6,  %xmm0

  854. 	mulss	 %xmm15, %xmm7

  855. 	addss	 %xmm7,  %xmm0

  856. 

  857. 	movss	 %xmm0, -32 * SIZE(Y1)

  858. 	ALIGN_3

  859. 

  860. .L19:

  861. 	cmpq	$8, N

  862. 	jge	.L11

  863. 	ALIGN_3

  864. 

  865. .L20:

  866. #endif

  867. 

  868. 	cmpq	$4, N

  869. 	jl	.L30

  870. 

  871. #if GEMV_UNROLL == 4

  872. 	ALIGN_3

  873. 

  874. .L21:

  875. #endif

  876. 	subq	$4, N

  877. 

  878. 	leaq	32 * SIZE(BUFFER), Y1

  879. 	movq	A,  A1

  880. 	leaq	(A,  LDA, 2), A2

  881. 	leaq	(A,  LDA, 4), A

  882. 

  883. 	movss	(X), %xmm12

  884. 	addq	INCX, X

  885. 	movss	(X), %xmm13

  886. 	addq	INCX, X

  887. 	movss	(X), %xmm14

  888. 	addq	INCX, X

  889. 	movss	(X), %xmm15

  890. 	addq	INCX, X

  891. 

  892. 	movss	ALPHA, %xmm0

  893. 

  894. 	mulss	%xmm0, %xmm12

  895. 	mulss	%xmm0, %xmm13

  896. 	mulss	%xmm0, %xmm14

  897. 	mulss	%xmm0, %xmm15

  898. 

  899. 	shufps	$0, %xmm12, %xmm12

  900. 	shufps	$0, %xmm13, %xmm13

  901. 	shufps	$0, %xmm14, %xmm14

  902. 	shufps	$0, %xmm15, %xmm15

  903. 

  904. #ifdef ALIGNED_ACCESS

  905. 	cmpq	$3, M

  906. 	jle	.L27

  907. 

  908. 	testq	$SIZE, A1

  909. 	je	.L2X

  910. 

  911. 	movss	 -32 * SIZE(A1), %xmm0

  912. 	movss	 -32 * SIZE(A1, LDA), %xmm1

  913. 	movss	 -32 * SIZE(A2), %xmm2

  914. 	movss	 -32 * SIZE(A2, LDA), %xmm3

  915. 

  916. 	movss	 -32 * SIZE(Y1), %xmm8

  917. 

  918. 	mulss	 %xmm12, %xmm0

  919. 	addss	 %xmm0,  %xmm8

  920. 	mulss	 %xmm13, %xmm1

  921. 	addss	 %xmm1,  %xmm8

  922. 	mulss	 %xmm14, %xmm2

  923. 	addss	 %xmm2, %xmm8

  924. 	mulss	 %xmm15, %xmm3

  925. 	addss	 %xmm3, %xmm8

  926. 

  927. 	movss	 %xmm8, -32 * SIZE(Y1)

  928. 

  929. 	addq	 $1 * SIZE, A1

  930. 	addq	 $1 * SIZE, A2

  931. 	addq	 $1 * SIZE, Y1

  932. 	ALIGN_3

  933. 

  934. .L2X:

  935. 	testq	$2 * SIZE, A1

  936. 	je	.L2XX

  937. 

  938. 	movsd	 -32 * SIZE(A1), %xmm0

  939. 	movsd	 -32 * SIZE(A1, LDA), %xmm1

  940. 	movsd	 -32 * SIZE(A2), %xmm2

  941. 	movsd	 -32 * SIZE(A2, LDA), %xmm3

  942. 

  943. 	movsd	 -32 * SIZE(Y1), %xmm8

  944. 

  945. 	mulps	 %xmm12, %xmm0

  946. 	addps	 %xmm0,  %xmm8

  947. 	mulps	 %xmm13, %xmm1

  948. 	addps	 %xmm1,  %xmm8

  949. 	mulps	 %xmm14, %xmm2

  950. 	addps	 %xmm2, %xmm8

  951. 	mulps	 %xmm15, %xmm3

  952. 	addps	 %xmm3, %xmm8

  953. 

  954. 	movlps	 %xmm8, -32 * SIZE(Y1)

  955. 

  956. 	addq	 $2 * SIZE, A1

  957. 	addq	 $2 * SIZE, A2

  958. 	addq	 $2 * SIZE, Y1

  959. 	ALIGN_3

  960. 

  961. .L2XX:

  962. #endif

  963. 

  964. 	movq	MM,  I

  965. 	sarq	$4,  I

  966. 	jle	.L25

  967. 

  968. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  969. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm9)

  970. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm10)

  971. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm11)

  972. 

  973. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  974. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  975. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  976. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  977. 

  978. 	MOVUPS_A2(-32 * SIZE, A1, LDA, 1, %xmm4)

  979. 	MOVUPS_A2(-28 * SIZE, A1, LDA, 1, %xmm5)

  980. 	MOVUPS_A2(-24 * SIZE, A1, LDA, 1, %xmm6)

  981. 	MOVUPS_A2(-20 * SIZE, A1, LDA, 1, %xmm7)

  982. 

  983. 	decq	 I

  984. 	jle	 .L24

  985. 	ALIGN_3

  986. 

  987. .L23:

  988. #ifdef PREFETCH

  989. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  990. #endif

  991. 

  992. 	mulps	 %xmm12, %xmm8

  993. 	addps	 %xmm8,  %xmm0

  994. 	MOVUPS_A1(-32 * SIZE, A2, %xmm8)

  995. 	mulps	 %xmm12, %xmm9

  996. 	addps	 %xmm9,  %xmm1

  997. 	MOVUPS_A1(-28 * SIZE, A2, %xmm9)

  998. 	mulps	 %xmm12, %xmm10

  999. 	addps	 %xmm10,  %xmm2

  1000. 	MOVUPS_A1(-24 * SIZE, A2, %xmm10)

  1001. 	mulps	 %xmm12, %xmm11

  1002. 	addps	 %xmm11,  %xmm3

  1003. 	MOVUPS_A1(-20 * SIZE, A2, %xmm11)

  1004. 

  1005. #ifdef PREFETCH

  1006. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1, LDA)

  1007. #endif

  1008. 

  1009. 	mulps	 %xmm13, %xmm4

  1010. 	addps	 %xmm4,  %xmm0

  1011. 	MOVUPS_A2(-32 * SIZE, A2, LDA, 1, %xmm4)

  1012. 	mulps	 %xmm13, %xmm5

  1013. 	addps	 %xmm5,  %xmm1

  1014. 	MOVUPS_A2(-28 * SIZE, A2, LDA, 1, %xmm5)

  1015. 	mulps	 %xmm13, %xmm6

  1016. 	addps	 %xmm6,  %xmm2

  1017. 	MOVUPS_A2(-24 * SIZE, A2, LDA, 1, %xmm6)

  1018. 	mulps	 %xmm13, %xmm7

  1019. 	addps	 %xmm7,  %xmm3

  1020. 	MOVUPS_A2(-20 * SIZE, A2, LDA, 1, %xmm7)

  1021. 

  1022. #ifdef PREFETCH

  1023. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  1024. #endif

  1025. 

  1026. 	mulps	 %xmm14, %xmm8

  1027. 	addps	 %xmm8,  %xmm0

  1028. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm8)

  1029. 	mulps	 %xmm14, %xmm9

  1030. 	addps	 %xmm9,  %xmm1

  1031. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm9)

  1032. 	mulps	 %xmm14, %xmm10

  1033. 	addps	 %xmm10,  %xmm2

  1034. 	MOVUPS_A1 ( -8 * SIZE, A1, %xmm10)

  1035. 	mulps	 %xmm14, %xmm11

  1036. 	addps	 %xmm11,  %xmm3

  1037. 	MOVUPS_A1 ( -4 * SIZE, A1, %xmm11)

  1038. 

  1039. #ifdef PREFETCH

  1040. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2, LDA)

  1041. #endif

  1042. 

  1043. 	mulps	 %xmm15, %xmm4

  1044. 	addps	 %xmm4,  %xmm0

  1045. 	MOVUPS_A2(-16 * SIZE, A1, LDA, 1, %xmm4)

  1046. 	mulps	 %xmm15, %xmm5

  1047. 	addps	 %xmm5,  %xmm1

  1048. 	MOVUPS_A2(-12 * SIZE, A1, LDA, 1, %xmm5)

  1049. 	mulps	 %xmm15, %xmm6

  1050. 	addps	 %xmm6,  %xmm2

  1051. 	MOVUPS_A2( -8 * SIZE, A1, LDA, 1, %xmm6)

  1052. 	mulps	 %xmm15, %xmm7

  1053. 	addps	 %xmm7,  %xmm3

  1054. 	MOVUPS_A2( -4 * SIZE, A1, LDA, 1, %xmm7)

  1055. 

  1056. #ifdef PREFETCHW

  1057. 	PREFETCHW	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(Y1)

  1058. #endif

  1059. 

  1060. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1061. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1062. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  1063. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  1064. 

  1065. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  1066. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  1067. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  1068. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  1069. 

  1070. 	subq	 $-16 * SIZE, A1

  1071. 	subq	 $-16 * SIZE, A2

  1072. 	subq	 $-16 * SIZE, Y1

  1073. 

  1074. 	subq	 $1, I

  1075. 	BRANCH

  1076. 	jg	.L23

  1077. 	ALIGN_3

  1078. 

  1079. .L24:

  1080. 	mulps	 %xmm12, %xmm8

  1081. 	addps	 %xmm8,  %xmm0

  1082. 	MOVUPS_A1(-32 * SIZE, A2, %xmm8)

  1083. 	mulps	 %xmm12, %xmm9

  1084. 	addps	 %xmm9,  %xmm1

  1085. 	MOVUPS_A1(-28 * SIZE, A2, %xmm9)

  1086. 	mulps	 %xmm12, %xmm10

  1087. 	addps	 %xmm10,  %xmm2

  1088. 	MOVUPS_A1(-24 * SIZE, A2, %xmm10)

  1089. 	mulps	 %xmm12, %xmm11

  1090. 	addps	 %xmm11,  %xmm3

  1091. 	MOVUPS_A1(-20 * SIZE, A2, %xmm11)

  1092. 

  1093. 	mulps	 %xmm13, %xmm4

  1094. 	addps	 %xmm4,  %xmm0

  1095. 	MOVUPS_A2(-32 * SIZE, A2, LDA, 1, %xmm4)

  1096. 	mulps	 %xmm13, %xmm5

  1097. 	addps	 %xmm5,  %xmm1

  1098. 	MOVUPS_A2(-28 * SIZE, A2, LDA, 1, %xmm5)

  1099. 	mulps	 %xmm13, %xmm6

  1100. 	addps	 %xmm6,  %xmm2

  1101. 	MOVUPS_A2(-24 * SIZE, A2, LDA, 1, %xmm6)

  1102. 	mulps	 %xmm13, %xmm7

  1103. 	addps	 %xmm7,  %xmm3

  1104. 	MOVUPS_A2(-20 * SIZE, A2, LDA, 1, %xmm7)

  1105. 

  1106. 	mulps	 %xmm14, %xmm8

  1107. 	addps	 %xmm8,  %xmm0

  1108. 	mulps	 %xmm14, %xmm9

  1109. 	addps	 %xmm9,  %xmm1

  1110. 	mulps	 %xmm14, %xmm10

  1111. 	addps	 %xmm10,  %xmm2

  1112. 	mulps	 %xmm14, %xmm11

  1113. 	addps	 %xmm11,  %xmm3

  1114. 

  1115. 	mulps	 %xmm15, %xmm4

  1116. 	addps	 %xmm4,  %xmm0

  1117. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1118. 	mulps	 %xmm15, %xmm5

  1119. 	addps	 %xmm5,  %xmm1

  1120. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1121. 	mulps	 %xmm15, %xmm6

  1122. 	addps	 %xmm6,  %xmm2

  1123. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  1124. 	mulps	 %xmm15, %xmm7

  1125. 	addps	 %xmm7,  %xmm3

  1126. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  1127. 

  1128. 	subq	 $-16 * SIZE, A1

  1129. 	subq	 $-16 * SIZE, A2

  1130. 	subq	 $-16 * SIZE, Y1

  1131. 	ALIGN_3

  1132. 

  1133. .L25:

  1134. 	testq	$8, MM

  1135. 	je	.L26

  1136. 

  1137. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  1138. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm9)

  1139. 

  1140. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  1141. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  1142. 

  1143. 	MOVUPS_A2(-32 * SIZE, A1, LDA, 1, %xmm4)

  1144. 	MOVUPS_A2(-28 * SIZE, A1, LDA, 1, %xmm5)

  1145. 

  1146. 	mulps	 %xmm12, %xmm8

  1147. 	addps	 %xmm8,  %xmm0

  1148. 	MOVUPS_A1(-32 * SIZE, A2, %xmm8)

  1149. 	mulps	 %xmm12, %xmm9

  1150. 	addps	 %xmm9,  %xmm1

  1151. 	MOVUPS_A1(-28 * SIZE, A2, %xmm9)

  1152. 

  1153. 	mulps	 %xmm13, %xmm4

  1154. 	addps	 %xmm4,  %xmm0

  1155. 	MOVUPS_A2(-32 * SIZE, A2, LDA, 1, %xmm4)

  1156. 	mulps	 %xmm13, %xmm5

  1157. 	addps	 %xmm5,  %xmm1

  1158. 	MOVUPS_A2(-28 * SIZE, A2, LDA, 1, %xmm5)

  1159. 	mulps	 %xmm13, %xmm6

  1160. 	addps	 %xmm6,  %xmm2

  1161. 

  1162. 	mulps	 %xmm14, %xmm8

  1163. 	addps	 %xmm8,  %xmm0

  1164. 	mulps	 %xmm14, %xmm9

  1165. 	addps	 %xmm9,  %xmm1

  1166. 

  1167. 	mulps	 %xmm15, %xmm4

  1168. 	addps	 %xmm4,  %xmm0

  1169. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1170. 	mulps	 %xmm15, %xmm5

  1171. 	addps	 %xmm5,  %xmm1

  1172. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1173. 

  1174. 	addq	 $8 * SIZE, A1

  1175. 	addq	 $8 * SIZE, A2

  1176. 	addq	 $8 * SIZE, Y1

  1177. 	ALIGN_3

  1178. 

  1179. .L26:

  1180. 	testq	$4, MM

  1181. 	je	.L27

  1182. 

  1183. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  1184. 

  1185. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  1186. 

  1187. 	MOVUPS_A2(-32 * SIZE, A1, LDA, 1, %xmm4)

  1188. 

  1189. 	mulps	 %xmm12, %xmm8

  1190. 	addps	 %xmm8,  %xmm0

  1191. 	MOVUPS_A1(-32 * SIZE, A2, %xmm8)

  1192. 

  1193. 	mulps	 %xmm13, %xmm4

  1194. 	addps	 %xmm4,  %xmm0

  1195. 	MOVUPS_A2(-32 * SIZE, A2, LDA, 1, %xmm4)

  1196. 

  1197. 	mulps	 %xmm14, %xmm8

  1198. 	addps	 %xmm8,  %xmm0

  1199. 

  1200. 	mulps	 %xmm15, %xmm4

  1201. 	addps	 %xmm4,  %xmm0

  1202. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1203. 

  1204. 	addq	 $4 * SIZE, A1

  1205. 	addq	 $4 * SIZE, A2

  1206. 	addq	 $4 * SIZE, Y1

  1207. 	ALIGN_3

  1208. 

  1209. .L27:

  1210. 	testq	$2, MM

  1211. 	je	.L28

  1212. 

  1213. 	movsd	 -32 * SIZE(A1), %xmm0

  1214. 	movsd	 -32 * SIZE(A1, LDA), %xmm1

  1215. 	movsd	 -32 * SIZE(A2), %xmm2

  1216. 	movsd	 -32 * SIZE(A2, LDA), %xmm3

  1217. 

  1218. 	movsd	 -32 * SIZE(Y1), %xmm8

  1219. 

  1220. 	mulps	 %xmm12, %xmm0

  1221. 	addps	 %xmm0,  %xmm8

  1222. 	mulps	 %xmm13, %xmm1

  1223. 	addps	 %xmm1,  %xmm8

  1224. 	mulps	 %xmm14, %xmm2

  1225. 	addps	 %xmm2, %xmm8

  1226. 	mulps	 %xmm15, %xmm3

  1227. 	addps	 %xmm3, %xmm8

  1228. 

  1229. 	movlps	 %xmm8, -32 * SIZE(Y1)

  1230. 

  1231. 	addq	 $2 * SIZE, A1

  1232. 	addq	 $2 * SIZE, A2

  1233. 	addq	 $2 * SIZE, Y1

  1234. 	ALIGN_3

  1235. 

  1236. .L28:

  1237. 	testq	$1, MM

  1238. #if GEMV_UNROLL == 4

  1239. 	je	.L29

  1240. #else

  1241. 	je	.L30

  1242. #endif

  1243. 

  1244. 	movss	 -32 * SIZE(Y1), %xmm8

  1245. 

  1246. 	movss	 -32 * SIZE(A1), %xmm0

  1247. 	movss	 -32 * SIZE(A1, LDA), %xmm1

  1248. 	movss	 -32 * SIZE(A2), %xmm2

  1249. 	movss	 -32 * SIZE(A2, LDA), %xmm3

  1250. 

  1251. 	mulss	 %xmm12, %xmm0

  1252. 	addss	 %xmm0,  %xmm8

  1253. 	mulss	 %xmm13, %xmm1

  1254. 	addss	 %xmm1,  %xmm8

  1255. 	mulss	 %xmm14, %xmm2

  1256. 	addss	 %xmm2, %xmm8

  1257. 	mulss	 %xmm15, %xmm3

  1258. 	addss	 %xmm3, %xmm8

  1259. 

  1260. 	movss	 %xmm8, -32 * SIZE(Y1)

  1261. 	ALIGN_3

  1262. 

  1263. #if GEMV_UNROLL == 4

  1264. .L29:

  1265. 	cmpq	$4, N

  1266. 	jge	.L21

  1267. #endif

  1268. 	ALIGN_3

  1269. 

  1270. .L30:

  1271. 	testq	N, N

  1272. 	jle	.L990

  1273. 

  1274. 	cmpq	$3, N

  1275. 	jne	.L40

  1276. 

  1277. 	leaq	32 * SIZE(BUFFER), Y1

  1278. 	movq	A,  A1

  1279. 	leaq	(A,  LDA, 2), A2

  1280. 

  1281. 	movss	(X), %xmm12

  1282. 	addq	INCX, X

  1283. 	movss	(X), %xmm13

  1284. 	addq	INCX, X

  1285. 	movss	(X), %xmm14

  1286. 	addq	INCX, X

  1287. 

  1288. 	movss	ALPHA, %xmm0

  1289. 

  1290. 	mulss	%xmm0, %xmm12

  1291. 	mulss	%xmm0, %xmm13

  1292. 	mulss	%xmm0, %xmm14

  1293. 

  1294. 	shufps	$0, %xmm12, %xmm12

  1295. 	shufps	$0, %xmm13, %xmm13

  1296. 	shufps	$0, %xmm14, %xmm14

  1297. 

  1298. #ifdef ALIGNED_ACCESS

  1299. 	cmpq	$3, M

  1300. 	jle	.L37

  1301. 

  1302. 	testq	$SIZE, A1

  1303. 	je	.L3X

  1304. 

  1305. 	movss	 -32 * SIZE(A1), %xmm0

  1306. 	movss	 -32 * SIZE(A1, LDA), %xmm1

  1307. 	movss	 -32 * SIZE(A2), %xmm2

  1308. 

  1309. 	movss	 -32 * SIZE(Y1), %xmm8

  1310. 

  1311. 	mulss	 %xmm12, %xmm0

  1312. 	addss	 %xmm0,  %xmm8

  1313. 	mulss	 %xmm13, %xmm1

  1314. 	addss	 %xmm1,  %xmm8

  1315. 	mulss	 %xmm14, %xmm2

  1316. 	addss	 %xmm2, %xmm8

  1317. 

  1318. 	movss	 %xmm8, -32 * SIZE(Y1)

  1319. 

  1320. 	addq	 $1 * SIZE, A1

  1321. 	addq	 $1 * SIZE, A2

  1322. 	addq	 $1 * SIZE, Y1

  1323. 	ALIGN_3

  1324. 

  1325. .L3X:

  1326. 	testq	$2 * SIZE, A1

  1327. 	je	.L3XX

  1328. 

  1329. 	movsd	 -32 * SIZE(A1), %xmm0

  1330. 	movsd	 -32 * SIZE(A1, LDA), %xmm1

  1331. 	movsd	 -32 * SIZE(A2), %xmm2

  1332. 

  1333. 	movsd	 -32 * SIZE(Y1), %xmm8

  1334. 

  1335. 	mulps	 %xmm12, %xmm0

  1336. 	addps	 %xmm0,  %xmm8

  1337. 	mulps	 %xmm13, %xmm1

  1338. 	addps	 %xmm1,  %xmm8

  1339. 	mulps	 %xmm14, %xmm2

  1340. 	addps	 %xmm2, %xmm8

  1341. 

  1342. 	movlps	 %xmm8, -32 * SIZE(Y1)

  1343. 

  1344. 	addq	 $2 * SIZE, A1

  1345. 	addq	 $2 * SIZE, A2

  1346. 	addq	 $2 * SIZE, Y1

  1347. 	ALIGN_3

  1348. 

  1349. .L3XX:

  1350. #endif

  1351. 

  1352. 	movq	MM,  I

  1353. 	sarq	$4,  I

  1354. 	jle	.L35

  1355. 

  1356. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  1357. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm9)

  1358. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm10)

  1359. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm11)

  1360. 

  1361. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  1362. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  1363. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  1364. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  1365. 

  1366. 	MOVUPS_A2(-32 * SIZE, A1, LDA, 1, %xmm4)

  1367. 	MOVUPS_A2(-28 * SIZE, A1, LDA, 1, %xmm5)

  1368. 	MOVUPS_A2(-24 * SIZE, A1, LDA, 1, %xmm6)

  1369. 	MOVUPS_A2(-20 * SIZE, A1, LDA, 1, %xmm7)

  1370. 

  1371. 	decq	 I

  1372. 	jle	 .L34

  1373. 	ALIGN_3

  1374. 

  1375. .L33:

  1376. #ifdef PREFETCH

  1377. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1)

  1378. #endif

  1379. 

  1380. 	mulps	 %xmm12, %xmm8

  1381. 	addps	 %xmm8,  %xmm0

  1382. 	MOVUPS_A1(-32 * SIZE, A2, %xmm8)

  1383. 	mulps	 %xmm12, %xmm9

  1384. 	addps	 %xmm9,  %xmm1

  1385. 	MOVUPS_A1(-28 * SIZE, A2, %xmm9)

  1386. 	mulps	 %xmm12, %xmm10

  1387. 	addps	 %xmm10,  %xmm2

  1388. 	MOVUPS_A1(-24 * SIZE, A2, %xmm10)

  1389. 	mulps	 %xmm12, %xmm11

  1390. 	addps	 %xmm11,  %xmm3

  1391. 	MOVUPS_A1(-20 * SIZE, A2, %xmm11)

  1392. 

  1393. #ifdef PREFETCH

  1394. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1, LDA)

  1395. #endif

  1396. 

  1397. 	mulps	 %xmm13, %xmm4

  1398. 	addps	 %xmm4,  %xmm0

  1399. 	MOVUPS_A2(-16 * SIZE, A1, LDA, 1, %xmm4)

  1400. 	mulps	 %xmm13, %xmm5

  1401. 	addps	 %xmm5,  %xmm1

  1402. 	MOVUPS_A2(-12 * SIZE, A1, LDA, 1, %xmm5)

  1403. 	mulps	 %xmm13, %xmm6

  1404. 	addps	 %xmm6,  %xmm2

  1405. 	MOVUPS_A2( -8 * SIZE, A1, LDA, 1, %xmm6)

  1406. 	mulps	 %xmm13, %xmm7

  1407. 	addps	 %xmm7,  %xmm3

  1408. 	MOVUPS_A2( -4 * SIZE, A1, LDA, 1, %xmm7)

  1409. 

  1410. #ifdef PREFETCH

  1411. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A2)

  1412. #endif

  1413. 

  1414. 	mulps	 %xmm14, %xmm8

  1415. 	addps	 %xmm8,  %xmm0

  1416. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm8)

  1417. 	mulps	 %xmm14, %xmm9

  1418. 	addps	 %xmm9,  %xmm1

  1419. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm9)

  1420. 	mulps	 %xmm14, %xmm10

  1421. 	addps	 %xmm10,  %xmm2

  1422. 	MOVUPS_A1 ( -8 * SIZE, A1, %xmm10)

  1423. 	mulps	 %xmm14, %xmm11

  1424. 	addps	 %xmm11,  %xmm3

  1425. 	MOVUPS_A1 ( -4 * SIZE, A1, %xmm11)

  1426. 

  1427. #ifdef PREFETCHW

  1428. 	PREFETCHW	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(Y1)

  1429. #endif

  1430. 

  1431. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1432. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1433. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  1434. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  1435. 

  1436. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  1437. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  1438. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  1439. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  1440. 

  1441. 	subq	 $-16 * SIZE, A1

  1442. 	subq	 $-16 * SIZE, A2

  1443. 	subq	 $-16 * SIZE, Y1

  1444. 

  1445. 	subq	 $1, I

  1446. 	BRANCH

  1447. 	jg	.L33

  1448. 	ALIGN_3

  1449. 

  1450. .L34:

  1451. 	mulps	 %xmm12, %xmm8

  1452. 	addps	 %xmm8,  %xmm0

  1453. 	MOVUPS_A1(-32 * SIZE, A2, %xmm8)

  1454. 	mulps	 %xmm12, %xmm9

  1455. 	addps	 %xmm9,  %xmm1

  1456. 	MOVUPS_A1(-28 * SIZE, A2, %xmm9)

  1457. 	mulps	 %xmm12, %xmm10

  1458. 	addps	 %xmm10,  %xmm2

  1459. 	MOVUPS_A1(-24 * SIZE, A2, %xmm10)

  1460. 	mulps	 %xmm12, %xmm11

  1461. 	addps	 %xmm11,  %xmm3

  1462. 	MOVUPS_A1(-20 * SIZE, A2, %xmm11)

  1463. 

  1464. 	mulps	 %xmm13, %xmm4

  1465. 	addps	 %xmm4,  %xmm0

  1466. 	mulps	 %xmm13, %xmm5

  1467. 	addps	 %xmm5,  %xmm1

  1468. 	mulps	 %xmm13, %xmm6

  1469. 	addps	 %xmm6,  %xmm2

  1470. 	mulps	 %xmm13, %xmm7

  1471. 	addps	 %xmm7,  %xmm3

  1472. 

  1473. 	mulps	 %xmm14, %xmm8

  1474. 	addps	 %xmm8,  %xmm0

  1475. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1476. 	mulps	 %xmm14, %xmm9

  1477. 	addps	 %xmm9,  %xmm1

  1478. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1479. 	mulps	 %xmm14, %xmm10

  1480. 	addps	 %xmm10,  %xmm2

  1481. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  1482. 	mulps	 %xmm14, %xmm11

  1483. 	addps	 %xmm11,  %xmm3

  1484. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  1485. 

  1486. 	subq	 $-16 * SIZE, A1

  1487. 	subq	 $-16 * SIZE, A2

  1488. 	subq	 $-16 * SIZE, Y1

  1489. 	ALIGN_3

  1490. 

  1491. .L35:

  1492. 	testq	$8, MM

  1493. 	je	.L36

  1494. 

  1495. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  1496. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm9)

  1497. 

  1498. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  1499. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  1500. 

  1501. 	MOVUPS_A2(-32 * SIZE, A1, LDA, 1, %xmm4)

  1502. 	MOVUPS_A2(-28 * SIZE, A1, LDA, 1, %xmm5)

  1503. 

  1504. 	mulps	 %xmm12, %xmm8

  1505. 	addps	 %xmm8,  %xmm0

  1506. 	MOVUPS_A1(-32 * SIZE, A2, %xmm8)

  1507. 	mulps	 %xmm12, %xmm9

  1508. 	addps	 %xmm9,  %xmm1

  1509. 	MOVUPS_A1(-28 * SIZE, A2, %xmm9)

  1510. 

  1511. 	mulps	 %xmm13, %xmm4

  1512. 	addps	 %xmm4,  %xmm0

  1513. 	mulps	 %xmm13, %xmm5

  1514. 	addps	 %xmm5,  %xmm1

  1515. 	mulps	 %xmm13, %xmm6

  1516. 	addps	 %xmm6,  %xmm2

  1517. 

  1518. 	mulps	 %xmm14, %xmm8

  1519. 	addps	 %xmm8,  %xmm0

  1520. 	mulps	 %xmm14, %xmm9

  1521. 	addps	 %xmm9,  %xmm1

  1522. 

  1523. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1524. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1525. 

  1526. 	addq	 $8 * SIZE, A1

  1527. 	addq	 $8 * SIZE, A2

  1528. 	addq	 $8 * SIZE, Y1

  1529. 	ALIGN_3

  1530. 

  1531. .L36:

  1532. 	testq	$4, MM

  1533. 	je	.L37

  1534. 

  1535. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  1536. 

  1537. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  1538. 

  1539. 	MOVUPS_A2(-32 * SIZE, A1, LDA, 1, %xmm4)

  1540. 

  1541. 	mulps	 %xmm12, %xmm8

  1542. 	addps	 %xmm8,  %xmm0

  1543. 	MOVUPS_A1(-32 * SIZE, A2, %xmm8)

  1544. 

  1545. 	mulps	 %xmm13, %xmm4

  1546. 	addps	 %xmm4,  %xmm0

  1547. 

  1548. 	mulps	 %xmm14, %xmm8

  1549. 	addps	 %xmm8,  %xmm0

  1550. 

  1551. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1552. 

  1553. 	addq	 $4 * SIZE, A1

  1554. 	addq	 $4 * SIZE, A2

  1555. 	addq	 $4 * SIZE, Y1

  1556. 	ALIGN_3

  1557. 

  1558. .L37:

  1559. 	testq	$2, MM

  1560. 	je	.L38

  1561. 

  1562. 	movsd	 -32 * SIZE(A1), %xmm0

  1563. 	movsd	 -32 * SIZE(A1, LDA), %xmm1

  1564. 	movsd	 -32 * SIZE(A2), %xmm2

  1565. 

  1566. 	movsd	 -32 * SIZE(Y1), %xmm8

  1567. 

  1568. 	mulps	 %xmm12, %xmm0

  1569. 	addps	 %xmm0,  %xmm8

  1570. 	mulps	 %xmm13, %xmm1

  1571. 	addps	 %xmm1,  %xmm8

  1572. 	mulps	 %xmm14, %xmm2

  1573. 	addps	 %xmm2, %xmm8

  1574. 

  1575. 	movlps	 %xmm8, -32 * SIZE(Y1)

  1576. 

  1577. 	addq	 $2 * SIZE, A1

  1578. 	addq	 $2 * SIZE, A2

  1579. 	addq	 $2 * SIZE, Y1

  1580. 	ALIGN_3

  1581. 

  1582. .L38:

  1583. 	testq	$1, MM

  1584. 	je	.L990

  1585. 

  1586. 	movss	 -32 * SIZE(Y1), %xmm8

  1587. 

  1588. 	movss	 -32 * SIZE(A1), %xmm0

  1589. 	movss	 -32 * SIZE(A1, LDA), %xmm1

  1590. 	movss	 -32 * SIZE(A2), %xmm2

  1591. 

  1592. 	mulss	 %xmm12, %xmm0

  1593. 	addss	 %xmm0,  %xmm8

  1594. 	mulss	 %xmm13, %xmm1

  1595. 	addss	 %xmm1,  %xmm8

  1596. 	mulss	 %xmm14, %xmm2

  1597. 	addss	 %xmm2, %xmm8

  1598. 

  1599. 	movss	 %xmm8, -32 * SIZE(Y1)

  1600. 	jmp	 .L990

  1601. 	ALIGN_3

  1602. 

  1603. .L40:

  1604. 	cmpq	$2, N

  1605. 	jne	.L50

  1606. 

  1607. 	leaq	32 * SIZE(BUFFER), Y1

  1608. 	movq	A,  A1

  1609. 	leaq	(A,  LDA, 1), A2

  1610. 	leaq	(A,  LDA, 2), A

  1611. 

  1612. 	movss	(X), %xmm12

  1613. 	addq	INCX, X

  1614. 	movss	(X), %xmm13

  1615. 	addq	INCX, X

  1616. 

  1617. 	movss	ALPHA, %xmm0

  1618. 

  1619. 	mulss	%xmm0, %xmm12

  1620. 	mulss	%xmm0, %xmm13

  1621. 

  1622. 	shufps	$0, %xmm12, %xmm12

  1623. 	shufps	$0, %xmm13, %xmm13

  1624. 

  1625. #ifdef ALIGNED_ACCESS

  1626. 	cmpq	$3, M

  1627. 	jle	.L47

  1628. 

  1629. 	testq	$SIZE, A1

  1630. 	je	.L4X

  1631. 

  1632. 	movss	 -32 * SIZE(Y1), %xmm8

  1633. 

  1634. 	movss	 -32 * SIZE(A1), %xmm0

  1635. 	movss	 -32 * SIZE(A2), %xmm1

  1636. 

  1637. 	mulss	 %xmm12, %xmm0

  1638. 	addss	 %xmm0,  %xmm8

  1639. 	mulss	 %xmm13, %xmm1

  1640. 	addss	 %xmm1,  %xmm8

  1641. 

  1642. 	movss	 %xmm8, -32 * SIZE(Y1)

  1643. 

  1644. 	addq	 $1 * SIZE, A1

  1645. 	addq	 $1 * SIZE, A2

  1646. 	addq	 $1 * SIZE, Y1

  1647. 	ALIGN_3

  1648. 

  1649. .L4X:

  1650. 	testq	$2 * SIZE, A1

  1651. 	je	.L4XX

  1652. 

  1653. 	movsd	 -32 * SIZE(A1), %xmm0

  1654. 	movsd	 -32 * SIZE(A2), %xmm1

  1655. 

  1656. 	movsd	 -32 * SIZE(Y1), %xmm8

  1657. 

  1658. 	mulps	 %xmm12, %xmm0

  1659. 	addps	 %xmm0,  %xmm8

  1660. 	mulps	 %xmm13, %xmm1

  1661. 	addps	 %xmm1,  %xmm8

  1662. 

  1663. 	movlps	 %xmm8, -32 * SIZE(Y1)

  1664. 

  1665. 	addq	 $2 * SIZE, A1

  1666. 	addq	 $2 * SIZE, A2

  1667. 	addq	 $2 * SIZE, Y1

  1668. 	ALIGN_3

  1669. 

  1670. .L4XX:

  1671. #endif

  1672. 

  1673. 	movq	MM,  I

  1674. 	sarq	$4,  I

  1675. 	jle	.L45

  1676. 

  1677. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  1678. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm9)

  1679. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm10)

  1680. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm11)

  1681. 

  1682. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  1683. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  1684. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  1685. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  1686. 

  1687. 	MOVUPS_A1(-32 * SIZE, A2, %xmm4)

  1688. 	MOVUPS_A1(-28 * SIZE, A2, %xmm5)

  1689. 	MOVUPS_A1(-24 * SIZE, A2, %xmm6)

  1690. 	MOVUPS_A1(-20 * SIZE, A2, %xmm7)

  1691. 

  1692. 	decq	 I

  1693. 	jle	 .L44

  1694. 	ALIGN_3

  1695. 

  1696. .L43:

  1697. #ifdef PREFETCH

  1698. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  1699. #endif

  1700. 

  1701. 	mulps	 %xmm12, %xmm8

  1702. 	addps	 %xmm8,  %xmm0

  1703. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm8)

  1704. 	mulps	 %xmm12, %xmm9

  1705. 	addps	 %xmm9,  %xmm1

  1706. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm9)

  1707. 	mulps	 %xmm12, %xmm10

  1708. 	addps	 %xmm10,  %xmm2

  1709. 	MOVUPS_A1 ( -8 * SIZE, A1, %xmm10)

  1710. 	mulps	 %xmm12, %xmm11

  1711. 	addps	 %xmm11,  %xmm3

  1712. 	MOVUPS_A1 ( -4 * SIZE, A1, %xmm11)

  1713. 

  1714. #ifdef PREFETCH

  1715. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A2)

  1716. #endif

  1717. 

  1718. 	mulps	 %xmm13, %xmm4

  1719. 	addps	 %xmm4,  %xmm0

  1720. 	MOVUPS_A1(-16 * SIZE, A2, %xmm4)

  1721. 	mulps	 %xmm13, %xmm5

  1722. 	addps	 %xmm5,  %xmm1

  1723. 	MOVUPS_A1(-12 * SIZE, A2, %xmm5)

  1724. 	mulps	 %xmm13, %xmm6

  1725. 	addps	 %xmm6,  %xmm2

  1726. 	MOVUPS_A1( -8 * SIZE, A2, %xmm6)

  1727. 	mulps	 %xmm13, %xmm7

  1728. 	addps	 %xmm7,  %xmm3

  1729. 	MOVUPS_A1( -4 * SIZE, A2, %xmm7)

  1730. 

  1731. #ifdef PREFETCHW

  1732. 	PREFETCHW	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(Y1)

  1733. #endif

  1734. 

  1735. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1736. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1737. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  1738. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  1739. 

  1740. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  1741. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  1742. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  1743. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  1744. 

  1745. 	subq	 $-16 * SIZE, A1

  1746. 	subq	 $-16 * SIZE, A2

  1747. 	subq	 $-16 * SIZE, Y1

  1748. 

  1749. 	subq	 $1, I

  1750. 	BRANCH

  1751. 	jg	.L43

  1752. 	ALIGN_3

  1753. 

  1754. .L44:

  1755. 	mulps	 %xmm12, %xmm8

  1756. 	addps	 %xmm8,  %xmm0

  1757. 	mulps	 %xmm12, %xmm9

  1758. 	addps	 %xmm9,  %xmm1

  1759. 	mulps	 %xmm12, %xmm10

  1760. 	addps	 %xmm10,  %xmm2

  1761. 	mulps	 %xmm12, %xmm11

  1762. 	addps	 %xmm11,  %xmm3

  1763. 

  1764. 	mulps	 %xmm13, %xmm4

  1765. 	addps	 %xmm4,  %xmm0

  1766. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1767. 	mulps	 %xmm13, %xmm5

  1768. 	addps	 %xmm5,  %xmm1

  1769. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1770. 	mulps	 %xmm13, %xmm6

  1771. 	addps	 %xmm6,  %xmm2

  1772. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  1773. 	mulps	 %xmm13, %xmm7

  1774. 	addps	 %xmm7,  %xmm3

  1775. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  1776. 

  1777. 	subq	 $-16 * SIZE, A1

  1778. 	subq	 $-16 * SIZE, A2

  1779. 	subq	 $-16 * SIZE, Y1

  1780. 	ALIGN_3

  1781. 

  1782. .L45:

  1783. 	testq	$8, MM

  1784. 	je	.L46

  1785. 

  1786. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  1787. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm9)

  1788. 

  1789. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  1790. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  1791. 

  1792. 	mulps	 %xmm12, %xmm8

  1793. 	addps	 %xmm8,  %xmm0

  1794. 	MOVUPS_A1(-32 * SIZE, A2, %xmm4)

  1795. 	mulps	 %xmm12, %xmm9

  1796. 	addps	 %xmm9,  %xmm1

  1797. 	MOVUPS_A1(-28 * SIZE, A2, %xmm5)

  1798. 

  1799. 	mulps	 %xmm13, %xmm4

  1800. 	addps	 %xmm4,  %xmm0

  1801. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1802. 	mulps	 %xmm13, %xmm5

  1803. 	addps	 %xmm5,  %xmm1

  1804. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1805. 

  1806. 	addq	 $8 * SIZE, A1

  1807. 	addq	 $8 * SIZE, A2

  1808. 	addq	 $8 * SIZE, Y1

  1809. 	ALIGN_3

  1810. 

  1811. .L46:

  1812. 	testq	$4, MM

  1813. 	je	.L47

  1814. 

  1815. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  1816. 

  1817. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  1818. 

  1819. 	mulps	 %xmm12, %xmm8

  1820. 	addps	 %xmm8,  %xmm0

  1821. 	MOVUPS_A1(-32 * SIZE, A2, %xmm4)

  1822. 	mulps	 %xmm13, %xmm4

  1823. 	addps	 %xmm4,  %xmm0

  1824. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1825. 

  1826. 	addq	 $4 * SIZE, A1

  1827. 	addq	 $4 * SIZE, A2

  1828. 	addq	 $4 * SIZE, Y1

  1829. 	ALIGN_3

  1830. 

  1831. .L47:

  1832. 	testq	$2, MM

  1833. 	je	.L48

  1834. 

  1835. 	movsd	 -32 * SIZE(A1), %xmm0

  1836. 	movsd	 -32 * SIZE(A2), %xmm1

  1837. 

  1838. 	movsd	 -32 * SIZE(Y1), %xmm8

  1839. 

  1840. 	mulps	 %xmm12, %xmm0

  1841. 	addps	 %xmm0,  %xmm8

  1842. 	mulps	 %xmm13, %xmm1

  1843. 	addps	 %xmm1,  %xmm8

  1844. 

  1845. 	movlps	 %xmm8, -32 * SIZE(Y1)

  1846. 

  1847. 	addq	 $2 * SIZE, A1

  1848. 	addq	 $2 * SIZE, A2

  1849. 	addq	 $2 * SIZE, Y1

  1850. 	ALIGN_3

  1851. 

  1852. .L48:

  1853. 	testq	$1, MM

  1854. 	je	.L990

  1855. 

  1856. 	movss	 -32 * SIZE(Y1), %xmm8

  1857. 

  1858. 	movss	 -32 * SIZE(A1), %xmm0

  1859. 	movss	 -32 * SIZE(A2), %xmm1

  1860. 

  1861. 	mulss	 %xmm12, %xmm0

  1862. 	addss	 %xmm0,  %xmm8

  1863. 	mulss	 %xmm13, %xmm1

  1864. 	addss	 %xmm1,  %xmm8

  1865. 

  1866. 	movss	 %xmm8, -32 * SIZE(Y1)

  1867. 	jmp	 .L990

  1868. 	ALIGN_3

  1869. 

  1870. .L50:

  1871. 	cmpq	$1, N

  1872. 	jne	.L990

  1873. 

  1874. 	leaq	32 * SIZE(BUFFER), Y1

  1875. 	movq	A,  A1

  1876. 

  1877. 	movss	(X), %xmm12

  1878. 

  1879. 	mulss	ALPHA, %xmm12

  1880. 	shufps	$0, %xmm12, %xmm12

  1881. 

  1882. #ifdef ALIGNED_ACCESS

  1883. 	cmpq	$3, M

  1884. 	jle	.L57

  1885. 

  1886. 	testq	$SIZE, A1

  1887. 	je	.L5X

  1888. 

  1889. 	movss	 -32 * SIZE(Y1), %xmm8

  1890. 	movss	 -32 * SIZE(A1), %xmm0

  1891. 

  1892. 	mulss	 %xmm12, %xmm0

  1893. 	addss	 %xmm0,  %xmm8

  1894. 

  1895. 	movss	 %xmm8, -32 * SIZE(Y1)

  1896. 

  1897. 	addq	 $1 * SIZE, A1

  1898. 	addq	 $1 * SIZE, A2

  1899. 	addq	 $1 * SIZE, Y1

  1900. 	ALIGN_3

  1901. 

  1902. .L5X:

  1903. 	testq	$2 * SIZE, A1

  1904. 	je	.L5XX

  1905. 

  1906. 	movsd	 -32 * SIZE(Y1), %xmm8

  1907. 	movsd	 -32 * SIZE(A1), %xmm0

  1908. 

  1909. 	mulps	 %xmm12, %xmm0

  1910. 	addps	 %xmm0,  %xmm8

  1911. 

  1912. 	movlps	 %xmm8, -32 * SIZE(Y1)

  1913. 

  1914. 	addq	 $2 * SIZE, A1

  1915. 	addq	 $2 * SIZE, A2

  1916. 	addq	 $2 * SIZE, Y1

  1917. 	ALIGN_3

  1918. 

  1919. .L5XX:

  1920. #endif

  1921. 

  1922. 	movq	MM,  I

  1923. 	sarq	$4,  I

  1924. 	jle	.L55

  1925. 

  1926. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  1927. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm9)

  1928. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm10)

  1929. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm11)

  1930. 

  1931. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  1932. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  1933. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  1934. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  1935. 

  1936. 	decq	 I

  1937. 	jle	 .L54

  1938. 	ALIGN_3

  1939. 

  1940. .L53:

  1941. #ifdef PREFETCH

  1942. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(A1)

  1943. #endif

  1944. 

  1945. 	mulps	 %xmm12, %xmm8

  1946. 	addps	 %xmm8,  %xmm0

  1947. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm8)

  1948. 	mulps	 %xmm12, %xmm9

  1949. 	addps	 %xmm9,  %xmm1

  1950. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm9)

  1951. 	mulps	 %xmm12, %xmm10

  1952. 	addps	 %xmm10,  %xmm2

  1953. 	MOVUPS_A1 ( -8 * SIZE, A1, %xmm10)

  1954. 	mulps	 %xmm12, %xmm11

  1955. 	addps	 %xmm11,  %xmm3

  1956. 	MOVUPS_A1 ( -4 * SIZE, A1, %xmm11)

  1957. 

  1958. #ifdef PREFETCHW

  1959. 	PREFETCHW	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(Y1)

  1960. #endif

  1961. 

  1962. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1963. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1964. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  1965. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  1966. 

  1967. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  1968. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  1969. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  1970. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  1971. 

  1972. 	subq	 $-16 * SIZE, A1

  1973. 	subq	 $-16 * SIZE, Y1

  1974. 

  1975. 	subq	 $1, I

  1976. 	BRANCH

  1977. 	jg	.L53

  1978. 	ALIGN_3

  1979. 

  1980. .L54:

  1981. 	mulps	 %xmm12, %xmm8

  1982. 	addps	 %xmm8,  %xmm0

  1983. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  1984. 	mulps	 %xmm12, %xmm9

  1985. 	addps	 %xmm9,  %xmm1

  1986. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  1987. 	mulps	 %xmm12, %xmm10

  1988. 	addps	 %xmm10,  %xmm2

  1989. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  1990. 	mulps	 %xmm12, %xmm11

  1991. 	addps	 %xmm11,  %xmm3

  1992. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  1993. 

  1994. 	subq	 $-16 * SIZE, A1

  1995. 	subq	 $-16 * SIZE, Y1

  1996. 	ALIGN_3

  1997. 

  1998. .L55:

  1999. 	testq	$8, MM

  2000. 	je	.L56

  2001. 

  2002. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  2003. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm9)

  2004. 

  2005. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  2006. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  2007. 

  2008. 	mulps	 %xmm12, %xmm8

  2009. 	addps	 %xmm8,  %xmm0

  2010. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2011. 	mulps	 %xmm12, %xmm9

  2012. 	addps	 %xmm9,  %xmm1

  2013. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  2014. 

  2015. 	addq	 $8 * SIZE, A1

  2016. 	addq	 $8 * SIZE, Y1

  2017. 	ALIGN_3

  2018. 

  2019. .L56:

  2020. 	testq	$4, MM

  2021. 	je	.L57

  2022. 

  2023. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm8)

  2024. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  2025. 

  2026. 	mulps	 %xmm12, %xmm8

  2027. 	addps	 %xmm8,  %xmm0

  2028. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2029. 

  2030. 	addq	 $4 * SIZE, A1

  2031. 	addq	 $4 * SIZE, Y1

  2032. 	ALIGN_3

  2033. 

  2034. .L57:

  2035. 	testq	$2, MM

  2036. 	je	.L58

  2037. 

  2038. 	movsd	 -32 * SIZE(Y1), %xmm8

  2039. 	movsd	 -32 * SIZE(A1), %xmm0

  2040. 

  2041. 	mulps	 %xmm12, %xmm0

  2042. 	addps	 %xmm0,  %xmm8

  2043. 

  2044. 	movlps	 %xmm8, -32 * SIZE(Y1)

  2045. 

  2046. 	addq	 $2 * SIZE, A1

  2047. 	addq	 $2 * SIZE, Y1

  2048. 	ALIGN_3

  2049. 

  2050. .L58:

  2051. 	testq	$1, MM

  2052. 	je	.L990

  2053. 

  2054. 	movss	 -32 * SIZE(Y1), %xmm8

  2055. 	movss	 -32 * SIZE(A1), %xmm0

  2056. 

  2057. 	mulss	 %xmm12, %xmm0

  2058. 	addss	 %xmm0,  %xmm8

  2059. 

  2060. 	movss	 %xmm8, -32 * SIZE(Y1)

  2061. 

  2062. #ifdef ALIGNED_ACCESS

  2063.        jmp	.L990

  2064.        ALIGN_3

  2065. 

  2066. .L100:

  2067. 	testq	$2 * SIZE - 1, LDA

  2068. 	jne	.L200

  2069. 

  2070. 	cmpq	$4, N

  2071. 	jl	.L110

  2072. 	ALIGN_3

  2073. 

  2074. .L101:

  2075. 	subq	$4, N

  2076. 

  2077. 	leaq	32 * SIZE(BUFFER), Y1

  2078. 	movq	A,  A1

  2079. 	leaq	(A,  LDA, 2), A2

  2080. 	leaq	(A,  LDA, 4), A

  2081. 

  2082. 	movss	(X), %xmm12

  2083. 	addq	INCX, X

  2084. 	movss	(X), %xmm13

  2085. 	addq	INCX, X

  2086. 	movss	(X), %xmm14

  2087. 	addq	INCX, X

  2088. 	movss	(X), %xmm15

  2089. 	addq	INCX, X

  2090. 

  2091. 	movss	ALPHA, %xmm0

  2092. 

  2093. 	mulss	%xmm0, %xmm12

  2094. 	mulss	%xmm0, %xmm13

  2095. 	mulss	%xmm0, %xmm14

  2096. 	mulss	%xmm0, %xmm15

  2097. 

  2098. 	shufps	$0, %xmm12, %xmm12

  2099. 	shufps	$0, %xmm13, %xmm13

  2100. 	shufps	$0, %xmm14, %xmm14

  2101. 	shufps	$0, %xmm15, %xmm15

  2102. 

  2103. 	cmpq	$3, M

  2104. 	jle	.L107

  2105. 

  2106. 	testq	$SIZE, A1

  2107. 	je	.L10X

  2108. 

  2109. 	movss	 -32 * SIZE(A1), %xmm0

  2110. 	movss	 -32 * SIZE(A1, LDA), %xmm1

  2111. 	movss	 -32 * SIZE(A2), %xmm2

  2112. 	movss	 -32 * SIZE(A2, LDA), %xmm3

  2113. 

  2114. 	movss	 -32 * SIZE(Y1), %xmm8

  2115. 

  2116. 	mulss	 %xmm12, %xmm0

  2117. 	addss	 %xmm0,  %xmm8

  2118. 	mulss	 %xmm13, %xmm1

  2119. 	addss	 %xmm1,  %xmm8

  2120. 	mulss	 %xmm14, %xmm2

  2121. 	addss	 %xmm2, %xmm8

  2122. 	mulss	 %xmm15, %xmm3

  2123. 	addss	 %xmm3, %xmm8

  2124. 

  2125. 	movss	 %xmm8, -32 * SIZE(Y1)

  2126. 

  2127. 	addq	 $1 * SIZE, A1

  2128. 	addq	 $1 * SIZE, A2

  2129. 	addq	 $1 * SIZE, Y1

  2130. 	ALIGN_3

  2131. 

  2132. .L10X:

  2133. 	testq	$2 * SIZE, A1

  2134. 	je	.L10XX

  2135. 

  2136. 	movsd	 -32 * SIZE(A1), %xmm0

  2137. 	movsd	 -32 * SIZE(A1, LDA), %xmm1

  2138. 	movsd	 -32 * SIZE(A2), %xmm2

  2139. 	movsd	 -32 * SIZE(A2, LDA), %xmm3

  2140. 

  2141. 	movsd	 -32 * SIZE(Y1), %xmm8

  2142. 

  2143. 	mulps	 %xmm12, %xmm0

  2144. 	addps	 %xmm0,  %xmm8

  2145. 	mulps	 %xmm13, %xmm1

  2146. 	addps	 %xmm1,  %xmm8

  2147. 	mulps	 %xmm14, %xmm2

  2148. 	addps	 %xmm2, %xmm8

  2149. 	mulps	 %xmm15, %xmm3

  2150. 	addps	 %xmm3, %xmm8

  2151. 

  2152. 	movlps	 %xmm8, -32 * SIZE(Y1)

  2153. 

  2154. 	addq	 $2 * SIZE, A1

  2155. 	addq	 $2 * SIZE, A2

  2156. 	addq	 $2 * SIZE, Y1

  2157. 	ALIGN_3

  2158. 

  2159. .L10XX:

  2160. 	movhps	-32 * SIZE(A1, LDA), %xmm8

  2161. 	movhps	-32 * SIZE(A2, LDA), %xmm9

  2162. 

  2163. 	movq	MM,  I

  2164. 	sarq	$4,  I

  2165. 	jle	.L105

  2166. 

  2167. 	movaps	 -32 * SIZE(A1), %xmm4

  2168. 	movaps	 -28 * SIZE(A1), %xmm5

  2169. 	movaps	 -24 * SIZE(A1), %xmm6

  2170. 

  2171. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  2172. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  2173. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  2174. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  2175. 

  2176. 	decq	 I

  2177. 	jle	 .L104

  2178. 	ALIGN_3

  2179. 

  2180. .L103:

  2181. #ifdef PREFETCH

  2182. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  2183. #endif

  2184. 

  2185. 	mulps	 %xmm12, %xmm4

  2186. 	addps	 %xmm4,  %xmm0

  2187. 	movaps	 -20 * SIZE(A1), %xmm7

  2188. 	mulps	 %xmm12, %xmm5

  2189. 	addps	 %xmm5,  %xmm1

  2190. 	movaps	 -30 * SIZE(A1, LDA), %xmm4

  2191. 	mulps	 %xmm12, %xmm6

  2192. 	addps	 %xmm6,  %xmm2

  2193. 	movaps	 -26 * SIZE(A1, LDA), %xmm5

  2194. 	mulps	 %xmm12, %xmm7

  2195. 	addps	 %xmm7,  %xmm3

  2196. 	movaps	 -22 * SIZE(A1, LDA), %xmm6

  2197. 

  2198. #ifdef PREFETCH

  2199. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1, LDA)

  2200. #endif

  2201. 

  2202. 	shufps	 $0x4e, %xmm4, %xmm8

  2203. 	mulps	 %xmm13, %xmm8

  2204. 	addps	 %xmm8,  %xmm0

  2205. 	movaps	 -18 * SIZE(A1, LDA), %xmm8

  2206. 	shufps	 $0x4e, %xmm5, %xmm4

  2207. 	mulps	 %xmm13, %xmm4

  2208. 	addps	 %xmm4,  %xmm1

  2209. 	movaps	 -32 * SIZE(A2), %xmm4

  2210. 	shufps	 $0x4e, %xmm6, %xmm5

  2211. 	mulps	 %xmm13, %xmm5

  2212. 	addps	 %xmm5,  %xmm2

  2213. 	movaps	 -28 * SIZE(A2), %xmm5

  2214. 	shufps	 $0x4e, %xmm8, %xmm6

  2215. 	mulps	 %xmm13, %xmm6

  2216. 	addps	 %xmm6,  %xmm3

  2217. 	movaps	 -24 * SIZE(A2), %xmm6

  2218. 

  2219. #ifdef PREFETCH

  2220. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  2221. #endif

  2222. 

  2223. 	mulps	 %xmm14, %xmm4

  2224. 	addps	 %xmm4,  %xmm0

  2225. 	movaps	 -20 * SIZE(A2), %xmm7

  2226. 	mulps	 %xmm14, %xmm5

  2227. 	addps	 %xmm5,  %xmm1

  2228. 	movaps	 -30 * SIZE(A2, LDA), %xmm4

  2229. 	mulps	 %xmm14, %xmm6

  2230. 	addps	 %xmm6,  %xmm2

  2231. 	movaps	 -26 * SIZE(A2, LDA), %xmm5

  2232. 	mulps	 %xmm14, %xmm7

  2233. 	addps	 %xmm7,  %xmm3

  2234. 	movaps	 -22 * SIZE(A2, LDA), %xmm6

  2235. 

  2236. #ifdef PREFETCH

  2237. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2, LDA)

  2238. #endif

  2239. 

  2240. 	shufps	 $0x4e, %xmm4, %xmm9

  2241. 	mulps	 %xmm15, %xmm9

  2242. 	addps	 %xmm9,  %xmm0

  2243. 	movaps	 -18 * SIZE(A2, LDA), %xmm9

  2244. 	shufps	 $0x4e, %xmm5, %xmm4

  2245. 	mulps	 %xmm15, %xmm4

  2246. 	addps	 %xmm4,  %xmm1

  2247. 	movaps	 -16 * SIZE(A1), %xmm4

  2248. 	shufps	 $0x4e, %xmm6, %xmm5

  2249. 	mulps	 %xmm15, %xmm5

  2250. 	addps	 %xmm5,  %xmm2

  2251. 	movaps	 -12 * SIZE(A1), %xmm5

  2252. 	shufps	 $0x4e, %xmm9, %xmm6

  2253. 	mulps	 %xmm15, %xmm6

  2254. 	addps	 %xmm6,  %xmm3

  2255. 	movaps	  -8 * SIZE(A1), %xmm6

  2256. 

  2257. #ifdef PREFETCHW

  2258. 	PREFETCHW	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(Y1)

  2259. #endif

  2260. 

  2261. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2262. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  2263. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  2264. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  2265. 

  2266. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  2267. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  2268. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  2269. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  2270. 

  2271. 	subq	 $-16 * SIZE, A1

  2272. 	subq	 $-16 * SIZE, A2

  2273. 	subq	 $-16 * SIZE, Y1

  2274. 

  2275. 	subq	 $1, I

  2276. 	BRANCH

  2277. 	jg	.L103

  2278. 	ALIGN_3

  2279. 

  2280. .L104:

  2281. 	mulps	 %xmm12, %xmm4

  2282. 	addps	 %xmm4,  %xmm0

  2283. 	movaps	 -20 * SIZE(A1), %xmm7

  2284. 	mulps	 %xmm12, %xmm5

  2285. 	addps	 %xmm5,  %xmm1

  2286. 	movaps	 -30 * SIZE(A1, LDA), %xmm4

  2287. 	mulps	 %xmm12, %xmm6

  2288. 	addps	 %xmm6,  %xmm2

  2289. 	movaps	 -26 * SIZE(A1, LDA), %xmm5

  2290. 	mulps	 %xmm12, %xmm7

  2291. 	addps	 %xmm7,  %xmm3

  2292. 	movaps	 -22 * SIZE(A1, LDA), %xmm6

  2293. 

  2294. 	shufps	 $0x4e, %xmm4, %xmm8

  2295. 	mulps	 %xmm13, %xmm8

  2296. 	addps	 %xmm8,  %xmm0

  2297. 	movaps	 -18 * SIZE(A1, LDA), %xmm8

  2298. 	shufps	 $0x4e, %xmm5, %xmm4

  2299. 	mulps	 %xmm13, %xmm4

  2300. 	addps	 %xmm4,  %xmm1

  2301. 	movaps	 -32 * SIZE(A2), %xmm4

  2302. 	shufps	 $0x4e, %xmm6, %xmm5

  2303. 	mulps	 %xmm13, %xmm5

  2304. 	addps	 %xmm5,  %xmm2

  2305. 	movaps	 -28 * SIZE(A2), %xmm5

  2306. 	shufps	 $0x4e, %xmm8, %xmm6

  2307. 	mulps	 %xmm13, %xmm6

  2308. 	addps	 %xmm6,  %xmm3

  2309. 	movaps	 -24 * SIZE(A2), %xmm6

  2310. 

  2311. 	mulps	 %xmm14, %xmm4

  2312. 	addps	 %xmm4,  %xmm0

  2313. 	movaps	 -20 * SIZE(A2), %xmm7

  2314. 	mulps	 %xmm14, %xmm5

  2315. 	addps	 %xmm5,  %xmm1

  2316. 	movaps	 -30 * SIZE(A2, LDA), %xmm4

  2317. 	mulps	 %xmm14, %xmm6

  2318. 	addps	 %xmm6,  %xmm2

  2319. 	movaps	 -26 * SIZE(A2, LDA), %xmm5

  2320. 	mulps	 %xmm14, %xmm7

  2321. 	addps	 %xmm7,  %xmm3

  2322. 	movaps	 -22 * SIZE(A2, LDA), %xmm6

  2323. 

  2324. 	shufps	 $0x4e, %xmm4, %xmm9

  2325. 	mulps	 %xmm15, %xmm9

  2326. 	addps	 %xmm9,  %xmm0

  2327. 	movaps	 -18 * SIZE(A2, LDA), %xmm9

  2328. 	shufps	 $0x4e, %xmm5, %xmm4

  2329. 	mulps	 %xmm15, %xmm4

  2330. 	addps	 %xmm4,  %xmm1

  2331. 	shufps	 $0x4e, %xmm6, %xmm5

  2332. 	mulps	 %xmm15, %xmm5

  2333. 	addps	 %xmm5,  %xmm2

  2334. 	shufps	 $0x4e, %xmm9, %xmm6

  2335. 	mulps	 %xmm15, %xmm6

  2336. 	addps	 %xmm6,  %xmm3

  2337. 

  2338. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2339. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  2340. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  2341. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  2342. 

  2343. 	subq	 $-16 * SIZE, A1

  2344. 	subq	 $-16 * SIZE, A2

  2345. 	subq	 $-16 * SIZE, Y1

  2346. 	ALIGN_3

  2347. 

  2348. .L105:

  2349. 	testq	$8, MM

  2350. 	je	.L106

  2351. 

  2352. 	movaps	 -32 * SIZE(A1), %xmm4

  2353. 	movaps	 -28 * SIZE(A1), %xmm5

  2354. 	movaps	 -30 * SIZE(A1, LDA), %xmm6

  2355. 	movaps	 -26 * SIZE(A1, LDA), %xmm7

  2356. 

  2357. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  2358. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  2359. 

  2360. 	mulps	 %xmm12, %xmm4

  2361. 	addps	 %xmm4,  %xmm0

  2362. 	movaps	 -32 * SIZE(A2), %xmm4

  2363. 	mulps	 %xmm12, %xmm5

  2364. 	addps	 %xmm5,  %xmm1

  2365. 	movaps	 -28 * SIZE(A2), %xmm10

  2366. 

  2367. 	shufps	 $0x4e, %xmm6, %xmm8

  2368. 	mulps	 %xmm13, %xmm8

  2369. 	addps	 %xmm8,  %xmm0

  2370. 	movaps	 -30 * SIZE(A2, LDA), %xmm11

  2371. 	shufps	 $0x4e, %xmm7, %xmm6

  2372. 	mulps	 %xmm13, %xmm6

  2373. 	addps	 %xmm6,  %xmm1

  2374. 	movaps	 %xmm7, %xmm8

  2375. 	movaps	 -26 * SIZE(A2, LDA), %xmm7

  2376. 

  2377. 	mulps	 %xmm14, %xmm4

  2378. 	addps	 %xmm4,  %xmm0

  2379. 	mulps	 %xmm14, %xmm10

  2380. 	addps	 %xmm10,  %xmm1

  2381. 

  2382. 	shufps	 $0x4e, %xmm11, %xmm9

  2383. 	mulps	 %xmm15, %xmm9

  2384. 	addps	 %xmm9,  %xmm0

  2385. 	shufps	 $0x4e, %xmm7, %xmm11

  2386. 	mulps	 %xmm15, %xmm11

  2387. 	addps	 %xmm11,  %xmm1

  2388. 	movaps	 %xmm7, %xmm9

  2389. 

  2390. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2391. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  2392. 

  2393. 	addq	 $8 * SIZE, A1

  2394. 	addq	 $8 * SIZE, A2

  2395. 	addq	 $8 * SIZE, Y1

  2396. 	ALIGN_3

  2397. 

  2398. .L106:

  2399. 	testq	$4, MM

  2400. 	je	.L107

  2401. 

  2402. 	movaps	 -32 * SIZE(A1), %xmm4

  2403. 	movaps	 -30 * SIZE(A1, LDA), %xmm5

  2404. 	movaps	 -32 * SIZE(A2), %xmm6

  2405. 	movaps	 -30 * SIZE(A2, LDA), %xmm7

  2406. 

  2407. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  2408. 

  2409. 	mulps	 %xmm12, %xmm4

  2410. 	addps	 %xmm4,  %xmm0

  2411. 	shufps	 $0x4e, %xmm5, %xmm8

  2412. 	mulps	 %xmm13, %xmm8

  2413. 	addps	 %xmm8,  %xmm0

  2414. 	mulps	 %xmm14, %xmm6

  2415. 	addps	 %xmm6,  %xmm0

  2416. 	shufps	 $0x4e, %xmm7, %xmm9

  2417. 	mulps	 %xmm15, %xmm9

  2418. 	addps	 %xmm9,  %xmm0

  2419. 

  2420. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2421. 

  2422. 	addq	 $4 * SIZE, A1

  2423. 	addq	 $4 * SIZE, A2

  2424. 	addq	 $4 * SIZE, Y1

  2425. 	ALIGN_3

  2426. 

  2427. .L107:

  2428. 	testq	$2, MM

  2429. 	je	.L108

  2430. 

  2431. 	movsd	 -32 * SIZE(A1), %xmm4

  2432. 	movsd	 -32 * SIZE(A1, LDA), %xmm5

  2433. 	movsd	 -32 * SIZE(A2), %xmm6

  2434. 	movsd	 -32 * SIZE(A2, LDA), %xmm7

  2435. 

  2436. 	movsd	 -32 * SIZE(Y1), %xmm0

  2437. 

  2438. 	mulps	 %xmm12, %xmm4

  2439. 	addps	 %xmm4,  %xmm0

  2440. 	mulps	 %xmm13, %xmm5

  2441. 	addps	 %xmm5,  %xmm0

  2442. 	mulps	 %xmm14, %xmm6

  2443. 	addps	 %xmm6,  %xmm0

  2444. 	mulps	 %xmm15, %xmm7

  2445. 	addps	 %xmm7,  %xmm0

  2446. 

  2447. 	movlps	 %xmm0, -32 * SIZE(Y1)

  2448. 

  2449. 	addq	 $2 * SIZE, A1

  2450. 	addq	 $2 * SIZE, A2

  2451. 	addq	 $2 * SIZE, Y1

  2452. 	ALIGN_3

  2453. 

  2454. .L108:

  2455. 	testq	$1, MM

  2456. 	je	.L109

  2457. 

  2458. 	movss	 -32 * SIZE(Y1), %xmm0

  2459. 

  2460. 	movss	 -32 * SIZE(A1), %xmm4

  2461. 	movss	 -32 * SIZE(A1, LDA), %xmm5

  2462. 	movss	 -32 * SIZE(A2), %xmm6

  2463. 	movss	 -32 * SIZE(A2, LDA), %xmm7

  2464. 

  2465. 	mulss	 %xmm12, %xmm4

  2466. 	addss	 %xmm4,  %xmm0

  2467. 	mulss	 %xmm13, %xmm5

  2468. 	addss	 %xmm5,  %xmm0

  2469. 	mulss	 %xmm14, %xmm6

  2470. 	addss	 %xmm6,  %xmm0

  2471. 	mulss	 %xmm15, %xmm7

  2472. 	addss	 %xmm7,  %xmm0

  2473. 

  2474. 	movss	 %xmm0, -32 * SIZE(Y1)

  2475. 	ALIGN_3

  2476. 

  2477. .L109:

  2478. 	cmpq	$4, N

  2479. 	jge	.L101

  2480. 	ALIGN_3

  2481. 

  2482. .L110:

  2483. 	testq	N, N

  2484. 	jle	.L990

  2485. 

  2486. 	cmpq	$3, N

  2487. 	jne	.L120

  2488. 

  2489. 	leaq	32 * SIZE(BUFFER), Y1

  2490. 	movq	A,  A1

  2491. 	leaq	(A,  LDA, 2), A2

  2492. 	leaq	(A,  LDA, 4), A

  2493. 

  2494. 	movss	(X), %xmm12

  2495. 	addq	INCX, X

  2496. 	movss	(X), %xmm13

  2497. 	addq	INCX, X

  2498. 	movss	(X), %xmm14

  2499. 	addq	INCX, X

  2500. 

  2501. 	movss	ALPHA, %xmm0

  2502. 

  2503. 	mulss	%xmm0, %xmm12

  2504. 	mulss	%xmm0, %xmm13

  2505. 	mulss	%xmm0, %xmm14

  2506. 

  2507. 	shufps	$0, %xmm12, %xmm12

  2508. 	shufps	$0, %xmm13, %xmm13

  2509. 	shufps	$0, %xmm14, %xmm14

  2510. 

  2511. 	cmpq	$3, M

  2512. 	jle	.L117

  2513. 

  2514. 	testq	$SIZE, A1

  2515. 	je	.L11X

  2516. 

  2517. 	movss	 -32 * SIZE(A1), %xmm0

  2518. 	movss	 -32 * SIZE(A1, LDA), %xmm1

  2519. 	movss	 -32 * SIZE(A2), %xmm2

  2520. 

  2521. 	movss	 -32 * SIZE(Y1), %xmm8

  2522. 

  2523. 	mulss	 %xmm12, %xmm0

  2524. 	addss	 %xmm0,  %xmm8

  2525. 	mulss	 %xmm13, %xmm1

  2526. 	addss	 %xmm1,  %xmm8

  2527. 	mulss	 %xmm14, %xmm2

  2528. 	addss	 %xmm2, %xmm8

  2529. 

  2530. 	movss	 %xmm8, -32 * SIZE(Y1)

  2531. 

  2532. 	addq	 $1 * SIZE, A1

  2533. 	addq	 $1 * SIZE, A2

  2534. 	addq	 $1 * SIZE, Y1

  2535. 	ALIGN_3

  2536. 

  2537. .L11X:

  2538. 	testq	$2 * SIZE, A1

  2539. 	je	.L11XX

  2540. 

  2541. 	movsd	 -32 * SIZE(A1), %xmm0

  2542. 	movsd	 -32 * SIZE(A1, LDA), %xmm1

  2543. 	movsd	 -32 * SIZE(A2), %xmm2

  2544. 

  2545. 	movsd	 -32 * SIZE(Y1), %xmm8

  2546. 

  2547. 	mulps	 %xmm12, %xmm0

  2548. 	addps	 %xmm0,  %xmm8

  2549. 	mulps	 %xmm13, %xmm1

  2550. 	addps	 %xmm1,  %xmm8

  2551. 	mulps	 %xmm14, %xmm2

  2552. 	addps	 %xmm2, %xmm8

  2553. 

  2554. 	movlps	 %xmm8, -32 * SIZE(Y1)

  2555. 

  2556. 	addq	 $2 * SIZE, A1

  2557. 	addq	 $2 * SIZE, A2

  2558. 	addq	 $2 * SIZE, Y1

  2559. 	ALIGN_3

  2560. 

  2561. .L11XX:

  2562. 	movhps	-32 * SIZE(A1, LDA), %xmm8

  2563. 	movhps	-32 * SIZE(A2, LDA), %xmm9

  2564. 

  2565. 	movq	MM,  I

  2566. 	sarq	$4,  I

  2567. 	jle	.L115

  2568. 

  2569. 	movaps	 -32 * SIZE(A1), %xmm4

  2570. 	movaps	 -28 * SIZE(A1), %xmm5

  2571. 	movaps	 -24 * SIZE(A1), %xmm6

  2572. 

  2573. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  2574. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  2575. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  2576. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  2577. 

  2578. 	decq	 I

  2579. 	jle	 .L114

  2580. 	ALIGN_3

  2581. 

  2582. .L113:

  2583. #ifdef PREFETCH

  2584. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1)

  2585. #endif

  2586. 

  2587. 	mulps	 %xmm12, %xmm4

  2588. 	addps	 %xmm4,  %xmm0

  2589. 	movaps	 -20 * SIZE(A1), %xmm7

  2590. 	mulps	 %xmm12, %xmm5

  2591. 	addps	 %xmm5,  %xmm1

  2592. 	movaps	 -30 * SIZE(A1, LDA), %xmm4

  2593. 	mulps	 %xmm12, %xmm6

  2594. 	addps	 %xmm6,  %xmm2

  2595. 	movaps	 -26 * SIZE(A1, LDA), %xmm5

  2596. 	mulps	 %xmm12, %xmm7

  2597. 	addps	 %xmm7,  %xmm3

  2598. 	movaps	 -22 * SIZE(A1, LDA), %xmm6

  2599. 

  2600. #ifdef PREFETCH

  2601. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1, LDA)

  2602. #endif

  2603. 

  2604. 	shufps	 $0x4e, %xmm4, %xmm8

  2605. 	mulps	 %xmm13, %xmm8

  2606. 	addps	 %xmm8,  %xmm0

  2607. 	movaps	 -18 * SIZE(A1, LDA), %xmm8

  2608. 	shufps	 $0x4e, %xmm5, %xmm4

  2609. 	mulps	 %xmm13, %xmm4

  2610. 	addps	 %xmm4,  %xmm1

  2611. 	movaps	 -32 * SIZE(A2), %xmm4

  2612. 	shufps	 $0x4e, %xmm6, %xmm5

  2613. 	mulps	 %xmm13, %xmm5

  2614. 	addps	 %xmm5,  %xmm2

  2615. 	movaps	 -28 * SIZE(A2), %xmm5

  2616. 	shufps	 $0x4e, %xmm8, %xmm6

  2617. 	mulps	 %xmm13, %xmm6

  2618. 	addps	 %xmm6,  %xmm3

  2619. 	movaps	 -24 * SIZE(A2), %xmm6

  2620. 

  2621. #ifdef PREFETCH

  2622. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A2)

  2623. #endif

  2624. 

  2625. 	mulps	 %xmm14, %xmm4

  2626. 	addps	 %xmm4,  %xmm0

  2627. 	movaps	 -20 * SIZE(A2), %xmm7

  2628. 	mulps	 %xmm14, %xmm5

  2629. 	addps	 %xmm5,  %xmm1

  2630. 	movaps	 -16 * SIZE(A1), %xmm4

  2631. 	mulps	 %xmm14, %xmm6

  2632. 	addps	 %xmm6,  %xmm2

  2633. 	movaps	 -12 * SIZE(A1), %xmm5

  2634. 	mulps	 %xmm14, %xmm7

  2635. 	addps	 %xmm7,  %xmm3

  2636. 	movaps	  -8 * SIZE(A1), %xmm6

  2637. 

  2638. #ifdef PREFETCHW

  2639. 	PREFETCHW	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(Y1)

  2640. #endif

  2641. 

  2642. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2643. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  2644. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  2645. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  2646. 

  2647. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  2648. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  2649. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  2650. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  2651. 

  2652. 	subq	 $-16 * SIZE, A1

  2653. 	subq	 $-16 * SIZE, A2

  2654. 	subq	 $-16 * SIZE, Y1

  2655. 

  2656. 	subq	 $1, I

  2657. 	BRANCH

  2658. 	jg	.L113

  2659. 	ALIGN_3

  2660. 

  2661. .L114:

  2662. 	mulps	 %xmm12, %xmm4

  2663. 	addps	 %xmm4,  %xmm0

  2664. 	movaps	 -20 * SIZE(A1), %xmm7

  2665. 	mulps	 %xmm12, %xmm5

  2666. 	addps	 %xmm5,  %xmm1

  2667. 	movaps	 -30 * SIZE(A1, LDA), %xmm4

  2668. 	mulps	 %xmm12, %xmm6

  2669. 	addps	 %xmm6,  %xmm2

  2670. 	movaps	 -26 * SIZE(A1, LDA), %xmm5

  2671. 	mulps	 %xmm12, %xmm7

  2672. 	addps	 %xmm7,  %xmm3

  2673. 	movaps	 -22 * SIZE(A1, LDA), %xmm6

  2674. 

  2675. 	shufps	 $0x4e, %xmm4, %xmm8

  2676. 	mulps	 %xmm13, %xmm8

  2677. 	addps	 %xmm8,  %xmm0

  2678. 	movaps	 -18 * SIZE(A1, LDA), %xmm8

  2679. 	shufps	 $0x4e, %xmm5, %xmm4

  2680. 	mulps	 %xmm13, %xmm4

  2681. 	addps	 %xmm4,  %xmm1

  2682. 	movaps	 -32 * SIZE(A2), %xmm4

  2683. 	shufps	 $0x4e, %xmm6, %xmm5

  2684. 	mulps	 %xmm13, %xmm5

  2685. 	addps	 %xmm5,  %xmm2

  2686. 	movaps	 -28 * SIZE(A2), %xmm5

  2687. 	shufps	 $0x4e, %xmm8, %xmm6

  2688. 	mulps	 %xmm13, %xmm6

  2689. 	addps	 %xmm6,  %xmm3

  2690. 	movaps	 -24 * SIZE(A2), %xmm6

  2691. 

  2692. 	mulps	 %xmm14, %xmm4

  2693. 	addps	 %xmm4,  %xmm0

  2694. 	movaps	 -20 * SIZE(A2), %xmm7

  2695. 	mulps	 %xmm14, %xmm5

  2696. 	addps	 %xmm5,  %xmm1

  2697. 	mulps	 %xmm14, %xmm6

  2698. 	addps	 %xmm6,  %xmm2

  2699. 	mulps	 %xmm14, %xmm7

  2700. 	addps	 %xmm7,  %xmm3

  2701. 

  2702. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2703. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  2704. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  2705. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  2706. 

  2707. 	subq	 $-16 * SIZE, A1

  2708. 	subq	 $-16 * SIZE, A2

  2709. 	subq	 $-16 * SIZE, Y1

  2710. 	ALIGN_3

  2711. 

  2712. .L115:

  2713. 	testq	$8, MM

  2714. 	je	.L116

  2715. 

  2716. 	movaps	 -32 * SIZE(A1), %xmm4

  2717. 	movaps	 -28 * SIZE(A1), %xmm5

  2718. 	movaps	 -30 * SIZE(A1, LDA), %xmm6

  2719. 	movaps	 -26 * SIZE(A1, LDA), %xmm7

  2720. 

  2721. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  2722. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  2723. 

  2724. 	mulps	 %xmm12, %xmm4

  2725. 	addps	 %xmm4,  %xmm0

  2726. 	movaps	 -32 * SIZE(A2), %xmm4

  2727. 	mulps	 %xmm12, %xmm5

  2728. 	addps	 %xmm5,  %xmm1

  2729. 	movaps	 -28 * SIZE(A2), %xmm10

  2730. 

  2731. 	shufps	 $0x4e, %xmm6, %xmm8

  2732. 	mulps	 %xmm13, %xmm8

  2733. 	addps	 %xmm8,  %xmm0

  2734. 	shufps	 $0x4e, %xmm7, %xmm6

  2735. 	mulps	 %xmm13, %xmm6

  2736. 	addps	 %xmm6,  %xmm1

  2737. 	movaps	 %xmm7, %xmm8

  2738. 

  2739. 	mulps	 %xmm14, %xmm4

  2740. 	addps	 %xmm4,  %xmm0

  2741. 	mulps	 %xmm14, %xmm10

  2742. 	addps	 %xmm10,  %xmm1

  2743. 

  2744. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2745. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  2746. 

  2747. 	addq	 $8 * SIZE, A1

  2748. 	addq	 $8 * SIZE, A2

  2749. 	addq	 $8 * SIZE, Y1

  2750. 	ALIGN_3

  2751. 

  2752. .L116:

  2753. 	testq	$4, MM

  2754. 	je	.L117

  2755. 

  2756. 	movaps	 -32 * SIZE(A1), %xmm4

  2757. 	movaps	 -30 * SIZE(A1, LDA), %xmm5

  2758. 	movaps	 -32 * SIZE(A2), %xmm6

  2759. 

  2760. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  2761. 

  2762. 	mulps	 %xmm12, %xmm4

  2763. 	addps	 %xmm4,  %xmm0

  2764. 	shufps	 $0x4e, %xmm5, %xmm8

  2765. 	mulps	 %xmm13, %xmm8

  2766. 	addps	 %xmm8,  %xmm0

  2767. 	mulps	 %xmm14, %xmm6

  2768. 	addps	 %xmm6,  %xmm0

  2769. 

  2770. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2771. 

  2772. 	addq	 $4 * SIZE, A1

  2773. 	addq	 $4 * SIZE, A2

  2774. 	addq	 $4 * SIZE, Y1

  2775. 	ALIGN_3

  2776. 

  2777. .L117:

  2778. 	testq	$2, MM

  2779. 	je	.L118

  2780. 

  2781. 	movsd	 -32 * SIZE(A1), %xmm4

  2782. 	movsd	 -32 * SIZE(A1, LDA), %xmm5

  2783. 	movsd	 -32 * SIZE(A2), %xmm6

  2784. 

  2785. 	movsd	 -32 * SIZE(Y1), %xmm0

  2786. 

  2787. 	mulps	 %xmm12, %xmm4

  2788. 	addps	 %xmm4,  %xmm0

  2789. 	mulps	 %xmm13, %xmm5

  2790. 	addps	 %xmm5,  %xmm0

  2791. 	mulps	 %xmm14, %xmm6

  2792. 	addps	 %xmm6,  %xmm0

  2793. 

  2794. 	movlps	 %xmm0, -32 * SIZE(Y1)

  2795. 

  2796. 	addq	 $2 * SIZE, A1

  2797. 	addq	 $2 * SIZE, A2

  2798. 	addq	 $2 * SIZE, Y1

  2799. 	ALIGN_3

  2800. 

  2801. .L118:

  2802. 	testq	$1, MM

  2803. 	je	.L990

  2804. 

  2805. 	movss	 -32 * SIZE(Y1), %xmm0

  2806. 

  2807. 	movss	 -32 * SIZE(A1), %xmm4

  2808. 	movss	 -32 * SIZE(A1, LDA), %xmm5

  2809. 	movss	 -32 * SIZE(A2), %xmm6

  2810. 

  2811. 	mulss	 %xmm12, %xmm4

  2812. 	addss	 %xmm4,  %xmm0

  2813. 	mulss	 %xmm13, %xmm5

  2814. 	addss	 %xmm5,  %xmm0

  2815. 	mulss	 %xmm14, %xmm6

  2816. 	addss	 %xmm6,  %xmm0

  2817. 

  2818. 	movss	 %xmm0, -32 * SIZE(Y1)

  2819. 	jmp	 .L990

  2820. 	ALIGN_3

  2821. 

  2822. .L120:

  2823. 	cmpq	$2, N

  2824. 	jl	.L130

  2825. 

  2826. 	leaq	32 * SIZE(BUFFER), Y1

  2827. 	movq	A,  A1

  2828. 	leaq	(A,  LDA, 1), A2

  2829. 	leaq	(A,  LDA, 2), A

  2830. 

  2831. 	movss	(X), %xmm12

  2832. 	addq	INCX, X

  2833. 	movss	(X), %xmm13

  2834. 	addq	INCX, X

  2835. 

  2836. 	movss	ALPHA, %xmm0

  2837. 

  2838. 	mulss	%xmm0, %xmm12

  2839. 	mulss	%xmm0, %xmm13

  2840. 

  2841. 	shufps	$0, %xmm12, %xmm12

  2842. 	shufps	$0, %xmm13, %xmm13

  2843. 

  2844. 	cmpq	$3, M

  2845. 	jle	.L127

  2846. 

  2847. 	testq	$SIZE, A1

  2848. 	je	.L12X

  2849. 

  2850. 	movss	 -32 * SIZE(Y1), %xmm8

  2851. 

  2852. 	movss	 -32 * SIZE(A1), %xmm0

  2853. 	movss	 -32 * SIZE(A2), %xmm1

  2854. 

  2855. 	mulss	 %xmm12, %xmm0

  2856. 	addss	 %xmm0,  %xmm8

  2857. 	mulss	 %xmm13, %xmm1

  2858. 	addss	 %xmm1,  %xmm8

  2859. 

  2860. 	movss	 %xmm8, -32 * SIZE(Y1)

  2861. 

  2862. 	addq	 $1 * SIZE, A1

  2863. 	addq	 $1 * SIZE, A2

  2864. 	addq	 $1 * SIZE, Y1

  2865. 	ALIGN_3

  2866. 

  2867. .L12X:

  2868. 	testq	$2 * SIZE, A1

  2869. 	je	.L12XX

  2870. 

  2871. 	movsd	 -32 * SIZE(A1), %xmm0

  2872. 	movsd	 -32 * SIZE(A2), %xmm1

  2873. 

  2874. 	movsd	 -32 * SIZE(Y1), %xmm8

  2875. 

  2876. 	mulps	 %xmm12, %xmm0

  2877. 	addps	 %xmm0,  %xmm8

  2878. 	mulps	 %xmm13, %xmm1

  2879. 	addps	 %xmm1,  %xmm8

  2880. 

  2881. 	movlps	 %xmm8, -32 * SIZE(Y1)

  2882. 

  2883. 	addq	 $2 * SIZE, A1

  2884. 	addq	 $2 * SIZE, A2

  2885. 	addq	 $2 * SIZE, Y1

  2886. 	ALIGN_3

  2887. 

  2888. .L12XX:

  2889. 	movhps	-32 * SIZE(A2), %xmm8

  2890. 

  2891. 	movq	MM,  I

  2892. 	sarq	$4,  I

  2893. 	jle	.L125

  2894. 

  2895. 	movaps	 -32 * SIZE(A1), %xmm4

  2896. 	movaps	 -28 * SIZE(A1), %xmm5

  2897. 	movaps	 -24 * SIZE(A1), %xmm6

  2898. 

  2899. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  2900. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  2901. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  2902. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  2903. 

  2904. 	decq	 I

  2905. 	jle	 .L124

  2906. 	ALIGN_3

  2907. 

  2908. .L123:

  2909. #ifdef PREFETCH

  2910. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  2911. #endif

  2912. 

  2913. 	mulps	 %xmm12, %xmm4

  2914. 	addps	 %xmm4,  %xmm0

  2915. 	movaps	 -20 * SIZE(A1), %xmm7

  2916. 	mulps	 %xmm12, %xmm5

  2917. 	addps	 %xmm5,  %xmm1

  2918. 	movaps	 -30 * SIZE(A1, LDA), %xmm4

  2919. 	mulps	 %xmm12, %xmm6

  2920. 	addps	 %xmm6,  %xmm2

  2921. 	movaps	 -26 * SIZE(A1, LDA), %xmm5

  2922. 	mulps	 %xmm12, %xmm7

  2923. 	addps	 %xmm7,  %xmm3

  2924. 	movaps	 -22 * SIZE(A1, LDA), %xmm6

  2925. 

  2926. #ifdef PREFETCH

  2927. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A2)

  2928. #endif

  2929. 

  2930. 	shufps	 $0x4e, %xmm4, %xmm8

  2931. 	mulps	 %xmm13, %xmm8

  2932. 	addps	 %xmm8,  %xmm0

  2933. 	movaps	 -18 * SIZE(A1, LDA), %xmm8

  2934. 	shufps	 $0x4e, %xmm5, %xmm4

  2935. 	mulps	 %xmm13, %xmm4

  2936. 	addps	 %xmm4,  %xmm1

  2937. 	movaps	 -16 * SIZE(A1), %xmm4

  2938. 	shufps	 $0x4e, %xmm6, %xmm5

  2939. 	mulps	 %xmm13, %xmm5

  2940. 	addps	 %xmm5,  %xmm2

  2941. 	movaps	 -12 * SIZE(A1), %xmm5

  2942. 	shufps	 $0x4e, %xmm8, %xmm6

  2943. 	mulps	 %xmm13, %xmm6

  2944. 	addps	 %xmm6,  %xmm3

  2945. 	movaps	  -8 * SIZE(A1), %xmm6

  2946. 

  2947. #ifdef PREFETCHW

  2948. 	PREFETCHW	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(Y1)

  2949. #endif

  2950. 

  2951. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2952. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  2953. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  2954. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  2955. 

  2956. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  2957. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  2958. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  2959. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  2960. 

  2961. 	subq	 $-16 * SIZE, A1

  2962. 	subq	 $-16 * SIZE, A2

  2963. 	subq	 $-16 * SIZE, Y1

  2964. 

  2965. 	subq	 $1, I

  2966. 	BRANCH

  2967. 	jg	.L123

  2968. 	ALIGN_3

  2969. 

  2970. .L124:

  2971. 	mulps	 %xmm12, %xmm4

  2972. 	addps	 %xmm4,  %xmm0

  2973. 	movaps	 -20 * SIZE(A1), %xmm7

  2974. 	mulps	 %xmm12, %xmm5

  2975. 	addps	 %xmm5,  %xmm1

  2976. 	movaps	 -30 * SIZE(A1, LDA), %xmm4

  2977. 	mulps	 %xmm12, %xmm6

  2978. 	addps	 %xmm6,  %xmm2

  2979. 	movaps	 -26 * SIZE(A1, LDA), %xmm5

  2980. 	mulps	 %xmm12, %xmm7

  2981. 	addps	 %xmm7,  %xmm3

  2982. 	movaps	 -22 * SIZE(A1, LDA), %xmm6

  2983. 

  2984. 	shufps	 $0x4e, %xmm4, %xmm8

  2985. 	mulps	 %xmm13, %xmm8

  2986. 	addps	 %xmm8,  %xmm0

  2987. 	movaps	 -18 * SIZE(A1, LDA), %xmm8

  2988. 	shufps	 $0x4e, %xmm5, %xmm4

  2989. 	mulps	 %xmm13, %xmm4

  2990. 	addps	 %xmm4,  %xmm1

  2991. 	shufps	 $0x4e, %xmm6, %xmm5

  2992. 	mulps	 %xmm13, %xmm5

  2993. 	addps	 %xmm5,  %xmm2

  2994. 	shufps	 $0x4e, %xmm8, %xmm6

  2995. 	mulps	 %xmm13, %xmm6

  2996. 	addps	 %xmm6,  %xmm3

  2997. 

  2998. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  2999. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  3000. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  3001. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  3002. 

  3003. 	subq	 $-16 * SIZE, A1

  3004. 	subq	 $-16 * SIZE, A2

  3005. 	subq	 $-16 * SIZE, Y1

  3006. 	ALIGN_3

  3007. 

  3008. .L125:

  3009. 	testq	$8, MM

  3010. 	je	.L126

  3011. 

  3012. 	movaps	 -32 * SIZE(A1), %xmm4

  3013. 	movaps	 -28 * SIZE(A1), %xmm5

  3014. 	movaps	 -30 * SIZE(A2), %xmm6

  3015. 	movaps	 -26 * SIZE(A2), %xmm7

  3016. 

  3017. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  3018. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  3019. 

  3020. 	mulps	 %xmm12, %xmm4

  3021. 	addps	 %xmm4,  %xmm0

  3022. 	mulps	 %xmm12, %xmm5

  3023. 	addps	 %xmm5,  %xmm1

  3024. 

  3025. 	shufps	 $0x4e, %xmm6, %xmm8

  3026. 	mulps	 %xmm13, %xmm8

  3027. 	addps	 %xmm8,  %xmm0

  3028. 	shufps	 $0x4e, %xmm7, %xmm6

  3029. 	mulps	 %xmm13, %xmm6

  3030. 	addps	 %xmm6,  %xmm1

  3031. 	movaps	 %xmm7, %xmm8

  3032. 

  3033. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3034. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  3035. 

  3036. 	addq	 $8 * SIZE, A1

  3037. 	addq	 $8 * SIZE, A2

  3038. 	addq	 $8 * SIZE, Y1

  3039. 	ALIGN_3

  3040. 

  3041. .L126:

  3042. 	testq	$4, MM

  3043. 	je	.L127

  3044. 

  3045. 	movaps	 -32 * SIZE(A1), %xmm4

  3046. 	movaps	 -30 * SIZE(A2), %xmm5

  3047. 

  3048. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  3049. 

  3050. 	mulps	 %xmm12, %xmm4

  3051. 	addps	 %xmm4,  %xmm0

  3052. 	shufps	 $0x4e, %xmm5, %xmm8

  3053. 	mulps	 %xmm13, %xmm8

  3054. 	addps	 %xmm8,  %xmm0

  3055. 

  3056. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3057. 

  3058. 	addq	 $4 * SIZE, A1

  3059. 	addq	 $4 * SIZE, A2

  3060. 	addq	 $4 * SIZE, Y1

  3061. 	ALIGN_3

  3062. 

  3063. .L127:

  3064. 	testq	$2, MM

  3065. 	je	.L128

  3066. 

  3067. 	movsd	 -32 * SIZE(A1), %xmm0

  3068. 	movsd	 -32 * SIZE(A2), %xmm1

  3069. 

  3070. 	movsd	 -32 * SIZE(Y1), %xmm8

  3071. 

  3072. 	mulps	 %xmm12, %xmm0

  3073. 	addps	 %xmm0,  %xmm8

  3074. 	mulps	 %xmm13, %xmm1

  3075. 	addps	 %xmm1,  %xmm8

  3076. 

  3077. 	movlps	 %xmm8, -32 * SIZE(Y1)

  3078. 

  3079. 	addq	 $2 * SIZE, A1

  3080. 	addq	 $2 * SIZE, A2

  3081. 	addq	 $2 * SIZE, Y1

  3082. 	ALIGN_3

  3083. 

  3084. .L128:

  3085. 	testq	$1, MM

  3086. 	je	.L990

  3087. 

  3088. 	movss	 -32 * SIZE(Y1), %xmm8

  3089. 

  3090. 	movss	 -32 * SIZE(A1), %xmm0

  3091. 	movss	 -32 * SIZE(A2), %xmm1

  3092. 

  3093. 	mulss	 %xmm12, %xmm0

  3094. 	addss	 %xmm0,  %xmm8

  3095. 	mulss	 %xmm13, %xmm1

  3096. 	addss	 %xmm1,  %xmm8

  3097. 

  3098. 	movss	 %xmm8, -32 * SIZE(Y1)

  3099. 	jmp	 .L990

  3100. 	ALIGN_3

  3101. 

  3102. .L130:

  3103. 	cmpq	$1, N

  3104. 	jne	.L990

  3105. 

  3106. 	leaq	32 * SIZE(BUFFER), Y1

  3107. 	movq	A,  A1

  3108. 

  3109. 	movss	(X), %xmm12

  3110. 

  3111. 	mulss	ALPHA, %xmm12

  3112. 	shufps	$0, %xmm12, %xmm12

  3113. 

  3114. 	cmpq	$3, M

  3115. 	jle	.L137

  3116. 

  3117. 	testq	$SIZE, A1

  3118. 	je	.L13X

  3119. 

  3120. 	movss	 -32 * SIZE(Y1), %xmm8

  3121. 	movss	 -32 * SIZE(A1), %xmm0

  3122. 

  3123. 	mulss	 %xmm12, %xmm0

  3124. 	addss	 %xmm0,  %xmm8

  3125. 

  3126. 	movss	 %xmm8, -32 * SIZE(Y1)

  3127. 

  3128. 	addq	 $1 * SIZE, A1

  3129. 	addq	 $1 * SIZE, A2

  3130. 	addq	 $1 * SIZE, Y1

  3131. 	ALIGN_3

  3132. 

  3133. .L13X:

  3134. 	testq	$2 * SIZE, A1

  3135. 	je	.L13XX

  3136. 

  3137. 	movsd	 -32 * SIZE(Y1), %xmm8

  3138. 	movsd	 -32 * SIZE(A1), %xmm0

  3139. 

  3140. 	mulps	 %xmm12, %xmm0

  3141. 	addps	 %xmm0,  %xmm8

  3142. 

  3143. 	movlps	 %xmm8, -32 * SIZE(Y1)

  3144. 

  3145. 	addq	 $2 * SIZE, A1

  3146. 	addq	 $2 * SIZE, A2

  3147. 	addq	 $2 * SIZE, Y1

  3148. 	ALIGN_3

  3149. 

  3150. .L13XX:

  3151. 	movq	MM,  I

  3152. 	sarq	$4,  I

  3153. 	jle	.L135

  3154. 

  3155. 	movaps	-32 * SIZE(A1), %xmm8

  3156. 	movaps	-28 * SIZE(A1), %xmm9

  3157. 	movaps	-24 * SIZE(A1), %xmm10

  3158. 	movaps	-20 * SIZE(A1), %xmm11

  3159. 

  3160. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  3161. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  3162. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  3163. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  3164. 

  3165. 	decq	 I

  3166. 	jle	 .L134

  3167. 	ALIGN_3

  3168. 

  3169. .L133:

  3170. #ifdef PREFETCH

  3171. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(A1)

  3172. #endif

  3173. 

  3174. 	mulps	 %xmm12, %xmm8

  3175. 	addps	 %xmm8,  %xmm0

  3176. 	movaps	-16 * SIZE(A1), %xmm8

  3177. 	mulps	 %xmm12, %xmm9

  3178. 	addps	 %xmm9,  %xmm1

  3179. 	movaps	-12 * SIZE(A1), %xmm9

  3180. 	mulps	 %xmm12, %xmm10

  3181. 	addps	 %xmm10,  %xmm2

  3182. 	movaps	 -8 * SIZE(A1), %xmm10

  3183. 	mulps	 %xmm12, %xmm11

  3184. 	addps	 %xmm11,  %xmm3

  3185. 	movaps	 -4 * SIZE(A1), %xmm11

  3186. 

  3187. #ifdef PREFETCHW

  3188. 	PREFETCHW	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(Y1)

  3189. #endif

  3190. 

  3191. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3192. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  3193. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  3194. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  3195. 

  3196. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  3197. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  3198. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  3199. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  3200. 

  3201. 	subq	 $-16 * SIZE, A1

  3202. 	subq	 $-16 * SIZE, Y1

  3203. 

  3204. 	subq	 $1, I

  3205. 	BRANCH

  3206. 	jg	.L133

  3207. 	ALIGN_3

  3208. 

  3209. .L134:

  3210. 	mulps	 %xmm12, %xmm8

  3211. 	addps	 %xmm8,  %xmm0

  3212. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3213. 	mulps	 %xmm12, %xmm9

  3214. 	addps	 %xmm9,  %xmm1

  3215. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  3216. 	mulps	 %xmm12, %xmm10

  3217. 	addps	 %xmm10,  %xmm2

  3218. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  3219. 	mulps	 %xmm12, %xmm11

  3220. 	addps	 %xmm11,  %xmm3

  3221. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  3222. 

  3223. 	subq	 $-16 * SIZE, A1

  3224. 	subq	 $-16 * SIZE, Y1

  3225. 	ALIGN_3

  3226. 

  3227. .L135:

  3228. 	testq	$8, MM

  3229. 	je	.L136

  3230. 

  3231. 	movaps	-32 * SIZE(A1), %xmm8

  3232. 	movaps	-28 * SIZE(A1), %xmm9

  3233. 

  3234. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  3235. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  3236. 

  3237. 	mulps	 %xmm12, %xmm8

  3238. 	addps	 %xmm8,  %xmm0

  3239. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3240. 	mulps	 %xmm12, %xmm9

  3241. 	addps	 %xmm9,  %xmm1

  3242. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  3243. 

  3244. 	addq	 $8 * SIZE, A1

  3245. 	addq	 $8 * SIZE, Y1

  3246. 	ALIGN_3

  3247. 

  3248. .L136:

  3249. 	testq	$4, MM

  3250. 	je	.L137

  3251. 

  3252. 	movaps	-32 * SIZE(A1), %xmm8

  3253. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  3254. 

  3255. 	mulps	 %xmm12, %xmm8

  3256. 	addps	 %xmm8,  %xmm0

  3257. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3258. 

  3259. 	addq	 $4 * SIZE, A1

  3260. 	addq	 $4 * SIZE, Y1

  3261. 	ALIGN_3

  3262. 

  3263. .L137:

  3264. 	testq	$2, MM

  3265. 	je	.L138

  3266. 

  3267. 	movsd	 -32 * SIZE(Y1), %xmm8

  3268. 	movsd	 -32 * SIZE(A1), %xmm0

  3269. 

  3270. 	mulps	 %xmm12, %xmm0

  3271. 	addps	 %xmm0,  %xmm8

  3272. 

  3273. 	movlps	 %xmm8, -32 * SIZE(Y1)

  3274. 

  3275. 	addq	 $2 * SIZE, A1

  3276. 	addq	 $2 * SIZE, Y1

  3277. 	ALIGN_3

  3278. 

  3279. .L138:

  3280. 	testq	$1, MM

  3281. 	je	.L990

  3282. 

  3283. 	movss	 -32 * SIZE(Y1), %xmm8

  3284. 	movss	 -32 * SIZE(A1), %xmm0

  3285. 

  3286. 	mulss	 %xmm12, %xmm0

  3287. 	addss	 %xmm0,  %xmm8

  3288. 

  3289. 	movss	 %xmm8, -32 * SIZE(Y1)

  3290. 	jmp	.L990

  3291. 	ALIGN_3

  3292. 

  3293. .L200:

  3294. 	testq	$2 * SIZE, LDA

  3295. 	jne	.L300

  3296. 

  3297. 	cmpq	$4, N

  3298. 	jl	.L210

  3299. 	ALIGN_3

  3300. 

  3301. .L201:

  3302. 	subq	$4, N

  3303. 

  3304. 	leaq	32 * SIZE(BUFFER), Y1

  3305. 	movq	A,  A1

  3306. 	leaq	(A,  LDA, 2), A2

  3307. 	leaq	(A,  LDA, 4), A

  3308. 

  3309. 	movss	(X), %xmm12

  3310. 	addq	INCX, X

  3311. 	movss	(X), %xmm13

  3312. 	addq	INCX, X

  3313. 	movss	(X), %xmm14

  3314. 	addq	INCX, X

  3315. 	movss	(X), %xmm15

  3316. 	addq	INCX, X

  3317. 

  3318. 	movss	ALPHA, %xmm0

  3319. 

  3320. 	mulss	%xmm0, %xmm12

  3321. 	mulss	%xmm0, %xmm13

  3322. 	mulss	%xmm0, %xmm14

  3323. 	mulss	%xmm0, %xmm15

  3324. 

  3325. 	shufps	$0, %xmm12, %xmm12

  3326. 	shufps	$0, %xmm13, %xmm13

  3327. 	shufps	$0, %xmm14, %xmm14

  3328. 	shufps	$0, %xmm15, %xmm15

  3329. 

  3330. 	cmpq	$3, M

  3331. 	jle	.L207

  3332. 

  3333. 	testq	$SIZE, A1

  3334. 	je	.L20X

  3335. 

  3336. 	movss	 -32 * SIZE(A1), %xmm0

  3337. 	movss	 -32 * SIZE(A1, LDA), %xmm1

  3338. 	movss	 -32 * SIZE(A2), %xmm2

  3339. 	movss	 -32 * SIZE(A2, LDA), %xmm3

  3340. 

  3341. 	movss	 -32 * SIZE(Y1), %xmm8

  3342. 

  3343. 	mulss	 %xmm12, %xmm0

  3344. 	addss	 %xmm0,  %xmm8

  3345. 	mulss	 %xmm13, %xmm1

  3346. 	addss	 %xmm1,  %xmm8

  3347. 	mulss	 %xmm14, %xmm2

  3348. 	addss	 %xmm2, %xmm8

  3349. 	mulss	 %xmm15, %xmm3

  3350. 	addss	 %xmm3, %xmm8

  3351. 

  3352. 	movss	 %xmm8, -32 * SIZE(Y1)

  3353. 

  3354. 	addq	 $1 * SIZE, A1

  3355. 	addq	 $1 * SIZE, A2

  3356. 	addq	 $1 * SIZE, Y1

  3357. 	ALIGN_3

  3358. 

  3359. .L20X:

  3360. 	testq	$2 * SIZE, A1

  3361. 	je	.L20XX

  3362. 

  3363. 	movsd	 -32 * SIZE(A1), %xmm0

  3364. 	movsd	 -32 * SIZE(A1, LDA), %xmm1

  3365. 	movsd	 -32 * SIZE(A2), %xmm2

  3366. 	movsd	 -32 * SIZE(A2, LDA), %xmm3

  3367. 

  3368. 	movsd	 -32 * SIZE(Y1), %xmm8

  3369. 

  3370. 	mulps	 %xmm12, %xmm0

  3371. 	addps	 %xmm0,  %xmm8

  3372. 	mulps	 %xmm13, %xmm1

  3373. 	addps	 %xmm1,  %xmm8

  3374. 	mulps	 %xmm14, %xmm2

  3375. 	addps	 %xmm2, %xmm8

  3376. 	mulps	 %xmm15, %xmm3

  3377. 	addps	 %xmm3, %xmm8

  3378. 

  3379. 	movlps	 %xmm8, -32 * SIZE(Y1)

  3380. 

  3381. 	addq	 $2 * SIZE, A1

  3382. 	addq	 $2 * SIZE, A2

  3383. 	addq	 $2 * SIZE, Y1

  3384. 	ALIGN_3

  3385. 

  3386. .L20XX:

  3387. 	movaps	-33 * SIZE(A1, LDA), %xmm8

  3388. 	movaps	-34 * SIZE(A2), %xmm9

  3389. 	movaps	-35 * SIZE(A2, LDA), %xmm10

  3390. 

  3391. 	movq	MM,  I

  3392. 	sarq	$4,  I

  3393. 	jle	.L205

  3394. 

  3395. 	movaps	 -32 * SIZE(A1), %xmm4

  3396. 	movaps	 -28 * SIZE(A1), %xmm5

  3397. 	movaps	 -24 * SIZE(A1), %xmm6

  3398. 

  3399. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  3400. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  3401. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  3402. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  3403. 

  3404. 	decq	 I

  3405. 	jle	 .L204

  3406. 	ALIGN_3

  3407. 

  3408. .L203:

  3409. #ifdef PREFETCH

  3410. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  3411. #endif

  3412. 

  3413. 	mulps	 %xmm12, %xmm4

  3414. 	addps	 %xmm4,  %xmm0

  3415. 	movaps	 -20 * SIZE(A1), %xmm7

  3416. 	mulps	 %xmm12, %xmm5

  3417. 	addps	 %xmm5,  %xmm1

  3418. 	movaps	 -29 * SIZE(A1, LDA), %xmm4

  3419. 	mulps	 %xmm12, %xmm6

  3420. 	addps	 %xmm6,  %xmm2

  3421. 	movaps	 -25 * SIZE(A1, LDA), %xmm5

  3422. 	mulps	 %xmm12, %xmm7

  3423. 	addps	 %xmm7,  %xmm3

  3424. 	movaps	 -21 * SIZE(A1, LDA), %xmm6

  3425. 

  3426. #ifdef PREFETCH

  3427. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1, LDA)

  3428. #endif

  3429. 

  3430. 	movss	 %xmm4, %xmm8

  3431. 	shufps	 $0x39, %xmm8, %xmm8

  3432. 	mulps	 %xmm13, %xmm8

  3433. 	addps	 %xmm8,  %xmm0

  3434. 	movaps	 -17 * SIZE(A1, LDA), %xmm8

  3435. 	movss	 %xmm5, %xmm4

  3436. 	shufps	 $0x39, %xmm4, %xmm4

  3437. 	mulps	 %xmm13, %xmm4

  3438. 	addps	 %xmm4,  %xmm1

  3439. 	movaps	 -30 * SIZE(A2), %xmm4

  3440. 	movss	 %xmm6, %xmm5

  3441. 	shufps	 $0x39, %xmm5, %xmm5

  3442. 	mulps	 %xmm13, %xmm5

  3443. 	addps	 %xmm5,  %xmm2

  3444. 	movaps	 -26 * SIZE(A2), %xmm5

  3445. 	movss	 %xmm8, %xmm6

  3446. 	shufps	 $0x39, %xmm6, %xmm6

  3447. 	mulps	 %xmm13, %xmm6

  3448. 	addps	 %xmm6,  %xmm3

  3449. 	movaps	 -22 * SIZE(A2), %xmm6

  3450. 

  3451. #ifdef PREFETCH

  3452. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  3453. #endif

  3454. 

  3455. 	shufps	 $0x4e, %xmm4, %xmm9

  3456. 	mulps	 %xmm14, %xmm9

  3457. 	addps	 %xmm9,  %xmm0

  3458. 	movaps	 -18 * SIZE(A2), %xmm9

  3459. 	shufps	 $0x4e, %xmm5, %xmm4

  3460. 	mulps	 %xmm14, %xmm4

  3461. 	addps	 %xmm4,  %xmm1

  3462. 	movaps	 -31 * SIZE(A2, LDA), %xmm4

  3463. 	shufps	 $0x4e, %xmm6, %xmm5

  3464. 	mulps	 %xmm14, %xmm5

  3465. 	addps	 %xmm5,  %xmm2

  3466. 	movaps	 -27 * SIZE(A2, LDA), %xmm5

  3467. 	shufps	 $0x4e, %xmm9, %xmm6

  3468. 	mulps	 %xmm14, %xmm6

  3469. 	addps	 %xmm6,  %xmm3

  3470. 	movaps	 -23 * SIZE(A2, LDA), %xmm6

  3471. 

  3472. #ifdef PREFETCH

  3473. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2, LDA)

  3474. #endif

  3475. 

  3476. 	movss	 %xmm4,  %xmm10

  3477. 	shufps	 $0x93, %xmm4, %xmm10

  3478. 	mulps	 %xmm15, %xmm10

  3479. 	addps	 %xmm10, %xmm0

  3480. 	movaps	 -19 * SIZE(A2, LDA), %xmm10

  3481. 	movss	 %xmm5,  %xmm4

  3482. 	shufps	 $0x93, %xmm5, %xmm4

  3483. 	mulps	 %xmm15, %xmm4

  3484. 	addps	 %xmm4,  %xmm1

  3485. 	movaps	 -16 * SIZE(A1), %xmm4

  3486. 	movss	 %xmm6,  %xmm5

  3487. 	shufps	 $0x93, %xmm6, %xmm5

  3488. 	mulps	 %xmm15, %xmm5

  3489. 	addps	 %xmm5,  %xmm2

  3490. 	movaps	 -12 * SIZE(A1), %xmm5

  3491. 	movss	 %xmm10,  %xmm6

  3492. 	shufps	 $0x93, %xmm10, %xmm6

  3493. 	mulps	 %xmm15, %xmm6

  3494. 	addps	 %xmm6,  %xmm3

  3495. 	movaps	  -8 * SIZE(A1), %xmm6

  3496. 

  3497. #ifdef PREFETCHW

  3498. 	PREFETCHW	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(Y1)

  3499. #endif

  3500. 

  3501. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3502. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  3503. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  3504. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  3505. 

  3506. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  3507. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  3508. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  3509. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  3510. 

  3511. 	subq	 $-16 * SIZE, A1

  3512. 	subq	 $-16 * SIZE, A2

  3513. 	subq	 $-16 * SIZE, Y1

  3514. 

  3515. 	subq	 $1, I

  3516. 	BRANCH

  3517. 	jg	.L203

  3518. 	ALIGN_3

  3519. 

  3520. .L204:

  3521. 	mulps	 %xmm12, %xmm4

  3522. 	addps	 %xmm4,  %xmm0

  3523. 	movaps	 -20 * SIZE(A1), %xmm7

  3524. 	mulps	 %xmm12, %xmm5

  3525. 	addps	 %xmm5,  %xmm1

  3526. 	movaps	 -29 * SIZE(A1, LDA), %xmm4

  3527. 	mulps	 %xmm12, %xmm6

  3528. 	addps	 %xmm6,  %xmm2

  3529. 	movaps	 -25 * SIZE(A1, LDA), %xmm5

  3530. 	mulps	 %xmm12, %xmm7

  3531. 	addps	 %xmm7,  %xmm3

  3532. 	movaps	 -21 * SIZE(A1, LDA), %xmm6

  3533. 

  3534. 	movss	 %xmm4, %xmm8

  3535. 	shufps	 $0x39, %xmm8, %xmm8

  3536. 	mulps	 %xmm13, %xmm8

  3537. 	addps	 %xmm8,  %xmm0

  3538. 	movaps	 -17 * SIZE(A1, LDA), %xmm8

  3539. 	movss	 %xmm5, %xmm4

  3540. 	shufps	 $0x39, %xmm4, %xmm4

  3541. 	mulps	 %xmm13, %xmm4

  3542. 	addps	 %xmm4,  %xmm1

  3543. 	movaps	 -30 * SIZE(A2), %xmm4

  3544. 

  3545. 	movss	 %xmm6, %xmm5

  3546. 	shufps	 $0x39, %xmm5, %xmm5

  3547. 	mulps	 %xmm13, %xmm5

  3548. 	addps	 %xmm5,  %xmm2

  3549. 	movaps	 -26 * SIZE(A2), %xmm5

  3550. 	movss	 %xmm8, %xmm6

  3551. 	shufps	 $0x39, %xmm6, %xmm6

  3552. 	mulps	 %xmm13, %xmm6

  3553. 	addps	 %xmm6,  %xmm3

  3554. 	movaps	 -22 * SIZE(A2), %xmm6

  3555. 

  3556. 	shufps	 $0x4e, %xmm4, %xmm9

  3557. 	mulps	 %xmm14, %xmm9

  3558. 	addps	 %xmm9,  %xmm0

  3559. 	movaps	 -18 * SIZE(A2), %xmm9

  3560. 	shufps	 $0x4e, %xmm5, %xmm4

  3561. 	mulps	 %xmm14, %xmm4

  3562. 	addps	 %xmm4,  %xmm1

  3563. 	movaps	 -31 * SIZE(A2, LDA), %xmm4

  3564. 	shufps	 $0x4e, %xmm6, %xmm5

  3565. 	mulps	 %xmm14, %xmm5

  3566. 	addps	 %xmm5,  %xmm2

  3567. 	movaps	 -27 * SIZE(A2, LDA), %xmm5

  3568. 	shufps	 $0x4e, %xmm9, %xmm6

  3569. 	mulps	 %xmm14, %xmm6

  3570. 	addps	 %xmm6,  %xmm3

  3571. 	movaps	 -23 * SIZE(A2, LDA), %xmm6

  3572. 

  3573. 	movss	 %xmm4,  %xmm10

  3574. 	shufps	 $0x93, %xmm4, %xmm10

  3575. 	mulps	 %xmm15, %xmm10

  3576. 	addps	 %xmm10, %xmm0

  3577. 	movaps	 -19 * SIZE(A2, LDA), %xmm10

  3578. 	movss	 %xmm5,  %xmm4

  3579. 	shufps	 $0x93, %xmm5, %xmm4

  3580. 	mulps	 %xmm15, %xmm4

  3581. 	addps	 %xmm4,  %xmm1

  3582. 

  3583. 	movss	 %xmm6,  %xmm5

  3584. 	shufps	 $0x93, %xmm6, %xmm5

  3585. 	mulps	 %xmm15, %xmm5

  3586. 	addps	 %xmm5,  %xmm2

  3587. 	movss	 %xmm10,  %xmm6

  3588. 	shufps	 $0x93, %xmm10, %xmm6

  3589. 	mulps	 %xmm15, %xmm6

  3590. 	addps	 %xmm6,  %xmm3

  3591. 

  3592. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3593. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  3594. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  3595. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  3596. 

  3597. 	subq	 $-16 * SIZE, A1

  3598. 	subq	 $-16 * SIZE, A2

  3599. 	subq	 $-16 * SIZE, Y1

  3600. 	ALIGN_3

  3601. 

  3602. .L205:

  3603. 	testq	$8, MM

  3604. 	je	.L206

  3605. 

  3606. 	movaps	 -32 * SIZE(A1), %xmm4

  3607. 	movaps	 -28 * SIZE(A1), %xmm5

  3608. 	movaps	 -29 * SIZE(A1, LDA), %xmm6

  3609. 

  3610. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  3611. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  3612. 

  3613. 	mulps	 %xmm12, %xmm4

  3614. 	addps	 %xmm4,  %xmm0

  3615. 	movaps	 -30 * SIZE(A2), %xmm4

  3616. 	mulps	 %xmm12, %xmm5

  3617. 	addps	 %xmm5,  %xmm1

  3618. 	movaps	 -26 * SIZE(A2), %xmm5

  3619. 

  3620. 	movss	 %xmm6, %xmm8

  3621. 	shufps	 $0x39, %xmm8, %xmm8

  3622. 	mulps	 %xmm13, %xmm8

  3623. 	addps	 %xmm8,  %xmm0

  3624. 	movaps	 -25 * SIZE(A1, LDA), %xmm8

  3625. 	movss	 %xmm8, %xmm6

  3626. 	shufps	 $0x39, %xmm6, %xmm6

  3627. 	mulps	 %xmm13, %xmm6

  3628. 	addps	 %xmm6,  %xmm1

  3629. 	movaps	 -31 * SIZE(A2, LDA), %xmm6

  3630. 

  3631. 	shufps	 $0x4e, %xmm4, %xmm9

  3632. 	mulps	 %xmm14, %xmm9

  3633. 	addps	 %xmm9,  %xmm0

  3634. 	movaps	 -27 * SIZE(A2, LDA), %xmm7

  3635. 

  3636. 	shufps	 $0x4e, %xmm5, %xmm4

  3637. 	mulps	 %xmm14, %xmm4

  3638. 	addps	 %xmm4,  %xmm1

  3639. 	movaps	 %xmm5, %xmm9

  3640. 

  3641. 	movss	 %xmm6,  %xmm10

  3642. 	shufps	 $0x93, %xmm6, %xmm10

  3643. 	mulps	 %xmm15, %xmm10

  3644. 	addps	 %xmm10, %xmm0

  3645. 

  3646. 	movss	 %xmm7,  %xmm6

  3647. 	shufps	 $0x93, %xmm7, %xmm6

  3648. 	mulps	 %xmm15, %xmm6

  3649. 	addps	 %xmm6,  %xmm1

  3650. 	movaps	 %xmm7, %xmm10

  3651. 

  3652. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3653. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  3654. 

  3655. 	addq	 $8 * SIZE, A1

  3656. 	addq	 $8 * SIZE, A2

  3657. 	addq	 $8 * SIZE, Y1

  3658. 	ALIGN_3

  3659. 

  3660. .L206:

  3661. 	testq	$4, MM

  3662. 	je	.L207

  3663. 

  3664. 	movaps	 -32 * SIZE(A1), %xmm4

  3665. 	movaps	 -29 * SIZE(A1, LDA), %xmm5

  3666. 	movaps	 -30 * SIZE(A2), %xmm6

  3667. 	movaps	 -31 * SIZE(A2, LDA), %xmm7

  3668. 

  3669. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  3670. 

  3671. 	mulps	 %xmm12, %xmm4

  3672. 	addps	 %xmm4,  %xmm0

  3673. 	movss	 %xmm5, %xmm8

  3674. 	shufps	 $0x39, %xmm8, %xmm8

  3675. 	mulps	 %xmm13, %xmm8

  3676. 	addps	 %xmm8,  %xmm0

  3677. 

  3678. 	shufps	 $0x4e, %xmm6, %xmm9

  3679. 	mulps	 %xmm14, %xmm9

  3680. 	addps	 %xmm9,  %xmm0

  3681. 	movss	 %xmm7,  %xmm10

  3682. 	shufps	 $0x93, %xmm7, %xmm10

  3683. 	mulps	 %xmm15, %xmm10

  3684. 	addps	 %xmm10, %xmm0

  3685. 

  3686. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3687. 

  3688. 	addq	 $4 * SIZE, A1

  3689. 	addq	 $4 * SIZE, A2

  3690. 	addq	 $4 * SIZE, Y1

  3691. 	ALIGN_3

  3692. 

  3693. .L207:

  3694. 	testq	$2, MM

  3695. 	je	.L208

  3696. 

  3697. 	movsd	 -32 * SIZE(A1), %xmm4

  3698. 	movsd	 -32 * SIZE(A1, LDA), %xmm5

  3699. 	movsd	 -32 * SIZE(A2), %xmm6

  3700. 	movsd	 -32 * SIZE(A2, LDA), %xmm7

  3701. 

  3702. 	movsd	 -32 * SIZE(Y1), %xmm0

  3703. 

  3704. 	mulps	 %xmm12, %xmm4

  3705. 	addps	 %xmm4,  %xmm0

  3706. 	mulps	 %xmm13, %xmm5

  3707. 	addps	 %xmm5,  %xmm0

  3708. 	mulps	 %xmm14, %xmm6

  3709. 	addps	 %xmm6,  %xmm0

  3710. 	mulps	 %xmm15, %xmm7

  3711. 	addps	 %xmm7,  %xmm0

  3712. 

  3713. 	movlps	 %xmm0, -32 * SIZE(Y1)

  3714. 

  3715. 	addq	 $2 * SIZE, A1

  3716. 	addq	 $2 * SIZE, A2

  3717. 	addq	 $2 * SIZE, Y1

  3718. 	ALIGN_3

  3719. 

  3720. .L208:

  3721. 	testq	$1, MM

  3722. 	je	.L209

  3723. 

  3724. 	movss	 -32 * SIZE(Y1), %xmm0

  3725. 

  3726. 	movss	 -32 * SIZE(A1), %xmm4

  3727. 	movss	 -32 * SIZE(A1, LDA), %xmm5

  3728. 	movss	 -32 * SIZE(A2), %xmm6

  3729. 	movss	 -32 * SIZE(A2, LDA), %xmm7

  3730. 

  3731. 	mulss	 %xmm12, %xmm4

  3732. 	addss	 %xmm4,  %xmm0

  3733. 	mulss	 %xmm13, %xmm5

  3734. 	addss	 %xmm5,  %xmm0

  3735. 	mulss	 %xmm14, %xmm6

  3736. 	addss	 %xmm6,  %xmm0

  3737. 	mulss	 %xmm15, %xmm7

  3738. 	addss	 %xmm7,  %xmm0

  3739. 

  3740. 	movss	 %xmm0, -32 * SIZE(Y1)

  3741. 	ALIGN_3

  3742. 

  3743. .L209:

  3744. 	cmpq	$4, N

  3745. 	jge	.L201

  3746. 	ALIGN_3

  3747. 

  3748. .L210:

  3749. 	cmpq	$3, N

  3750. 	jne	.L220

  3751. 

  3752. 	leaq	32 * SIZE(BUFFER), Y1

  3753. 	movq	A,  A1

  3754. 	leaq	(A,  LDA, 2), A2

  3755. 	leaq	(A,  LDA, 4), A

  3756. 

  3757. 	movss	(X), %xmm12

  3758. 	addq	INCX, X

  3759. 	movss	(X), %xmm13

  3760. 	addq	INCX, X

  3761. 	movss	(X), %xmm14

  3762. 	addq	INCX, X

  3763. 

  3764. 	movss	ALPHA, %xmm0

  3765. 

  3766. 	mulss	%xmm0, %xmm12

  3767. 	mulss	%xmm0, %xmm13

  3768. 	mulss	%xmm0, %xmm14

  3769. 

  3770. 	shufps	$0, %xmm12, %xmm12

  3771. 	shufps	$0, %xmm13, %xmm13

  3772. 	shufps	$0, %xmm14, %xmm14

  3773. 

  3774. 	cmpq	$3, M

  3775. 	jle	.L217

  3776. 

  3777. 	testq	$SIZE, A1

  3778. 	je	.L21X

  3779. 

  3780. 	movss	 -32 * SIZE(A1), %xmm0

  3781. 	movss	 -32 * SIZE(A1, LDA), %xmm1

  3782. 	movss	 -32 * SIZE(A2), %xmm2

  3783. 

  3784. 	movss	 -32 * SIZE(Y1), %xmm8

  3785. 

  3786. 	mulss	 %xmm12, %xmm0

  3787. 	addss	 %xmm0,  %xmm8

  3788. 	mulss	 %xmm13, %xmm1

  3789. 	addss	 %xmm1,  %xmm8

  3790. 	mulss	 %xmm14, %xmm2

  3791. 	addss	 %xmm2, %xmm8

  3792. 

  3793. 	movss	 %xmm8, -32 * SIZE(Y1)

  3794. 

  3795. 	addq	 $1 * SIZE, A1

  3796. 	addq	 $1 * SIZE, A2

  3797. 	addq	 $1 * SIZE, Y1

  3798. 	ALIGN_3

  3799. 

  3800. .L21X:

  3801. 	testq	$2 * SIZE, A1

  3802. 	je	.L21XX

  3803. 

  3804. 	movsd	 -32 * SIZE(A1), %xmm0

  3805. 	movsd	 -32 * SIZE(A1, LDA), %xmm1

  3806. 	movsd	 -32 * SIZE(A2), %xmm2

  3807. 

  3808. 	movsd	 -32 * SIZE(Y1), %xmm8

  3809. 

  3810. 	mulps	 %xmm12, %xmm0

  3811. 	addps	 %xmm0,  %xmm8

  3812. 	mulps	 %xmm13, %xmm1

  3813. 	addps	 %xmm1,  %xmm8

  3814. 	mulps	 %xmm14, %xmm2

  3815. 	addps	 %xmm2, %xmm8

  3816. 

  3817. 	movlps	 %xmm8, -32 * SIZE(Y1)

  3818. 

  3819. 	addq	 $2 * SIZE, A1

  3820. 	addq	 $2 * SIZE, A2

  3821. 	addq	 $2 * SIZE, Y1

  3822. 	ALIGN_3

  3823. 

  3824. .L21XX:

  3825. 	movaps	-33 * SIZE(A1, LDA), %xmm8

  3826. 	movaps	-34 * SIZE(A2), %xmm9

  3827. 	movaps	-35 * SIZE(A2, LDA), %xmm10

  3828. 

  3829. 	movq	MM,  I

  3830. 	sarq	$4,  I

  3831. 	jle	.L215

  3832. 

  3833. 	movaps	 -32 * SIZE(A1), %xmm4

  3834. 	movaps	 -28 * SIZE(A1), %xmm5

  3835. 	movaps	 -24 * SIZE(A1), %xmm6

  3836. 

  3837. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  3838. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  3839. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  3840. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  3841. 

  3842. 	decq	 I

  3843. 	jle	 .L214

  3844. 	ALIGN_3

  3845. 

  3846. .L213:

  3847. #ifdef PREFETCH

  3848. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1)

  3849. #endif

  3850. 

  3851. 	mulps	 %xmm12, %xmm4

  3852. 	addps	 %xmm4,  %xmm0

  3853. 	movaps	 -20 * SIZE(A1), %xmm7

  3854. 	mulps	 %xmm12, %xmm5

  3855. 	addps	 %xmm5,  %xmm1

  3856. 	movaps	 -29 * SIZE(A1, LDA), %xmm4

  3857. 	mulps	 %xmm12, %xmm6

  3858. 	addps	 %xmm6,  %xmm2

  3859. 	movaps	 -25 * SIZE(A1, LDA), %xmm5

  3860. 	mulps	 %xmm12, %xmm7

  3861. 	addps	 %xmm7,  %xmm3

  3862. 	movaps	 -21 * SIZE(A1, LDA), %xmm6

  3863. 

  3864. #ifdef PREFETCH

  3865. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1, LDA)

  3866. #endif

  3867. 

  3868. 	movss	 %xmm4, %xmm8

  3869. 	shufps	 $0x39, %xmm8, %xmm8

  3870. 	mulps	 %xmm13, %xmm8

  3871. 	addps	 %xmm8,  %xmm0

  3872. 	movaps	 -17 * SIZE(A1, LDA), %xmm8

  3873. 	movss	 %xmm5, %xmm4

  3874. 	shufps	 $0x39, %xmm4, %xmm4

  3875. 	mulps	 %xmm13, %xmm4

  3876. 	addps	 %xmm4,  %xmm1

  3877. 	movaps	 -30 * SIZE(A2), %xmm4

  3878. 	movss	 %xmm6, %xmm5

  3879. 	shufps	 $0x39, %xmm5, %xmm5

  3880. 	mulps	 %xmm13, %xmm5

  3881. 	addps	 %xmm5,  %xmm2

  3882. 	movaps	 -26 * SIZE(A2), %xmm5

  3883. 	movss	 %xmm8, %xmm6

  3884. 	shufps	 $0x39, %xmm6, %xmm6

  3885. 	mulps	 %xmm13, %xmm6

  3886. 	addps	 %xmm6,  %xmm3

  3887. 	movaps	 -22 * SIZE(A2), %xmm6

  3888. 

  3889. #ifdef PREFETCH

  3890. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A2)

  3891. #endif

  3892. 

  3893. 	shufps	 $0x4e, %xmm4, %xmm9

  3894. 	mulps	 %xmm14, %xmm9

  3895. 	addps	 %xmm9,  %xmm0

  3896. 	movaps	 -18 * SIZE(A2), %xmm9

  3897. 	shufps	 $0x4e, %xmm5, %xmm4

  3898. 	mulps	 %xmm14, %xmm4

  3899. 	addps	 %xmm4,  %xmm1

  3900. 	movaps	 -16 * SIZE(A1), %xmm4

  3901. 	shufps	 $0x4e, %xmm6, %xmm5

  3902. 	mulps	 %xmm14, %xmm5

  3903. 	addps	 %xmm5,  %xmm2

  3904. 	movaps	 -12 * SIZE(A1), %xmm5

  3905. 	shufps	 $0x4e, %xmm9, %xmm6

  3906. 	mulps	 %xmm14, %xmm6

  3907. 	addps	 %xmm6,  %xmm3

  3908. 	movaps	  -8 * SIZE(A1), %xmm6

  3909. 

  3910. #ifdef PREFETCHW

  3911. 	PREFETCHW	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(Y1)

  3912. #endif

  3913. 

  3914. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3915. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  3916. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  3917. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  3918. 

  3919. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  3920. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  3921. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  3922. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  3923. 

  3924. 	subq	 $-16 * SIZE, A1

  3925. 	subq	 $-16 * SIZE, A2

  3926. 	subq	 $-16 * SIZE, Y1

  3927. 

  3928. 	subq	 $1, I

  3929. 	BRANCH

  3930. 	jg	.L213

  3931. 	ALIGN_3

  3932. 

  3933. .L214:

  3934. 	mulps	 %xmm12, %xmm4

  3935. 	addps	 %xmm4,  %xmm0

  3936. 	movaps	 -20 * SIZE(A1), %xmm7

  3937. 	mulps	 %xmm12, %xmm5

  3938. 	addps	 %xmm5,  %xmm1

  3939. 	movaps	 -29 * SIZE(A1, LDA), %xmm4

  3940. 	mulps	 %xmm12, %xmm6

  3941. 	addps	 %xmm6,  %xmm2

  3942. 	movaps	 -25 * SIZE(A1, LDA), %xmm5

  3943. 	mulps	 %xmm12, %xmm7

  3944. 	addps	 %xmm7,  %xmm3

  3945. 	movaps	 -21 * SIZE(A1, LDA), %xmm6

  3946. 

  3947. 	movss	 %xmm4, %xmm8

  3948. 	shufps	 $0x39, %xmm8, %xmm8

  3949. 	mulps	 %xmm13, %xmm8

  3950. 	addps	 %xmm8,  %xmm0

  3951. 	movaps	 -17 * SIZE(A1, LDA), %xmm8

  3952. 	movss	 %xmm5, %xmm4

  3953. 	shufps	 $0x39, %xmm4, %xmm4

  3954. 	mulps	 %xmm13, %xmm4

  3955. 	addps	 %xmm4,  %xmm1

  3956. 	movaps	 -30 * SIZE(A2), %xmm4

  3957. 

  3958. 	movss	 %xmm6, %xmm5

  3959. 	shufps	 $0x39, %xmm5, %xmm5

  3960. 	mulps	 %xmm13, %xmm5

  3961. 	addps	 %xmm5,  %xmm2

  3962. 	movaps	 -26 * SIZE(A2), %xmm5

  3963. 	movss	 %xmm8, %xmm6

  3964. 	shufps	 $0x39, %xmm6, %xmm6

  3965. 	mulps	 %xmm13, %xmm6

  3966. 	addps	 %xmm6,  %xmm3

  3967. 	movaps	 -22 * SIZE(A2), %xmm6

  3968. 

  3969. 	shufps	 $0x4e, %xmm4, %xmm9

  3970. 	mulps	 %xmm14, %xmm9

  3971. 	addps	 %xmm9,  %xmm0

  3972. 	movaps	 -18 * SIZE(A2), %xmm9

  3973. 	shufps	 $0x4e, %xmm5, %xmm4

  3974. 	mulps	 %xmm14, %xmm4

  3975. 	addps	 %xmm4,  %xmm1

  3976. 	shufps	 $0x4e, %xmm6, %xmm5

  3977. 	mulps	 %xmm14, %xmm5

  3978. 	addps	 %xmm5,  %xmm2

  3979. 	shufps	 $0x4e, %xmm9, %xmm6

  3980. 	mulps	 %xmm14, %xmm6

  3981. 	addps	 %xmm6,  %xmm3

  3982. 

  3983. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  3984. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  3985. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  3986. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  3987. 

  3988. 	subq	 $-16 * SIZE, A1

  3989. 	subq	 $-16 * SIZE, A2

  3990. 	subq	 $-16 * SIZE, Y1

  3991. 	ALIGN_3

  3992. 

  3993. .L215:

  3994. 	testq	$8, MM

  3995. 	je	.L216

  3996. 

  3997. 	movaps	 -32 * SIZE(A1), %xmm4

  3998. 	movaps	 -28 * SIZE(A1), %xmm5

  3999. 	movaps	 -29 * SIZE(A1, LDA), %xmm6

  4000. 

  4001. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4002. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  4003. 

  4004. 	mulps	 %xmm12, %xmm4

  4005. 	addps	 %xmm4,  %xmm0

  4006. 	movaps	 -30 * SIZE(A2), %xmm4

  4007. 	mulps	 %xmm12, %xmm5

  4008. 	addps	 %xmm5,  %xmm1

  4009. 	movaps	 -26 * SIZE(A2), %xmm5

  4010. 

  4011. 	movss	 %xmm6, %xmm8

  4012. 	shufps	 $0x39, %xmm8, %xmm8

  4013. 	mulps	 %xmm13, %xmm8

  4014. 	addps	 %xmm8,  %xmm0

  4015. 	movaps	 -25 * SIZE(A1, LDA), %xmm8

  4016. 	movss	 %xmm8, %xmm6

  4017. 	shufps	 $0x39, %xmm6, %xmm6

  4018. 	mulps	 %xmm13, %xmm6

  4019. 	addps	 %xmm6,  %xmm1

  4020. 

  4021. 	shufps	 $0x4e, %xmm4, %xmm9

  4022. 	mulps	 %xmm14, %xmm9

  4023. 	addps	 %xmm9,  %xmm0

  4024. 

  4025. 	shufps	 $0x4e, %xmm5, %xmm4

  4026. 	mulps	 %xmm14, %xmm4

  4027. 	addps	 %xmm4,  %xmm1

  4028. 	movaps	 %xmm5, %xmm9

  4029. 

  4030. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4031. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  4032. 

  4033. 	addq	 $8 * SIZE, A1

  4034. 	addq	 $8 * SIZE, A2

  4035. 	addq	 $8 * SIZE, Y1

  4036. 	ALIGN_3

  4037. 

  4038. .L216:

  4039. 	testq	$4, MM

  4040. 	je	.L217

  4041. 

  4042. 	movaps	 -32 * SIZE(A1), %xmm4

  4043. 	movaps	 -29 * SIZE(A1, LDA), %xmm5

  4044. 	movaps	 -30 * SIZE(A2), %xmm6

  4045. 

  4046. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4047. 

  4048. 	mulps	 %xmm12, %xmm4

  4049. 	addps	 %xmm4,  %xmm0

  4050. 	movss	 %xmm5, %xmm8

  4051. 	shufps	 $0x39, %xmm8, %xmm8

  4052. 	mulps	 %xmm13, %xmm8

  4053. 	addps	 %xmm8,  %xmm0

  4054. 

  4055. 	shufps	 $0x4e, %xmm6, %xmm9

  4056. 	mulps	 %xmm14, %xmm9

  4057. 	addps	 %xmm9,  %xmm0

  4058. 	movss	 %xmm7,  %xmm10

  4059. 

  4060. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4061. 

  4062. 	addq	 $4 * SIZE, A1

  4063. 	addq	 $4 * SIZE, A2

  4064. 	addq	 $4 * SIZE, Y1

  4065. 	ALIGN_3

  4066. 

  4067. .L217:

  4068. 	testq	$2, MM

  4069. 	je	.L218

  4070. 

  4071. 	movsd	 -32 * SIZE(A1), %xmm4

  4072. 	movsd	 -32 * SIZE(A1, LDA), %xmm5

  4073. 	movsd	 -32 * SIZE(A2), %xmm6

  4074. 

  4075. 	movsd	 -32 * SIZE(Y1), %xmm0

  4076. 

  4077. 	mulps	 %xmm12, %xmm4

  4078. 	addps	 %xmm4,  %xmm0

  4079. 	mulps	 %xmm13, %xmm5

  4080. 	addps	 %xmm5,  %xmm0

  4081. 	mulps	 %xmm14, %xmm6

  4082. 	addps	 %xmm6,  %xmm0

  4083. 

  4084. 	movlps	 %xmm0, -32 * SIZE(Y1)

  4085. 

  4086. 	addq	 $2 * SIZE, A1

  4087. 	addq	 $2 * SIZE, A2

  4088. 	addq	 $2 * SIZE, Y1

  4089. 	ALIGN_3

  4090. 

  4091. .L218:

  4092. 	testq	$1, MM

  4093. 	je	.L990

  4094. 

  4095. 	movss	 -32 * SIZE(Y1), %xmm0

  4096. 

  4097. 	movss	 -32 * SIZE(A1), %xmm4

  4098. 	movss	 -32 * SIZE(A1, LDA), %xmm5

  4099. 	movss	 -32 * SIZE(A2), %xmm6

  4100. 

  4101. 	mulss	 %xmm12, %xmm4

  4102. 	addss	 %xmm4,  %xmm0

  4103. 	mulss	 %xmm13, %xmm5

  4104. 	addss	 %xmm5,  %xmm0

  4105. 	mulss	 %xmm14, %xmm6

  4106. 	addss	 %xmm6,  %xmm0

  4107. 

  4108. 	movss	 %xmm0, -32 * SIZE(Y1)

  4109. 	jmp	 .L990

  4110. 	ALIGN_4

  4111. 

  4112. .L220:

  4113. 	testq	N, N

  4114. 	jle	.L990

  4115. 

  4116. 	cmpq	$2, N

  4117. 	jne	.L230

  4118. 

  4119. 	leaq	32 * SIZE(BUFFER), Y1

  4120. 	movq	A,  A1

  4121. 	leaq	(A,  LDA, 1), A2

  4122. 	leaq	(A,  LDA, 2), A

  4123. 

  4124. 	movss	(X), %xmm12

  4125. 	addq	INCX, X

  4126. 	movss	(X), %xmm13

  4127. 	addq	INCX, X

  4128. 

  4129. 	movss	ALPHA, %xmm0

  4130. 

  4131. 	mulss	%xmm0, %xmm12

  4132. 	mulss	%xmm0, %xmm13

  4133. 

  4134. 	shufps	$0, %xmm12, %xmm12

  4135. 	shufps	$0, %xmm13, %xmm13

  4136. 

  4137. 	cmpq	$3, M

  4138. 	jle	.L227

  4139. 

  4140. 	testq	$SIZE, A1

  4141. 	je	.L22X

  4142. 

  4143. 	movss	 -32 * SIZE(Y1), %xmm9

  4144. 

  4145. 	movss	 -32 * SIZE(A1), %xmm0

  4146. 	movss	 -32 * SIZE(A2), %xmm1

  4147. 

  4148. 	mulss	 %xmm12, %xmm0

  4149. 	addss	 %xmm0,  %xmm9

  4150. 	mulss	 %xmm13, %xmm1

  4151. 	addss	 %xmm1,  %xmm9

  4152. 

  4153. 	movss	 %xmm9, -32 * SIZE(Y1)

  4154. 

  4155. 	addq	 $1 * SIZE, A1

  4156. 	addq	 $1 * SIZE, A2

  4157. 	addq	 $1 * SIZE, Y1

  4158. 	ALIGN_3

  4159. 

  4160. .L22X:

  4161. 	testq	$2 * SIZE, A1

  4162. 	je	.L22XX

  4163. 

  4164. 	movsd	 -32 * SIZE(A1), %xmm0

  4165. 	movsd	 -32 * SIZE(A2), %xmm1

  4166. 

  4167. 	movsd	 -32 * SIZE(Y1), %xmm9

  4168. 

  4169. 	mulps	 %xmm12, %xmm0

  4170. 	addps	 %xmm0,  %xmm9

  4171. 	mulps	 %xmm13, %xmm1

  4172. 	addps	 %xmm1,  %xmm9

  4173. 

  4174. 	movlps	 %xmm9, -32 * SIZE(Y1)

  4175. 

  4176. 	addq	 $2 * SIZE, A1

  4177. 	addq	 $2 * SIZE, A2

  4178. 	addq	 $2 * SIZE, Y1

  4179. 	ALIGN_3

  4180. 

  4181. .L22XX:

  4182. 	movaps	-33 * SIZE(A1, LDA), %xmm8

  4183. 

  4184. 	movq	MM,  I

  4185. 	sarq	$4,  I

  4186. 	jle	.L225

  4187. 

  4188. 	movaps	 -32 * SIZE(A1), %xmm4

  4189. 	movaps	 -28 * SIZE(A1), %xmm5

  4190. 	movaps	 -24 * SIZE(A1), %xmm6

  4191. 

  4192. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4193. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  4194. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  4195. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  4196. 

  4197. 	decq	 I

  4198. 	jle	 .L224

  4199. 	ALIGN_3

  4200. 

  4201. .L223:

  4202. #ifdef PREFETCH

  4203. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  4204. #endif

  4205. 

  4206. 	mulps	 %xmm12, %xmm4

  4207. 	addps	 %xmm4,  %xmm0

  4208. 	movaps	 -20 * SIZE(A1), %xmm7

  4209. 	mulps	 %xmm12, %xmm5

  4210. 	addps	 %xmm5,  %xmm1

  4211. 	movaps	 -29 * SIZE(A2), %xmm4

  4212. 	mulps	 %xmm12, %xmm6

  4213. 	addps	 %xmm6,  %xmm2

  4214. 	movaps	 -25 * SIZE(A2), %xmm5

  4215. 	mulps	 %xmm12, %xmm7

  4216. 	addps	 %xmm7,  %xmm3

  4217. 	movaps	 -21 * SIZE(A2), %xmm6

  4218. 

  4219. #ifdef PREFETCH

  4220. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A2)

  4221. #endif

  4222. 

  4223. 	movss	 %xmm4, %xmm8

  4224. 	shufps	 $0x39, %xmm8, %xmm8

  4225. 	mulps	 %xmm13, %xmm8

  4226. 	addps	 %xmm8,  %xmm0

  4227. 	movaps	 -17 * SIZE(A2), %xmm8

  4228. 	movss	 %xmm5, %xmm4

  4229. 	shufps	 $0x39, %xmm4, %xmm4

  4230. 	mulps	 %xmm13, %xmm4

  4231. 	addps	 %xmm4,  %xmm1

  4232. 	movaps	 -16 * SIZE(A1), %xmm4

  4233. 

  4234. 	movss	 %xmm6, %xmm5

  4235. 	shufps	 $0x39, %xmm5, %xmm5

  4236. 	mulps	 %xmm13, %xmm5

  4237. 	addps	 %xmm5,  %xmm2

  4238. 	movaps	 -12 * SIZE(A1), %xmm5

  4239. 	movss	 %xmm8, %xmm6

  4240. 	shufps	 $0x39, %xmm6, %xmm6

  4241. 	mulps	 %xmm13, %xmm6

  4242. 	addps	 %xmm6,  %xmm3

  4243. 	movaps	  -8 * SIZE(A1), %xmm6

  4244. 

  4245. #ifdef PREFETCHW

  4246. 	PREFETCHW	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(Y1)

  4247. #endif

  4248. 

  4249. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4250. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  4251. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  4252. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  4253. 

  4254. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  4255. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  4256. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  4257. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  4258. 

  4259. 	subq	 $-16 * SIZE, A1

  4260. 	subq	 $-16 * SIZE, A2

  4261. 	subq	 $-16 * SIZE, Y1

  4262. 

  4263. 	subq	 $1, I

  4264. 	BRANCH

  4265. 	jg	.L223

  4266. 	ALIGN_3

  4267. 

  4268. .L224:

  4269. 	mulps	 %xmm12, %xmm4

  4270. 	addps	 %xmm4,  %xmm0

  4271. 	movaps	 -20 * SIZE(A1), %xmm7

  4272. 	mulps	 %xmm12, %xmm5

  4273. 	addps	 %xmm5,  %xmm1

  4274. 	movaps	 -29 * SIZE(A2), %xmm4

  4275. 	mulps	 %xmm12, %xmm6

  4276. 	addps	 %xmm6,  %xmm2

  4277. 	movaps	 -25 * SIZE(A2), %xmm5

  4278. 	mulps	 %xmm12, %xmm7

  4279. 	addps	 %xmm7,  %xmm3

  4280. 	movaps	 -21 * SIZE(A2), %xmm6

  4281. 

  4282. 	movss	 %xmm4, %xmm8

  4283. 	shufps	 $0x39, %xmm8, %xmm8

  4284. 	mulps	 %xmm13, %xmm8

  4285. 	addps	 %xmm8,  %xmm0

  4286. 	movaps	 -17 * SIZE(A2), %xmm8

  4287. 	movss	 %xmm5, %xmm4

  4288. 	shufps	 $0x39, %xmm4, %xmm4

  4289. 	mulps	 %xmm13, %xmm4

  4290. 	addps	 %xmm4,  %xmm1

  4291. 

  4292. 	movss	 %xmm6, %xmm5

  4293. 	shufps	 $0x39, %xmm5, %xmm5

  4294. 	mulps	 %xmm13, %xmm5

  4295. 	addps	 %xmm5,  %xmm2

  4296. 	movss	 %xmm8, %xmm6

  4297. 	shufps	 $0x39, %xmm6, %xmm6

  4298. 	mulps	 %xmm13, %xmm6

  4299. 	addps	 %xmm6,  %xmm3

  4300. 

  4301. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4302. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  4303. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  4304. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  4305. 

  4306. 	subq	 $-16 * SIZE, A1

  4307. 	subq	 $-16 * SIZE, A2

  4308. 	subq	 $-16 * SIZE, Y1

  4309. 	ALIGN_3

  4310. 

  4311. .L225:

  4312. 	testq	$8, MM

  4313. 	je	.L226

  4314. 

  4315. 	movaps	 -32 * SIZE(A1), %xmm4

  4316. 	movaps	 -28 * SIZE(A1), %xmm5

  4317. 

  4318. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4319. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  4320. 

  4321. 	mulps	 %xmm12, %xmm4

  4322. 	addps	 %xmm4,  %xmm0

  4323. 	movaps	 -29 * SIZE(A2), %xmm6

  4324. 	mulps	 %xmm12, %xmm5

  4325. 	addps	 %xmm5,  %xmm1

  4326. 	movaps	 -25 * SIZE(A2), %xmm7

  4327. 

  4328. 	movss	 %xmm6, %xmm8

  4329. 	shufps	 $0x39, %xmm8, %xmm8

  4330. 	mulps	 %xmm13, %xmm8

  4331. 	addps	 %xmm8,  %xmm0

  4332. 

  4333. 	movss	 %xmm7, %xmm6

  4334. 	shufps	 $0x39, %xmm6, %xmm6

  4335. 	mulps	 %xmm13, %xmm6

  4336. 	addps	 %xmm6,  %xmm1

  4337. 	movaps	 %xmm7, %xmm8

  4338. 

  4339. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4340. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  4341. 

  4342. 	addq	 $8 * SIZE, A1

  4343. 	addq	 $8 * SIZE, A2

  4344. 	addq	 $8 * SIZE, Y1

  4345. 	ALIGN_3

  4346. 

  4347. .L226:

  4348. 	testq	$4, MM

  4349. 	je	.L227

  4350. 

  4351. 	movaps	 -32 * SIZE(A1), %xmm4

  4352. 	movaps	 -29 * SIZE(A2), %xmm5

  4353. 

  4354. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4355. 

  4356. 	mulps	 %xmm12, %xmm4

  4357. 	addps	 %xmm4,  %xmm0

  4358. 	movss	 %xmm5, %xmm8

  4359. 	shufps	 $0x39, %xmm8, %xmm8

  4360. 	mulps	 %xmm13, %xmm8

  4361. 	addps	 %xmm8,  %xmm0

  4362. 

  4363. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4364. 

  4365. 	addq	 $4 * SIZE, A1

  4366. 	addq	 $4 * SIZE, A2

  4367. 	addq	 $4 * SIZE, Y1

  4368. 	ALIGN_3

  4369. 

  4370. .L227:

  4371. 	testq	$2, MM

  4372. 	je	.L228

  4373. 

  4374. 	movsd	 -32 * SIZE(A1), %xmm0

  4375. 	movsd	 -32 * SIZE(A2), %xmm1

  4376. 

  4377. 	movsd	 -32 * SIZE(Y1), %xmm9

  4378. 

  4379. 	mulps	 %xmm12, %xmm0

  4380. 	addps	 %xmm0,  %xmm9

  4381. 	mulps	 %xmm13, %xmm1

  4382. 	addps	 %xmm1,  %xmm9

  4383. 

  4384. 	movlps	 %xmm9, -32 * SIZE(Y1)

  4385. 

  4386. 	addq	 $2 * SIZE, A1

  4387. 	addq	 $2 * SIZE, A2

  4388. 	addq	 $2 * SIZE, Y1

  4389. 	ALIGN_3

  4390. 

  4391. .L228:

  4392. 	testq	$1, MM

  4393. 	je	.L990

  4394. 

  4395. 	movss	 -32 * SIZE(Y1), %xmm9

  4396. 

  4397. 	movss	 -32 * SIZE(A1), %xmm0

  4398. 	movss	 -32 * SIZE(A2), %xmm1

  4399. 

  4400. 	mulss	 %xmm12, %xmm0

  4401. 	addss	 %xmm0,  %xmm9

  4402. 	mulss	 %xmm13, %xmm1

  4403. 	addss	 %xmm1,  %xmm9

  4404. 

  4405. 	movss	 %xmm9, -32 * SIZE(Y1)

  4406. 	jmp	 .L990

  4407. 	ALIGN_3

  4408. 

  4409. .L230:

  4410. 	cmpq	$1, N

  4411. 	jne	.L990

  4412. 

  4413. 	leaq	32 * SIZE(BUFFER), Y1

  4414. 	movq	A,  A1

  4415. 

  4416. 	movss	(X), %xmm12

  4417. 

  4418. 	mulss	ALPHA, %xmm12

  4419. 	shufps	$0, %xmm12, %xmm12

  4420. 

  4421. 	cmpq	$3, M

  4422. 	jle	.L237

  4423. 

  4424. 	testq	$SIZE, A1

  4425. 	je	.L23X

  4426. 

  4427. 	movss	 -32 * SIZE(Y1), %xmm8

  4428. 	movss	 -32 * SIZE(A1), %xmm0

  4429. 

  4430. 	mulss	 %xmm12, %xmm0

  4431. 	addss	 %xmm0,  %xmm8

  4432. 

  4433. 	movss	 %xmm8, -32 * SIZE(Y1)

  4434. 

  4435. 	addq	 $1 * SIZE, A1

  4436. 	addq	 $1 * SIZE, Y1

  4437. 	ALIGN_3

  4438. 

  4439. .L23X:

  4440. 	testq	$2 * SIZE, A1

  4441. 	je	.L23XX

  4442. 

  4443. 	movsd	 -32 * SIZE(Y1), %xmm8

  4444. 	movsd	 -32 * SIZE(A1), %xmm0

  4445. 

  4446. 	mulps	 %xmm12, %xmm0

  4447. 	addps	 %xmm0,  %xmm8

  4448. 

  4449. 	movlps	 %xmm8, -32 * SIZE(Y1)

  4450. 

  4451. 	addq	 $2 * SIZE, A1

  4452. 	addq	 $2 * SIZE, Y1

  4453. 	ALIGN_3

  4454. 

  4455. .L23XX:

  4456. 	testq	$2 * SIZE, A1

  4457. 	jne	.L230

  4458. 

  4459. 	movq	MM,  I

  4460. 	sarq	$4,  I

  4461. 	jle	.L235

  4462. 

  4463. 	movaps	-32 * SIZE(A1), %xmm8

  4464. 	movaps	-28 * SIZE(A1), %xmm9

  4465. 	movaps	-24 * SIZE(A1), %xmm10

  4466. 	movaps	-20 * SIZE(A1), %xmm11

  4467. 

  4468. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4469. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  4470. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  4471. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  4472. 

  4473. 	decq	 I

  4474. 	jle	 .L234

  4475. 	ALIGN_3

  4476. 

  4477. .L233:

  4478. #ifdef PREFETCH

  4479. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(A1)

  4480. #endif

  4481. 

  4482. 	mulps	 %xmm12, %xmm8

  4483. 	addps	 %xmm8,  %xmm0

  4484. 	movaps	-16 * SIZE(A1), %xmm8

  4485. 	mulps	 %xmm12, %xmm9

  4486. 	addps	 %xmm9,  %xmm1

  4487. 	movaps	-12 * SIZE(A1), %xmm9

  4488. 	mulps	 %xmm12, %xmm10

  4489. 	addps	 %xmm10,  %xmm2

  4490. 	movaps	 -8 * SIZE(A1), %xmm10

  4491. 	mulps	 %xmm12, %xmm11

  4492. 	addps	 %xmm11,  %xmm3

  4493. 	movaps	 -4 * SIZE(A1), %xmm11

  4494. 

  4495. #ifdef PREFETCHW

  4496. 	PREFETCHW	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(Y1)

  4497. #endif

  4498. 

  4499. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4500. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  4501. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  4502. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  4503. 

  4504. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  4505. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  4506. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  4507. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  4508. 

  4509. 	subq	 $-16 * SIZE, A1

  4510. 	subq	 $-16 * SIZE, Y1

  4511. 

  4512. 	subq	 $1, I

  4513. 	BRANCH

  4514. 	jg	.L233

  4515. 	ALIGN_3

  4516. 

  4517. .L234:

  4518. 	mulps	 %xmm12, %xmm8

  4519. 	addps	 %xmm8,  %xmm0

  4520. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4521. 	mulps	 %xmm12, %xmm9

  4522. 	addps	 %xmm9,  %xmm1

  4523. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  4524. 	mulps	 %xmm12, %xmm10

  4525. 	addps	 %xmm10,  %xmm2

  4526. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  4527. 	mulps	 %xmm12, %xmm11

  4528. 	addps	 %xmm11,  %xmm3

  4529. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  4530. 

  4531. 	subq	 $-16 * SIZE, A1

  4532. 	subq	 $-16 * SIZE, Y1

  4533. 	ALIGN_3

  4534. 

  4535. .L235:

  4536. 	testq	$8, MM

  4537. 	je	.L236

  4538. 

  4539. 	movaps	-32 * SIZE(A1), %xmm8

  4540. 	movaps	-28 * SIZE(A1), %xmm9

  4541. 

  4542. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4543. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  4544. 

  4545. 	mulps	 %xmm12, %xmm8

  4546. 	addps	 %xmm8,  %xmm0

  4547. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4548. 	mulps	 %xmm12, %xmm9

  4549. 	addps	 %xmm9,  %xmm1

  4550. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  4551. 

  4552. 	addq	 $8 * SIZE, A1

  4553. 	addq	 $8 * SIZE, Y1

  4554. 	ALIGN_3

  4555. 

  4556. .L236:

  4557. 	testq	$4, MM

  4558. 	je	.L237

  4559. 

  4560. 	movaps	-32 * SIZE(A1), %xmm8

  4561. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4562. 

  4563. 	mulps	 %xmm12, %xmm8

  4564. 	addps	 %xmm8,  %xmm0

  4565. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4566. 

  4567. 	addq	 $4 * SIZE, A1

  4568. 	addq	 $4 * SIZE, Y1

  4569. 	ALIGN_3

  4570. 

  4571. .L237:

  4572. 	testq	$2, MM

  4573. 	je	.L238

  4574. 

  4575. 	movsd	 -32 * SIZE(Y1), %xmm8

  4576. 	movsd	 -32 * SIZE(A1), %xmm0

  4577. 

  4578. 	mulps	 %xmm12, %xmm0

  4579. 	addps	 %xmm0,  %xmm8

  4580. 

  4581. 	movlps	 %xmm8, -32 * SIZE(Y1)

  4582. 

  4583. 	addq	 $2 * SIZE, A1

  4584. 	addq	 $2 * SIZE, Y1

  4585. 	ALIGN_3

  4586. 

  4587. .L238:

  4588. 	testq	$1, MM

  4589. 	je	.L990

  4590. 

  4591. 	movss	 -32 * SIZE(Y1), %xmm8

  4592. 	movss	 -32 * SIZE(A1), %xmm0

  4593. 

  4594. 	mulss	 %xmm12, %xmm0

  4595. 	addss	 %xmm0,  %xmm8

  4596. 

  4597. 	movss	 %xmm8, -32 * SIZE(Y1)

  4598. 	jmp	.L990

  4599. 	ALIGN_4

  4600. 

  4601. .L300:

  4602. 	cmpq	$4, N

  4603. 	jl	.L310

  4604. 	ALIGN_3

  4605. 

  4606. .L301:

  4607. 	subq	$4, N

  4608. 

  4609. 	leaq	32 * SIZE(BUFFER), Y1

  4610. 	movq	A,  A1

  4611. 	leaq	(A,  LDA, 2), A2

  4612. 	leaq	(A,  LDA, 4), A

  4613. 

  4614. 	movss	(X), %xmm12

  4615. 	addq	INCX, X

  4616. 	movss	(X), %xmm13

  4617. 	addq	INCX, X

  4618. 	movss	(X), %xmm14

  4619. 	addq	INCX, X

  4620. 	movss	(X), %xmm15

  4621. 	addq	INCX, X

  4622. 

  4623. 	movss	ALPHA, %xmm0

  4624. 

  4625. 	mulss	%xmm0, %xmm12

  4626. 	mulss	%xmm0, %xmm13

  4627. 	mulss	%xmm0, %xmm14

  4628. 	mulss	%xmm0, %xmm15

  4629. 

  4630. 	shufps	$0, %xmm12, %xmm12

  4631. 	shufps	$0, %xmm13, %xmm13

  4632. 	shufps	$0, %xmm14, %xmm14

  4633. 	shufps	$0, %xmm15, %xmm15

  4634. 

  4635. 	cmpq	$3, M

  4636. 	jle	.L307

  4637. 

  4638. 	testq	$SIZE, A1

  4639. 	je	.L30X

  4640. 

  4641. 	movss	 -32 * SIZE(A1), %xmm0

  4642. 	movss	 -32 * SIZE(A1, LDA), %xmm1

  4643. 	movss	 -32 * SIZE(A2), %xmm2

  4644. 	movss	 -32 * SIZE(A2, LDA), %xmm3

  4645. 

  4646. 	movss	 -32 * SIZE(Y1), %xmm8

  4647. 

  4648. 	mulss	 %xmm12, %xmm0

  4649. 	addss	 %xmm0,  %xmm8

  4650. 	mulss	 %xmm13, %xmm1

  4651. 	addss	 %xmm1,  %xmm8

  4652. 	mulss	 %xmm14, %xmm2

  4653. 	addss	 %xmm2, %xmm8

  4654. 	mulss	 %xmm15, %xmm3

  4655. 	addss	 %xmm3, %xmm8

  4656. 

  4657. 	movss	 %xmm8, -32 * SIZE(Y1)

  4658. 

  4659. 	addq	 $1 * SIZE, A1

  4660. 	addq	 $1 * SIZE, A2

  4661. 	addq	 $1 * SIZE, Y1

  4662. 	ALIGN_3

  4663. 

  4664. .L30X:

  4665. 	testq	$2 * SIZE, A1

  4666. 	je	.L30XX

  4667. 

  4668. 	movsd	 -32 * SIZE(A1), %xmm0

  4669. 	movsd	 -32 * SIZE(A1, LDA), %xmm1

  4670. 	movsd	 -32 * SIZE(A2), %xmm2

  4671. 	movsd	 -32 * SIZE(A2, LDA), %xmm3

  4672. 

  4673. 	movsd	 -32 * SIZE(Y1), %xmm8

  4674. 

  4675. 	mulps	 %xmm12, %xmm0

  4676. 	addps	 %xmm0,  %xmm8

  4677. 	mulps	 %xmm13, %xmm1

  4678. 	addps	 %xmm1,  %xmm8

  4679. 	mulps	 %xmm14, %xmm2

  4680. 	addps	 %xmm2, %xmm8

  4681. 	mulps	 %xmm15, %xmm3

  4682. 	addps	 %xmm3, %xmm8

  4683. 

  4684. 	movlps	 %xmm8, -32 * SIZE(Y1)

  4685. 

  4686. 	addq	 $2 * SIZE, A1

  4687. 	addq	 $2 * SIZE, A2

  4688. 	addq	 $2 * SIZE, Y1

  4689. 	ALIGN_3

  4690. 

  4691. .L30XX:

  4692. 	movaps	-35 * SIZE(A1, LDA), %xmm8

  4693. 	movaps	-34 * SIZE(A2), %xmm9

  4694. 	movaps	-33 * SIZE(A2, LDA), %xmm10

  4695. 

  4696. 	movq	MM,  I

  4697. 	sarq	$4,  I

  4698. 	jle	.L305

  4699. 

  4700. 	movaps	 -32 * SIZE(A1), %xmm4

  4701. 	movaps	 -28 * SIZE(A1), %xmm5

  4702. 	movaps	 -24 * SIZE(A1), %xmm6

  4703. 

  4704. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4705. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  4706. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  4707. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  4708. 

  4709. 	decq	 I

  4710. 	jle	 .L304

  4711. 	ALIGN_3

  4712. 

  4713. .L303:

  4714. #ifdef PREFETCH

  4715. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  4716. #endif

  4717. 

  4718. 	mulps	 %xmm12, %xmm4

  4719. 	addps	 %xmm4,  %xmm0

  4720. 	movaps	 -20 * SIZE(A1), %xmm7

  4721. 	mulps	 %xmm12, %xmm5

  4722. 	addps	 %xmm5,  %xmm1

  4723. 	movaps	 -31 * SIZE(A1, LDA), %xmm4

  4724. 	mulps	 %xmm12, %xmm6

  4725. 	addps	 %xmm6,  %xmm2

  4726. 	movaps	 -27 * SIZE(A1, LDA), %xmm5

  4727. 	mulps	 %xmm12, %xmm7

  4728. 	addps	 %xmm7,  %xmm3

  4729. 	movaps	 -23 * SIZE(A1, LDA), %xmm6

  4730. 

  4731. #ifdef PREFETCH

  4732. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1, LDA)

  4733. #endif

  4734. 

  4735. 	movss	 %xmm4,  %xmm8

  4736. 	shufps	 $0x93, %xmm4, %xmm8

  4737. 	mulps	 %xmm13, %xmm8

  4738. 	addps	 %xmm8, %xmm0

  4739. 	movaps	 -19 * SIZE(A1, LDA), %xmm8

  4740. 	movss	 %xmm5,  %xmm4

  4741. 	shufps	 $0x93, %xmm5, %xmm4

  4742. 	mulps	 %xmm13, %xmm4

  4743. 	addps	 %xmm4,  %xmm1

  4744. 	movaps	 -30 * SIZE(A2), %xmm4

  4745. 	movss	 %xmm6,  %xmm5

  4746. 	shufps	 $0x93, %xmm6, %xmm5

  4747. 	mulps	 %xmm13, %xmm5

  4748. 	addps	 %xmm5,  %xmm2

  4749. 	movaps	 -26 * SIZE(A2), %xmm5

  4750. 	movss	 %xmm8,  %xmm6

  4751. 	shufps	 $0x93, %xmm8, %xmm6

  4752. 	mulps	 %xmm13, %xmm6

  4753. 	addps	 %xmm6,  %xmm3

  4754. 	movaps	 -22 * SIZE(A2), %xmm6

  4755. 

  4756. #ifdef PREFETCH

  4757. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  4758. #endif

  4759. 

  4760. 	shufps	 $0x4e, %xmm4, %xmm9

  4761. 	mulps	 %xmm14, %xmm9

  4762. 	addps	 %xmm9,  %xmm0

  4763. 	movaps	 -18 * SIZE(A2), %xmm9

  4764. 	shufps	 $0x4e, %xmm5, %xmm4

  4765. 	mulps	 %xmm14, %xmm4

  4766. 	addps	 %xmm4,  %xmm1

  4767. 	movaps	 -29 * SIZE(A2, LDA), %xmm4

  4768. 	shufps	 $0x4e, %xmm6, %xmm5

  4769. 	mulps	 %xmm14, %xmm5

  4770. 	addps	 %xmm5,  %xmm2

  4771. 	movaps	 -25 * SIZE(A2, LDA), %xmm5

  4772. 	shufps	 $0x4e, %xmm9, %xmm6

  4773. 	mulps	 %xmm14, %xmm6

  4774. 	addps	 %xmm6,  %xmm3

  4775. 	movaps	 -21 * SIZE(A2, LDA), %xmm6

  4776. 

  4777. #ifdef PREFETCH

  4778. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2, LDA)

  4779. #endif

  4780. 

  4781. 	movss	 %xmm4, %xmm10

  4782. 	shufps	 $0x39, %xmm10, %xmm10

  4783. 	mulps	 %xmm15, %xmm10

  4784. 	addps	 %xmm10,  %xmm0

  4785. 	movaps	 -17 * SIZE(A2, LDA), %xmm10

  4786. 	movss	 %xmm5, %xmm4

  4787. 	shufps	 $0x39, %xmm4, %xmm4

  4788. 	mulps	 %xmm15, %xmm4

  4789. 	addps	 %xmm4,  %xmm1

  4790. 	movaps	 -16 * SIZE(A1), %xmm4

  4791. 	movss	 %xmm6, %xmm5

  4792. 	shufps	 $0x39, %xmm5, %xmm5

  4793. 	mulps	 %xmm15, %xmm5

  4794. 	addps	 %xmm5,  %xmm2

  4795. 	movaps	 -12 * SIZE(A1), %xmm5

  4796. 	movss	 %xmm10, %xmm6

  4797. 	shufps	 $0x39, %xmm6, %xmm6

  4798. 	mulps	 %xmm15, %xmm6

  4799. 	addps	 %xmm6,  %xmm3

  4800. 	movaps	  -8 * SIZE(A1), %xmm6

  4801. 

  4802. #ifdef PREFETCHW

  4803. 	PREFETCHW	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(Y1)

  4804. #endif

  4805. 

  4806. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4807. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  4808. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  4809. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  4810. 

  4811. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  4812. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  4813. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  4814. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  4815. 

  4816. 	subq	 $-16 * SIZE, A1

  4817. 	subq	 $-16 * SIZE, A2

  4818. 	subq	 $-16 * SIZE, Y1

  4819. 

  4820. 	subq	 $1, I

  4821. 	BRANCH

  4822. 	jg	.L303

  4823. 	ALIGN_3

  4824. 

  4825. .L304:

  4826. 	mulps	 %xmm12, %xmm4

  4827. 	addps	 %xmm4,  %xmm0

  4828. 	movaps	 -20 * SIZE(A1), %xmm7

  4829. 	mulps	 %xmm12, %xmm5

  4830. 	addps	 %xmm5,  %xmm1

  4831. 	movaps	 -31 * SIZE(A1, LDA), %xmm4

  4832. 

  4833. 	mulps	 %xmm12, %xmm6

  4834. 	addps	 %xmm6,  %xmm2

  4835. 	movaps	 -27 * SIZE(A1, LDA), %xmm5

  4836. 	mulps	 %xmm12, %xmm7

  4837. 	addps	 %xmm7,  %xmm3

  4838. 	movaps	 -23 * SIZE(A1, LDA), %xmm6

  4839. 

  4840. 	movss	 %xmm4,  %xmm8

  4841. 	shufps	 $0x93, %xmm4, %xmm8

  4842. 	mulps	 %xmm13, %xmm8

  4843. 	addps	 %xmm8, %xmm0

  4844. 	movaps	 -19 * SIZE(A1, LDA), %xmm8

  4845. 	movss	 %xmm5,  %xmm4

  4846. 	shufps	 $0x93, %xmm5, %xmm4

  4847. 	mulps	 %xmm13, %xmm4

  4848. 	addps	 %xmm4,  %xmm1

  4849. 	movaps	 -30 * SIZE(A2), %xmm4

  4850. 

  4851. 	movss	 %xmm6,  %xmm5

  4852. 	shufps	 $0x93, %xmm6, %xmm5

  4853. 	mulps	 %xmm13, %xmm5

  4854. 	addps	 %xmm5,  %xmm2

  4855. 	movaps	 -26 * SIZE(A2), %xmm5

  4856. 	movss	 %xmm8,  %xmm6

  4857. 	shufps	 $0x93, %xmm8, %xmm6

  4858. 	mulps	 %xmm13, %xmm6

  4859. 	addps	 %xmm6,  %xmm3

  4860. 	movaps	 -22 * SIZE(A2), %xmm6

  4861. 

  4862. 	shufps	 $0x4e, %xmm4, %xmm9

  4863. 	mulps	 %xmm14, %xmm9

  4864. 	addps	 %xmm9,  %xmm0

  4865. 	movaps	 -18 * SIZE(A2), %xmm9

  4866. 	shufps	 $0x4e, %xmm5, %xmm4

  4867. 	mulps	 %xmm14, %xmm4

  4868. 	addps	 %xmm4,  %xmm1

  4869. 	movaps	 -29 * SIZE(A2, LDA), %xmm4

  4870. 	shufps	 $0x4e, %xmm6, %xmm5

  4871. 	mulps	 %xmm14, %xmm5

  4872. 	addps	 %xmm5,  %xmm2

  4873. 	movaps	 -25 * SIZE(A2, LDA), %xmm5

  4874. 	shufps	 $0x4e, %xmm9, %xmm6

  4875. 	mulps	 %xmm14, %xmm6

  4876. 	addps	 %xmm6,  %xmm3

  4877. 	movaps	 -21 * SIZE(A2, LDA), %xmm6

  4878. 

  4879. 	movss	 %xmm4, %xmm10

  4880. 	shufps	 $0x39, %xmm10, %xmm10

  4881. 	mulps	 %xmm15, %xmm10

  4882. 	addps	 %xmm10,  %xmm0

  4883. 	movaps	 -17 * SIZE(A2, LDA), %xmm10

  4884. 	movss	 %xmm5, %xmm4

  4885. 	shufps	 $0x39, %xmm4, %xmm4

  4886. 	mulps	 %xmm15, %xmm4

  4887. 	addps	 %xmm4,  %xmm1

  4888. 	movss	 %xmm6, %xmm5

  4889. 	shufps	 $0x39, %xmm5, %xmm5

  4890. 	mulps	 %xmm15, %xmm5

  4891. 	addps	 %xmm5,  %xmm2

  4892. 	movss	 %xmm10, %xmm6

  4893. 	shufps	 $0x39, %xmm6, %xmm6

  4894. 	mulps	 %xmm15, %xmm6

  4895. 	addps	 %xmm6,  %xmm3

  4896. 

  4897. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4898. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  4899. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  4900. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  4901. 

  4902. 	subq	 $-16 * SIZE, A1

  4903. 	subq	 $-16 * SIZE, A2

  4904. 	subq	 $-16 * SIZE, Y1

  4905. 	ALIGN_3

  4906. 

  4907. .L305:

  4908. 	testq	$8, MM

  4909. 	je	.L306

  4910. 

  4911. 	movaps	 -32 * SIZE(A1), %xmm4

  4912. 	movaps	 -28 * SIZE(A1), %xmm5

  4913. 

  4914. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4915. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  4916. 

  4917. 	mulps	 %xmm12, %xmm4

  4918. 	addps	 %xmm4,  %xmm0

  4919. 	movaps	 -31 * SIZE(A1, LDA), %xmm6

  4920. 	mulps	 %xmm12, %xmm5

  4921. 	addps	 %xmm5,  %xmm1

  4922. 	movaps	 -27 * SIZE(A1, LDA), %xmm7

  4923. 

  4924. 	movss	 %xmm6,  %xmm8

  4925. 	shufps	 $0x93, %xmm6, %xmm8

  4926. 	mulps	 %xmm13, %xmm8

  4927. 	addps	 %xmm8, %xmm0

  4928. 	movaps	 -30 * SIZE(A2), %xmm4

  4929. 	movss	 %xmm7,  %xmm6

  4930. 	shufps	 $0x93, %xmm7, %xmm6

  4931. 	mulps	 %xmm13, %xmm6

  4932. 	addps	 %xmm6,  %xmm1

  4933. 	movaps	 %xmm7, %xmm8

  4934. 	movaps	 -26 * SIZE(A2), %xmm5

  4935. 

  4936. 	shufps	 $0x4e, %xmm4, %xmm9

  4937. 	mulps	 %xmm14, %xmm9

  4938. 	addps	 %xmm9,  %xmm0

  4939. 	movaps	 -29 * SIZE(A2, LDA), %xmm6

  4940. 	shufps	 $0x4e, %xmm5, %xmm4

  4941. 	mulps	 %xmm14, %xmm4

  4942. 	addps	 %xmm4,  %xmm1

  4943. 	movaps	 %xmm5, %xmm9

  4944. 	movaps	 -25 * SIZE(A2, LDA), %xmm7

  4945. 

  4946. 	movss	 %xmm6, %xmm10

  4947. 	shufps	 $0x39, %xmm10, %xmm10

  4948. 	mulps	 %xmm15, %xmm10

  4949. 	addps	 %xmm10,  %xmm0

  4950. 	movss	 %xmm7, %xmm6

  4951. 	shufps	 $0x39, %xmm6, %xmm6

  4952. 	mulps	 %xmm15, %xmm6

  4953. 	addps	 %xmm6,  %xmm1

  4954. 	movaps	 %xmm7, %xmm10

  4955. 

  4956. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4957. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  4958. 

  4959. 	addq	 $8 * SIZE, A1

  4960. 	addq	 $8 * SIZE, A2

  4961. 	addq	 $8 * SIZE, Y1

  4962. 	ALIGN_3

  4963. 

  4964. .L306:

  4965. 	testq	$4, MM

  4966. 	je	.L307

  4967. 

  4968. 	movaps	 -32 * SIZE(A1), %xmm4

  4969. 	movaps	 -31 * SIZE(A1, LDA), %xmm5

  4970. 

  4971. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  4972. 

  4973. 	mulps	 %xmm12, %xmm4

  4974. 	addps	 %xmm4,  %xmm0

  4975. 	movaps	 -30 * SIZE(A2), %xmm6

  4976. 	movss	 %xmm5,  %xmm8

  4977. 	shufps	 $0x93, %xmm5, %xmm8

  4978. 	mulps	 %xmm13, %xmm8

  4979. 	addps	 %xmm8, %xmm0

  4980. 	movaps	 -29 * SIZE(A2, LDA), %xmm7

  4981. 

  4982. 	shufps	 $0x4e, %xmm6, %xmm9

  4983. 	mulps	 %xmm14, %xmm9

  4984. 	addps	 %xmm9,  %xmm0

  4985. 	movss	 %xmm7, %xmm10

  4986. 	shufps	 $0x39, %xmm10, %xmm10

  4987. 	mulps	 %xmm15, %xmm10

  4988. 	addps	 %xmm10,  %xmm0

  4989. 

  4990. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  4991. 

  4992. 	addq	 $4 * SIZE, A1

  4993. 	addq	 $4 * SIZE, A2

  4994. 	addq	 $4 * SIZE, Y1

  4995. 	ALIGN_3

  4996. 

  4997. .L307:

  4998. 	testq	$2, MM

  4999. 	je	.L308

  5000. 

  5001. 	movsd	 -32 * SIZE(A1), %xmm4

  5002. 	movsd	 -32 * SIZE(A1, LDA), %xmm5

  5003. 	movsd	 -32 * SIZE(A2), %xmm6

  5004. 	movsd	 -32 * SIZE(A2, LDA), %xmm7

  5005. 

  5006. 	movsd	 -32 * SIZE(Y1), %xmm0

  5007. 

  5008. 	mulps	 %xmm12, %xmm4

  5009. 	addps	 %xmm4,  %xmm0

  5010. 	mulps	 %xmm13, %xmm5

  5011. 	addps	 %xmm5,  %xmm0

  5012. 	mulps	 %xmm14, %xmm6

  5013. 	addps	 %xmm6,  %xmm0

  5014. 	mulps	 %xmm15, %xmm7

  5015. 	addps	 %xmm7,  %xmm0

  5016. 

  5017. 	movlps	 %xmm0, -32 * SIZE(Y1)

  5018. 

  5019. 	addq	 $2 * SIZE, A1

  5020. 	addq	 $2 * SIZE, A2

  5021. 	addq	 $2 * SIZE, Y1

  5022. 	ALIGN_3

  5023. 

  5024. .L308:

  5025. 	testq	$1, MM

  5026. 	je	.L309

  5027. 

  5028. 	movss	 -32 * SIZE(Y1), %xmm0

  5029. 

  5030. 	movss	 -32 * SIZE(A1), %xmm4

  5031. 	movss	 -32 * SIZE(A1, LDA), %xmm5

  5032. 	movss	 -32 * SIZE(A2), %xmm6

  5033. 	movss	 -32 * SIZE(A2, LDA), %xmm7

  5034. 

  5035. 	mulss	 %xmm12, %xmm4

  5036. 	addss	 %xmm4,  %xmm0

  5037. 	mulss	 %xmm13, %xmm5

  5038. 	addss	 %xmm5,  %xmm0

  5039. 	mulss	 %xmm14, %xmm6

  5040. 	addss	 %xmm6,  %xmm0

  5041. 	mulss	 %xmm15, %xmm7

  5042. 	addss	 %xmm7,  %xmm0

  5043. 

  5044. 	movss	 %xmm0, -32 * SIZE(Y1)

  5045. 	ALIGN_3

  5046. 

  5047. .L309:

  5048. 	cmpq	$4, N

  5049. 	jge	.L301

  5050. 	ALIGN_3

  5051. 

  5052. .L310:

  5053. 	cmpq	$3, N

  5054. 	jne	.L320

  5055. 

  5056. 	leaq	32 * SIZE(BUFFER), Y1

  5057. 	movq	A,  A1

  5058. 	leaq	(A,  LDA, 2), A2

  5059. 	leaq	(A,  LDA, 4), A

  5060. 

  5061. 	movss	(X), %xmm12

  5062. 	addq	INCX, X

  5063. 	movss	(X), %xmm13

  5064. 	addq	INCX, X

  5065. 	movss	(X), %xmm14

  5066. 	addq	INCX, X

  5067. 

  5068. 	movss	ALPHA, %xmm0

  5069. 

  5070. 	mulss	%xmm0, %xmm12

  5071. 	mulss	%xmm0, %xmm13

  5072. 	mulss	%xmm0, %xmm14

  5073. 

  5074. 	shufps	$0, %xmm12, %xmm12

  5075. 	shufps	$0, %xmm13, %xmm13

  5076. 	shufps	$0, %xmm14, %xmm14

  5077. 

  5078. 	cmpq	$3, M

  5079. 	jle	.L317

  5080. 

  5081. 	testq	$SIZE, A1

  5082. 	je	.L31X

  5083. 

  5084. 	movss	 -32 * SIZE(A1), %xmm0

  5085. 	movss	 -32 * SIZE(A1, LDA), %xmm1

  5086. 	movss	 -32 * SIZE(A2), %xmm2

  5087. 

  5088. 	movss	 -32 * SIZE(Y1), %xmm8

  5089. 

  5090. 	mulss	 %xmm12, %xmm0

  5091. 	addss	 %xmm0,  %xmm8

  5092. 	mulss	 %xmm13, %xmm1

  5093. 	addss	 %xmm1,  %xmm8

  5094. 	mulss	 %xmm14, %xmm2

  5095. 	addss	 %xmm2, %xmm8

  5096. 

  5097. 	movss	 %xmm8, -32 * SIZE(Y1)

  5098. 

  5099. 	addq	 $1 * SIZE, A1

  5100. 	addq	 $1 * SIZE, A2

  5101. 	addq	 $1 * SIZE, Y1

  5102. 	ALIGN_3

  5103. 

  5104. .L31X:

  5105. 	testq	$2 * SIZE, A1

  5106. 	je	.L31XX

  5107. 

  5108. 	movsd	 -32 * SIZE(A1), %xmm0

  5109. 	movsd	 -32 * SIZE(A1, LDA), %xmm1

  5110. 	movsd	 -32 * SIZE(A2), %xmm2

  5111. 

  5112. 	movsd	 -32 * SIZE(Y1), %xmm8

  5113. 

  5114. 	mulps	 %xmm12, %xmm0

  5115. 	addps	 %xmm0,  %xmm8

  5116. 	mulps	 %xmm13, %xmm1

  5117. 	addps	 %xmm1,  %xmm8

  5118. 	mulps	 %xmm14, %xmm2

  5119. 	addps	 %xmm2, %xmm8

  5120. 

  5121. 	movlps	 %xmm8, -32 * SIZE(Y1)

  5122. 

  5123. 	addq	 $2 * SIZE, A1

  5124. 	addq	 $2 * SIZE, A2

  5125. 	addq	 $2 * SIZE, Y1

  5126. 	ALIGN_3

  5127. 

  5128. .L31XX:

  5129. 	movaps	-35 * SIZE(A1, LDA), %xmm8

  5130. 	movaps	-34 * SIZE(A2), %xmm9

  5131. 	movaps	-33 * SIZE(A2, LDA), %xmm10

  5132. 

  5133. 	movq	MM,  I

  5134. 	sarq	$4,  I

  5135. 	jle	.L315

  5136. 

  5137. 	movaps	 -32 * SIZE(A1), %xmm4

  5138. 	movaps	 -28 * SIZE(A1), %xmm5

  5139. 	movaps	 -24 * SIZE(A1), %xmm6

  5140. 

  5141. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  5142. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  5143. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  5144. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  5145. 

  5146. 	decq	 I

  5147. 	jle	 .L314

  5148. 	ALIGN_3

  5149. 

  5150. .L313:

  5151. #ifdef PREFETCH

  5152. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1)

  5153. #endif

  5154. 

  5155. 	mulps	 %xmm12, %xmm4

  5156. 	addps	 %xmm4,  %xmm0

  5157. 	movaps	 -20 * SIZE(A1), %xmm7

  5158. 	mulps	 %xmm12, %xmm5

  5159. 	addps	 %xmm5,  %xmm1

  5160. 	movaps	 -31 * SIZE(A1, LDA), %xmm4

  5161. 	mulps	 %xmm12, %xmm6

  5162. 	addps	 %xmm6,  %xmm2

  5163. 	movaps	 -27 * SIZE(A1, LDA), %xmm5

  5164. 	mulps	 %xmm12, %xmm7

  5165. 	addps	 %xmm7,  %xmm3

  5166. 	movaps	 -23 * SIZE(A1, LDA), %xmm6

  5167. 

  5168. #ifdef PREFETCH

  5169. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1, LDA)

  5170. #endif

  5171. 

  5172. 	movss	 %xmm4,  %xmm8

  5173. 	shufps	 $0x93, %xmm4, %xmm8

  5174. 	mulps	 %xmm13, %xmm8

  5175. 	addps	 %xmm8, %xmm0

  5176. 	movaps	 -19 * SIZE(A1, LDA), %xmm8

  5177. 	movss	 %xmm5,  %xmm4

  5178. 	shufps	 $0x93, %xmm5, %xmm4

  5179. 	mulps	 %xmm13, %xmm4

  5180. 	addps	 %xmm4,  %xmm1

  5181. 	movaps	 -30 * SIZE(A2), %xmm4

  5182. 	movss	 %xmm6,  %xmm5

  5183. 	shufps	 $0x93, %xmm6, %xmm5

  5184. 	mulps	 %xmm13, %xmm5

  5185. 	addps	 %xmm5,  %xmm2

  5186. 	movaps	 -26 * SIZE(A2), %xmm5

  5187. 	movss	 %xmm8,  %xmm6

  5188. 	shufps	 $0x93, %xmm8, %xmm6

  5189. 	mulps	 %xmm13, %xmm6

  5190. 	addps	 %xmm6,  %xmm3

  5191. 	movaps	 -22 * SIZE(A2), %xmm6

  5192. 

  5193. #ifdef PREFETCH

  5194. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A2)

  5195. #endif

  5196. 

  5197. 	shufps	 $0x4e, %xmm4, %xmm9

  5198. 	mulps	 %xmm14, %xmm9

  5199. 	addps	 %xmm9,  %xmm0

  5200. 	movaps	 -18 * SIZE(A2), %xmm9

  5201. 	shufps	 $0x4e, %xmm5, %xmm4

  5202. 	mulps	 %xmm14, %xmm4

  5203. 	addps	 %xmm4,  %xmm1

  5204. 	movaps	 -16 * SIZE(A1), %xmm4

  5205. 	shufps	 $0x4e, %xmm6, %xmm5

  5206. 	mulps	 %xmm14, %xmm5

  5207. 	addps	 %xmm5,  %xmm2

  5208. 	movaps	 -12 * SIZE(A1), %xmm5

  5209. 	shufps	 $0x4e, %xmm9, %xmm6

  5210. 	mulps	 %xmm14, %xmm6

  5211. 	addps	 %xmm6,  %xmm3

  5212. 	movaps	  -8 * SIZE(A1), %xmm6

  5213. 

  5214. #ifdef PREFETCHW

  5215. 	PREFETCHW	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(Y1)

  5216. #endif

  5217. 

  5218. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5219. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  5220. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  5221. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  5222. 

  5223. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  5224. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  5225. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  5226. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  5227. 

  5228. 	subq	 $-16 * SIZE, A1

  5229. 	subq	 $-16 * SIZE, A2

  5230. 	subq	 $-16 * SIZE, Y1

  5231. 

  5232. 	subq	 $1, I

  5233. 	BRANCH

  5234. 	jg	.L313

  5235. 	ALIGN_3

  5236. 

  5237. .L314:

  5238. 	mulps	 %xmm12, %xmm4

  5239. 	addps	 %xmm4,  %xmm0

  5240. 	movaps	 -20 * SIZE(A1), %xmm7

  5241. 	mulps	 %xmm12, %xmm5

  5242. 	addps	 %xmm5,  %xmm1

  5243. 	movaps	 -31 * SIZE(A1, LDA), %xmm4

  5244. 

  5245. 	mulps	 %xmm12, %xmm6

  5246. 	addps	 %xmm6,  %xmm2

  5247. 	movaps	 -27 * SIZE(A1, LDA), %xmm5

  5248. 	mulps	 %xmm12, %xmm7

  5249. 	addps	 %xmm7,  %xmm3

  5250. 	movaps	 -23 * SIZE(A1, LDA), %xmm6

  5251. 

  5252. 	movss	 %xmm4,  %xmm8

  5253. 	shufps	 $0x93, %xmm4, %xmm8

  5254. 	mulps	 %xmm13, %xmm8

  5255. 	addps	 %xmm8, %xmm0

  5256. 	movaps	 -19 * SIZE(A1, LDA), %xmm8

  5257. 	movss	 %xmm5,  %xmm4

  5258. 	shufps	 $0x93, %xmm5, %xmm4

  5259. 	mulps	 %xmm13, %xmm4

  5260. 	addps	 %xmm4,  %xmm1

  5261. 	movaps	 -30 * SIZE(A2), %xmm4

  5262. 

  5263. 	movss	 %xmm6,  %xmm5

  5264. 	shufps	 $0x93, %xmm6, %xmm5

  5265. 	mulps	 %xmm13, %xmm5

  5266. 	addps	 %xmm5,  %xmm2

  5267. 	movaps	 -26 * SIZE(A2), %xmm5

  5268. 	movss	 %xmm8,  %xmm6

  5269. 	shufps	 $0x93, %xmm8, %xmm6

  5270. 	mulps	 %xmm13, %xmm6

  5271. 	addps	 %xmm6,  %xmm3

  5272. 	movaps	 -22 * SIZE(A2), %xmm6

  5273. 

  5274. 	shufps	 $0x4e, %xmm4, %xmm9

  5275. 	mulps	 %xmm14, %xmm9

  5276. 	addps	 %xmm9,  %xmm0

  5277. 	movaps	 -18 * SIZE(A2), %xmm9

  5278. 	shufps	 $0x4e, %xmm5, %xmm4

  5279. 	mulps	 %xmm14, %xmm4

  5280. 	addps	 %xmm4,  %xmm1

  5281. 	shufps	 $0x4e, %xmm6, %xmm5

  5282. 	mulps	 %xmm14, %xmm5

  5283. 	addps	 %xmm5,  %xmm2

  5284. 	shufps	 $0x4e, %xmm9, %xmm6

  5285. 	mulps	 %xmm14, %xmm6

  5286. 	addps	 %xmm6,  %xmm3

  5287. 

  5288. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5289. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  5290. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  5291. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  5292. 

  5293. 	subq	 $-16 * SIZE, A1

  5294. 	subq	 $-16 * SIZE, A2

  5295. 	subq	 $-16 * SIZE, Y1

  5296. 	ALIGN_3

  5297. 

  5298. .L315:

  5299. 	testq	$8, MM

  5300. 	je	.L316

  5301. 

  5302. 	movaps	 -32 * SIZE(A1), %xmm4

  5303. 	movaps	 -28 * SIZE(A1), %xmm5

  5304. 

  5305. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  5306. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  5307. 

  5308. 	mulps	 %xmm12, %xmm4

  5309. 	addps	 %xmm4,  %xmm0

  5310. 	movaps	 -31 * SIZE(A1, LDA), %xmm6

  5311. 	mulps	 %xmm12, %xmm5

  5312. 	addps	 %xmm5,  %xmm1

  5313. 	movaps	 -27 * SIZE(A1, LDA), %xmm7

  5314. 

  5315. 	movss	 %xmm6,  %xmm8

  5316. 	shufps	 $0x93, %xmm6, %xmm8

  5317. 	mulps	 %xmm13, %xmm8

  5318. 	addps	 %xmm8, %xmm0

  5319. 	movaps	 -30 * SIZE(A2), %xmm4

  5320. 	movss	 %xmm7,  %xmm6

  5321. 	shufps	 $0x93, %xmm7, %xmm6

  5322. 	mulps	 %xmm13, %xmm6

  5323. 	addps	 %xmm6,  %xmm1

  5324. 	movaps	 %xmm7, %xmm8

  5325. 	movaps	 -26 * SIZE(A2), %xmm5

  5326. 

  5327. 	shufps	 $0x4e, %xmm4, %xmm9

  5328. 	mulps	 %xmm14, %xmm9

  5329. 	addps	 %xmm9,  %xmm0

  5330. 	shufps	 $0x4e, %xmm5, %xmm4

  5331. 	mulps	 %xmm14, %xmm4

  5332. 	addps	 %xmm4,  %xmm1

  5333. 	movaps	 %xmm5, %xmm9

  5334. 

  5335. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5336. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  5337. 

  5338. 	addq	 $8 * SIZE, A1

  5339. 	addq	 $8 * SIZE, A2

  5340. 	addq	 $8 * SIZE, Y1

  5341. 	ALIGN_3

  5342. 

  5343. .L316:

  5344. 	testq	$4, MM

  5345. 	je	.L317

  5346. 

  5347. 	movaps	 -32 * SIZE(A1), %xmm4

  5348. 	movaps	 -31 * SIZE(A1, LDA), %xmm5

  5349. 

  5350. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  5351. 

  5352. 	mulps	 %xmm12, %xmm4

  5353. 	addps	 %xmm4,  %xmm0

  5354. 	movaps	 -30 * SIZE(A2), %xmm6

  5355. 	movss	 %xmm5,  %xmm8

  5356. 	shufps	 $0x93, %xmm5, %xmm8

  5357. 	mulps	 %xmm13, %xmm8

  5358. 	addps	 %xmm8, %xmm0

  5359. 

  5360. 	shufps	 $0x4e, %xmm6, %xmm9

  5361. 	mulps	 %xmm14, %xmm9

  5362. 	addps	 %xmm9,  %xmm0

  5363. 

  5364. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5365. 

  5366. 	addq	 $4 * SIZE, A1

  5367. 	addq	 $4 * SIZE, A2

  5368. 	addq	 $4 * SIZE, Y1

  5369. 	ALIGN_3

  5370. 

  5371. .L317:

  5372. 	testq	$2, MM

  5373. 	je	.L318

  5374. 

  5375. 	movsd	 -32 * SIZE(A1), %xmm4

  5376. 	movsd	 -32 * SIZE(A1, LDA), %xmm5

  5377. 	movsd	 -32 * SIZE(A2), %xmm6

  5378. 

  5379. 	movsd	 -32 * SIZE(Y1), %xmm0

  5380. 

  5381. 	mulps	 %xmm12, %xmm4

  5382. 	addps	 %xmm4,  %xmm0

  5383. 	mulps	 %xmm13, %xmm5

  5384. 	addps	 %xmm5,  %xmm0

  5385. 	mulps	 %xmm14, %xmm6

  5386. 	addps	 %xmm6,  %xmm0

  5387. 

  5388. 	movlps	 %xmm0, -32 * SIZE(Y1)

  5389. 

  5390. 	addq	 $2 * SIZE, A1

  5391. 	addq	 $2 * SIZE, A2

  5392. 	addq	 $2 * SIZE, Y1

  5393. 	ALIGN_3

  5394. 

  5395. .L318:

  5396. 	testq	$1, MM

  5397. 	je	.L990

  5398. 

  5399. 	movss	 -32 * SIZE(Y1), %xmm0

  5400. 

  5401. 	movss	 -32 * SIZE(A1), %xmm4

  5402. 	movss	 -32 * SIZE(A1, LDA), %xmm5

  5403. 	movss	 -32 * SIZE(A2), %xmm6

  5404. 

  5405. 	mulss	 %xmm12, %xmm4

  5406. 	addss	 %xmm4,  %xmm0

  5407. 	mulss	 %xmm13, %xmm5

  5408. 	addss	 %xmm5,  %xmm0

  5409. 	mulss	 %xmm14, %xmm6

  5410. 	addss	 %xmm6,  %xmm0

  5411. 

  5412. 	movss	 %xmm0, -32 * SIZE(Y1)

  5413. 	jmp	 .L990

  5414. 	ALIGN_3

  5415. 

  5416. .L320:

  5417. 	cmpq	$2, N

  5418. 	jne	.L330

  5419. 

  5420. 	leaq	32 * SIZE(BUFFER), Y1

  5421. 	movq	A,  A1

  5422. 	leaq	(A,  LDA, 1), A2

  5423. 

  5424. 	movss	(X), %xmm12

  5425. 	addq	INCX, X

  5426. 	movss	(X), %xmm13

  5427. 	addq	INCX, X

  5428. 

  5429. 	movss	ALPHA, %xmm0

  5430. 

  5431. 	mulss	%xmm0, %xmm12

  5432. 	mulss	%xmm0, %xmm13

  5433. 

  5434. 	shufps	$0, %xmm12, %xmm12

  5435. 	shufps	$0, %xmm13, %xmm13

  5436. 

  5437. 	cmpq	$3, M

  5438. 	jle	.L327

  5439. 

  5440. 	testq	$SIZE, A1

  5441. 	je	.L32X

  5442. 

  5443. 	movss	 -32 * SIZE(Y1), %xmm9

  5444. 

  5445. 	movss	 -32 * SIZE(A1), %xmm0

  5446. 	movss	 -32 * SIZE(A2), %xmm1

  5447. 

  5448. 	mulss	 %xmm12, %xmm0

  5449. 	addss	 %xmm0,  %xmm9

  5450. 	mulss	 %xmm13, %xmm1

  5451. 	addss	 %xmm1,  %xmm9

  5452. 

  5453. 	movss	 %xmm9, -32 * SIZE(Y1)

  5454. 

  5455. 	addq	 $1 * SIZE, A1

  5456. 	addq	 $1 * SIZE, A2

  5457. 	addq	 $1 * SIZE, Y1

  5458. 	ALIGN_3

  5459. 

  5460. .L32X:

  5461. 	testq	$2 * SIZE, A1

  5462. 	je	.L32XX

  5463. 

  5464. 	movsd	 -32 * SIZE(A1), %xmm0

  5465. 	movsd	 -32 * SIZE(A2), %xmm1

  5466. 

  5467. 	movsd	 -32 * SIZE(Y1), %xmm8

  5468. 

  5469. 	mulps	 %xmm12, %xmm0

  5470. 	addps	 %xmm0,  %xmm8

  5471. 	mulps	 %xmm13, %xmm1

  5472. 	addps	 %xmm1,  %xmm8

  5473. 

  5474. 	movlps	 %xmm8, -32 * SIZE(Y1)

  5475. 

  5476. 	addq	 $2 * SIZE, A1

  5477. 	addq	 $2 * SIZE, A2

  5478. 	addq	 $2 * SIZE, Y1

  5479. 	ALIGN_3

  5480. 

  5481. .L32XX:

  5482. 	movaps	-35 * SIZE(A1, LDA), %xmm8

  5483. 

  5484. 	movq	MM,  I

  5485. 	sarq	$4,  I

  5486. 	jle	.L325

  5487. 

  5488. 	movaps	 -32 * SIZE(A1), %xmm4

  5489. 	movaps	 -28 * SIZE(A1), %xmm5

  5490. 	movaps	 -24 * SIZE(A1), %xmm6

  5491. 

  5492. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  5493. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  5494. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  5495. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  5496. 

  5497. 	decq	 I

  5498. 	jle	 .L324

  5499. 	ALIGN_3

  5500. 

  5501. .L323:

  5502. #ifdef PREFETCH

  5503. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  5504. #endif

  5505. 

  5506. 	mulps	 %xmm12, %xmm4

  5507. 	addps	 %xmm4,  %xmm0

  5508. 	movaps	 -20 * SIZE(A1), %xmm7

  5509. 	mulps	 %xmm12, %xmm5

  5510. 	addps	 %xmm5,  %xmm1

  5511. 	movaps	 -31 * SIZE(A2), %xmm4

  5512. 	mulps	 %xmm12, %xmm6

  5513. 	addps	 %xmm6,  %xmm2

  5514. 	movaps	 -27 * SIZE(A2), %xmm5

  5515. 	mulps	 %xmm12, %xmm7

  5516. 	addps	 %xmm7,  %xmm3

  5517. 	movaps	 -23 * SIZE(A2), %xmm6

  5518. 

  5519. #ifdef PREFETCH

  5520. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A2)

  5521. #endif

  5522. 

  5523. 	movss	 %xmm4,  %xmm8

  5524. 	shufps	 $0x93, %xmm4, %xmm8

  5525. 	mulps	 %xmm13, %xmm8

  5526. 	addps	 %xmm8, %xmm0

  5527. 	movaps	 -19 * SIZE(A2), %xmm8

  5528. 	movss	 %xmm5,  %xmm4

  5529. 	shufps	 $0x93, %xmm5, %xmm4

  5530. 	mulps	 %xmm13, %xmm4

  5531. 	addps	 %xmm4,  %xmm1

  5532. 	movaps	 -16 * SIZE(A1), %xmm4

  5533. 	movss	 %xmm6,  %xmm5

  5534. 	shufps	 $0x93, %xmm6, %xmm5

  5535. 	mulps	 %xmm13, %xmm5

  5536. 	addps	 %xmm5,  %xmm2

  5537. 	movaps	 -12 * SIZE(A1), %xmm5

  5538. 	movss	 %xmm8,  %xmm6

  5539. 	shufps	 $0x93, %xmm8, %xmm6

  5540. 	mulps	 %xmm13, %xmm6

  5541. 	addps	 %xmm6,  %xmm3

  5542. 	movaps	  -8 * SIZE(A1), %xmm6

  5543. 

  5544. #ifdef PREFETCHW

  5545. 	PREFETCHW	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(Y1)

  5546. #endif

  5547. 

  5548. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5549. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  5550. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  5551. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  5552. 

  5553. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  5554. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  5555. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  5556. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  5557. 

  5558. 	subq	 $-16 * SIZE, A1

  5559. 	subq	 $-16 * SIZE, A2

  5560. 	subq	 $-16 * SIZE, Y1

  5561. 

  5562. 	subq	 $1, I

  5563. 	BRANCH

  5564. 	jg	.L323

  5565. 	ALIGN_3

  5566. 

  5567. .L324:

  5568. 	mulps	 %xmm12, %xmm4

  5569. 	addps	 %xmm4,  %xmm0

  5570. 	movaps	 -20 * SIZE(A1), %xmm7

  5571. 	mulps	 %xmm12, %xmm5

  5572. 	addps	 %xmm5,  %xmm1

  5573. 	movaps	 -31 * SIZE(A2), %xmm4

  5574. 

  5575. 	mulps	 %xmm12, %xmm6

  5576. 	addps	 %xmm6,  %xmm2

  5577. 	movaps	 -27 * SIZE(A2), %xmm5

  5578. 	mulps	 %xmm12, %xmm7

  5579. 	addps	 %xmm7,  %xmm3

  5580. 	movaps	 -23 * SIZE(A2), %xmm6

  5581. 

  5582. 	movss	 %xmm4,  %xmm8

  5583. 	shufps	 $0x93, %xmm4, %xmm8

  5584. 	mulps	 %xmm13, %xmm8

  5585. 	addps	 %xmm8, %xmm0

  5586. 	movaps	 -19 * SIZE(A2), %xmm8

  5587. 	movss	 %xmm5,  %xmm4

  5588. 	shufps	 $0x93, %xmm5, %xmm4

  5589. 	mulps	 %xmm13, %xmm4

  5590. 	addps	 %xmm4,  %xmm1

  5591. 

  5592. 	movss	 %xmm6,  %xmm5

  5593. 	shufps	 $0x93, %xmm6, %xmm5

  5594. 	mulps	 %xmm13, %xmm5

  5595. 	addps	 %xmm5,  %xmm2

  5596. 	movss	 %xmm8,  %xmm6

  5597. 	shufps	 $0x93, %xmm8, %xmm6

  5598. 	mulps	 %xmm13, %xmm6

  5599. 	addps	 %xmm6,  %xmm3

  5600. 

  5601. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5602. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  5603. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  5604. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  5605. 

  5606. 	subq	 $-16 * SIZE, A1

  5607. 	subq	 $-16 * SIZE, A2

  5608. 	subq	 $-16 * SIZE, Y1

  5609. 	ALIGN_3

  5610. 

  5611. .L325:

  5612. 	testq	$8, MM

  5613. 	je	.L326

  5614. 

  5615. 	movaps	 -32 * SIZE(A1), %xmm4

  5616. 	movaps	 -28 * SIZE(A1), %xmm5

  5617. 

  5618. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  5619. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  5620. 

  5621. 	mulps	 %xmm12, %xmm4

  5622. 	addps	 %xmm4,  %xmm0

  5623. 	movaps	 -31 * SIZE(A2), %xmm6

  5624. 	mulps	 %xmm12, %xmm5

  5625. 	addps	 %xmm5,  %xmm1

  5626. 	movaps	 -27 * SIZE(A2), %xmm7

  5627. 

  5628. 	movss	 %xmm6,  %xmm8

  5629. 	shufps	 $0x93, %xmm6, %xmm8

  5630. 	mulps	 %xmm13, %xmm8

  5631. 	addps	 %xmm8, %xmm0

  5632. 	movss	 %xmm7,  %xmm6

  5633. 	shufps	 $0x93, %xmm7, %xmm6

  5634. 	mulps	 %xmm13, %xmm6

  5635. 	addps	 %xmm6,  %xmm1

  5636. 	movaps	 %xmm7, %xmm8

  5637. 

  5638. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5639. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  5640. 

  5641. 	addq	 $8 * SIZE, A1

  5642. 	addq	 $8 * SIZE, A2

  5643. 	addq	 $8 * SIZE, Y1

  5644. 	ALIGN_3

  5645. 

  5646. .L326:

  5647. 	testq	$4, MM

  5648. 	je	.L327

  5649. 

  5650. 	movaps	 -32 * SIZE(A1), %xmm4

  5651. 	movaps	 -31 * SIZE(A2), %xmm5

  5652. 

  5653. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  5654. 

  5655. 	mulps	 %xmm12, %xmm4

  5656. 	addps	 %xmm4,  %xmm0

  5657. 	movss	 %xmm5,  %xmm8

  5658. 	shufps	 $0x93, %xmm5, %xmm8

  5659. 	mulps	 %xmm13, %xmm8

  5660. 	addps	 %xmm8, %xmm0

  5661. 

  5662. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5663. 

  5664. 	addq	 $4 * SIZE, A1

  5665. 	addq	 $4 * SIZE, A2

  5666. 	addq	 $4 * SIZE, Y1

  5667. 	ALIGN_3

  5668. 

  5669. .L327:

  5670. 	testq	$2, MM

  5671. 	je	.L328

  5672. 

  5673. 	movsd	 -32 * SIZE(A1), %xmm0

  5674. 	movsd	 -32 * SIZE(A2), %xmm1

  5675. 

  5676. 	movsd	 -32 * SIZE(Y1), %xmm8

  5677. 

  5678. 	mulps	 %xmm12, %xmm0

  5679. 	addps	 %xmm0,  %xmm8

  5680. 	mulps	 %xmm13, %xmm1

  5681. 	addps	 %xmm1,  %xmm8

  5682. 

  5683. 	movlps	 %xmm8, -32 * SIZE(Y1)

  5684. 

  5685. 	addq	 $2 * SIZE, A1

  5686. 	addq	 $2 * SIZE, A2

  5687. 	addq	 $2 * SIZE, Y1

  5688. 	ALIGN_3

  5689. 

  5690. .L328:

  5691. 	testq	$1, MM

  5692. 	je	.L990

  5693. 

  5694. 	movss	 -32 * SIZE(Y1), %xmm8

  5695. 

  5696. 	movss	 -32 * SIZE(A1), %xmm0

  5697. 	movss	 -32 * SIZE(A2), %xmm1

  5698. 

  5699. 	mulss	 %xmm12, %xmm0

  5700. 	addss	 %xmm0,  %xmm8

  5701. 	mulss	 %xmm13, %xmm1

  5702. 	addss	 %xmm1,  %xmm8

  5703. 

  5704. 	movss	 %xmm8, -32 * SIZE(Y1)

  5705. 	jmp	 .L990

  5706. 	ALIGN_3

  5707. 

  5708. .L330:

  5709. 	cmpq	$1, N

  5710. 	jne	.L990

  5711. 

  5712. 	leaq	32 * SIZE(BUFFER), Y1

  5713. 	movq	A,  A1

  5714. 

  5715. 	movss	(X), %xmm12

  5716. 

  5717. 	mulss	ALPHA, %xmm12

  5718. 	shufps	$0, %xmm12, %xmm12

  5719. 

  5720. 	cmpq	$3, M

  5721. 	jle	.L337

  5722. 

  5723. 	testq	$SIZE, A1

  5724. 	je	.L33X

  5725. 

  5726. 	movss	 -32 * SIZE(Y1), %xmm8

  5727. 	movss	 -32 * SIZE(A1), %xmm0

  5728. 

  5729. 	mulss	 %xmm12, %xmm0

  5730. 	addss	 %xmm0,  %xmm8

  5731. 

  5732. 	movss	 %xmm8, -32 * SIZE(Y1)

  5733. 

  5734. 	addq	 $1 * SIZE, A1

  5735. 	addq	 $1 * SIZE, Y1

  5736. 	ALIGN_3

  5737. 

  5738. .L33X:

  5739. 	testq	$2 * SIZE, A1

  5740. 	je	.L33XX

  5741. 

  5742. 	movsd	 -32 * SIZE(Y1), %xmm8

  5743. 	movsd	 -32 * SIZE(A1), %xmm0

  5744. 

  5745. 	mulps	 %xmm12, %xmm0

  5746. 	addps	 %xmm0,  %xmm8

  5747. 

  5748. 	movlps	 %xmm8, -32 * SIZE(Y1)

  5749. 

  5750. 	addq	 $2 * SIZE, A1

  5751. 	addq	 $2 * SIZE, Y1

  5752. 	ALIGN_3

  5753. 

  5754. .L33XX:

  5755. 	movq	MM,  I

  5756. 	sarq	$4,  I

  5757. 	jle	.L335

  5758. 

  5759. 	movaps	-32 * SIZE(A1), %xmm8

  5760. 	movaps	-28 * SIZE(A1), %xmm9

  5761. 	movaps	-24 * SIZE(A1), %xmm10

  5762. 	movaps	-20 * SIZE(A1), %xmm11

  5763. 

  5764. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  5765. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  5766. 	MOVUPS_YL1(-24 * SIZE, Y1, %xmm2)

  5767. 	MOVUPS_YL1(-20 * SIZE, Y1, %xmm3)

  5768. 

  5769. 	decq	 I

  5770. 	jle	 .L334

  5771. 	ALIGN_3

  5772. 

  5773. .L333:

  5774. #ifdef PREFETCH

  5775. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(A1)

  5776. #endif

  5777. 

  5778. 	mulps	 %xmm12, %xmm8

  5779. 	addps	 %xmm8,  %xmm0

  5780. 	movaps	-16 * SIZE(A1), %xmm8

  5781. 	mulps	 %xmm12, %xmm9

  5782. 	addps	 %xmm9,  %xmm1

  5783. 	movaps	-12 * SIZE(A1), %xmm9

  5784. 	mulps	 %xmm12, %xmm10

  5785. 	addps	 %xmm10,  %xmm2

  5786. 	movaps	 -8 * SIZE(A1), %xmm10

  5787. 	mulps	 %xmm12, %xmm11

  5788. 	addps	 %xmm11,  %xmm3

  5789. 	movaps	 -4 * SIZE(A1), %xmm11

  5790. 

  5791. #ifdef PREFETCHW

  5792. 	PREFETCHW	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(Y1)

  5793. #endif

  5794. 

  5795. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5796. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  5797. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  5798. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  5799. 

  5800. 	MOVUPS_YL1(-16 * SIZE, Y1, %xmm0)

  5801. 	MOVUPS_YL1(-12 * SIZE, Y1, %xmm1)

  5802. 	MOVUPS_YL1( -8 * SIZE, Y1, %xmm2)

  5803. 	MOVUPS_YL1( -4 * SIZE, Y1, %xmm3)

  5804. 

  5805. 	subq	 $-16 * SIZE, A1

  5806. 	subq	 $-16 * SIZE, Y1

  5807. 

  5808. 	subq	 $1, I

  5809. 	BRANCH

  5810. 	jg	.L333

  5811. 	ALIGN_3

  5812. 

  5813. .L334:

  5814. 	mulps	 %xmm12, %xmm8

  5815. 	addps	 %xmm8,  %xmm0

  5816. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5817. 	mulps	 %xmm12, %xmm9

  5818. 	addps	 %xmm9,  %xmm1

  5819. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  5820. 	mulps	 %xmm12, %xmm10

  5821. 	addps	 %xmm10,  %xmm2

  5822. 	MOVUPS_YS1(-24 * SIZE, Y1, %xmm2)

  5823. 	mulps	 %xmm12, %xmm11

  5824. 	addps	 %xmm11,  %xmm3

  5825. 	MOVUPS_YS1(-20 * SIZE, Y1, %xmm3)

  5826. 

  5827. 	subq	 $-16 * SIZE, A1

  5828. 	subq	 $-16 * SIZE, Y1

  5829. 	ALIGN_3

  5830. 

  5831. .L335:

  5832. 	testq	$8, MM

  5833. 	je	.L336

  5834. 

  5835. 	movaps	-32 * SIZE(A1), %xmm8

  5836. 	movaps	-28 * SIZE(A1), %xmm9

  5837. 

  5838. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  5839. 	MOVUPS_YL1(-28 * SIZE, Y1, %xmm1)

  5840. 

  5841. 	mulps	 %xmm12, %xmm8

  5842. 	addps	 %xmm8,  %xmm0

  5843. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5844. 	mulps	 %xmm12, %xmm9

  5845. 	addps	 %xmm9,  %xmm1

  5846. 	MOVUPS_YS1(-28 * SIZE, Y1, %xmm1)

  5847. 

  5848. 	addq	 $8 * SIZE, A1

  5849. 	addq	 $8 * SIZE, Y1

  5850. 	ALIGN_3

  5851. 

  5852. .L336:

  5853. 	testq	$4, MM

  5854. 	je	.L337

  5855. 

  5856. 	movaps	-32 * SIZE(A1), %xmm8

  5857. 	MOVUPS_YL1(-32 * SIZE, Y1, %xmm0)

  5858. 

  5859. 	mulps	 %xmm12, %xmm8

  5860. 	addps	 %xmm8,  %xmm0

  5861. 	MOVUPS_YS1(-32 * SIZE, Y1, %xmm0)

  5862. 

  5863. 	addq	 $4 * SIZE, A1

  5864. 	addq	 $4 * SIZE, Y1

  5865. 	ALIGN_3

  5866. 

  5867. .L337:

  5868. 	testq	$2, MM

  5869. 	je	.L338

  5870. 

  5871. 	movsd	 -32 * SIZE(Y1), %xmm8

  5872. 	movsd	 -32 * SIZE(A1), %xmm0

  5873. 

  5874. 	mulps	 %xmm12, %xmm0

  5875. 	addps	 %xmm0,  %xmm8

  5876. 

  5877. 	movlps	 %xmm8, -32 * SIZE(Y1)

  5878. 

  5879. 	addq	 $2 * SIZE, A1

  5880. 	addq	 $2 * SIZE, Y1

  5881. 	ALIGN_3

  5882. 

  5883. .L338:

  5884. 	testq	$1, MM

  5885. 	je	.L990

  5886. 

  5887. 	movss	 -32 * SIZE(Y1), %xmm8

  5888. 	movss	 -32 * SIZE(A1), %xmm0

  5889. 

  5890. 	mulss	 %xmm12, %xmm0

  5891. 	addss	 %xmm0,  %xmm8

  5892. 

  5893. 	movss	 %xmm8, -32 * SIZE(Y1)

  5894. 	jmp	.L990

  5895. #endif

  5896. 	ALIGN_4

  5897. 

  5898. 

  5899. .L990:

  5900. 	movq	Y,  Y1

  5901. 

  5902. 	movq	M,  %rax

  5903. 	sarq	$3,  %rax

  5904. 	jle	.L994

  5905. 	ALIGN_3

  5906. .L992:

  5907. 	movsd	0 * SIZE(BUFFER), %xmm0

  5908. 	movhps	2 * SIZE(BUFFER), %xmm0

  5909. 	movsd	4 * SIZE(BUFFER), %xmm4

  5910. 	movhps	6 * SIZE(BUFFER), %xmm4

  5911. 

  5912. 	pshufd	$0x01, %xmm0, %xmm1

  5913. 	pshufd	$0x02, %xmm0, %xmm2

  5914. 	pshufd	$0x03, %xmm0, %xmm3

  5915. 

  5916. 	pshufd	$0x01, %xmm4, %xmm5

  5917. 	pshufd	$0x02, %xmm4, %xmm6

  5918. 	pshufd	$0x03, %xmm4, %xmm7

  5919. 

  5920. 	addss	(Y), %xmm0

  5921. 	addq	INCY, Y

  5922. 	addss	(Y), %xmm1

  5923. 	addq	INCY, Y

  5924. 	addss	(Y), %xmm2

  5925. 	addq	INCY, Y

  5926. 	addss	(Y), %xmm3

  5927. 	addq	INCY, Y

  5928. 	addss	(Y), %xmm4

  5929. 	addq	INCY, Y

  5930. 	addss	(Y), %xmm5

  5931. 	addq	INCY, Y

  5932. 	addss	(Y), %xmm6

  5933. 	addq	INCY, Y

  5934. 	addss	(Y), %xmm7

  5935. 	addq	INCY, Y

  5936. 

  5937. 	movss	%xmm0, (Y1)

  5938. 	addq	INCY, Y1

  5939. 	movss	%xmm1, (Y1)

  5940. 	addq	INCY, Y1

  5941. 	movss	%xmm2, (Y1)

  5942. 	addq	INCY, Y1

  5943. 	movss	%xmm3, (Y1)

  5944. 	addq	INCY, Y1

  5945. 	movss	%xmm4, (Y1)

  5946. 	addq	INCY, Y1

  5947. 	movss	%xmm5, (Y1)

  5948. 	addq	INCY, Y1

  5949. 	movss	%xmm6, (Y1)

  5950. 	addq	INCY, Y1

  5951. 	movss	%xmm7, (Y1)

  5952. 	addq	INCY, Y1

  5953. 

  5954. 	addq	$8 * SIZE, BUFFER

  5955. 	decq	%rax

  5956. 	jg	.L992

  5957. 	ALIGN_3

  5958. 

  5959. .L994:

  5960. 	testq	$7, M

  5961. 	jle	.L999

  5962. 

  5963. 	testq	$4, M

  5964. 	jle	.L995

  5965. 

  5966. 	movsd	0 * SIZE(BUFFER), %xmm0

  5967. 	movhps	2 * SIZE(BUFFER), %xmm0

  5968. 

  5969. 	pshufd	$0x01, %xmm0, %xmm1

  5970. 	pshufd	$0x02, %xmm0, %xmm2

  5971. 	pshufd	$0x03, %xmm0, %xmm3

  5972. 

  5973. 	addss	(Y), %xmm0

  5974. 	addq	INCY, Y

  5975. 	addss	(Y), %xmm1

  5976. 	addq	INCY, Y

  5977. 	addss	(Y), %xmm2

  5978. 	addq	INCY, Y

  5979. 	addss	(Y), %xmm3

  5980. 	addq	INCY, Y

  5981. 

  5982. 	movss	%xmm0, (Y1)

  5983. 	addq	INCY, Y1

  5984. 	movss	%xmm1, (Y1)

  5985. 	addq	INCY, Y1

  5986. 	movss	%xmm2, (Y1)

  5987. 	addq	INCY, Y1

  5988. 	movss	%xmm3, (Y1)

  5989. 	addq	INCY, Y1

  5990. 

  5991. 	addq	$4 * SIZE, BUFFER

  5992. 	ALIGN_3

  5993. 

  5994. .L995:

  5995. 	testq	$2, M

  5996. 	jle	.L996

  5997. 

  5998. 	movsd	(BUFFER), %xmm0

  5999. 

  6000. 	pshufd	$0x01, %xmm0, %xmm1

  6001. 

  6002. 	addss	(Y), %xmm0

  6003. 	addq	INCY, Y

  6004. 	addss	(Y), %xmm1

  6005. 	addq	INCY, Y

  6006. 

  6007. 	movss	%xmm0, (Y1)

  6008. 	addq	INCY, Y1

  6009. 	movss	%xmm1, (Y1)

  6010. 	addq	INCY, Y1

  6011. 

  6012. 	addq	$2 * SIZE, BUFFER

  6013. 	ALIGN_3

  6014. 

  6015. .L996:

  6016. 	testq	$1, M

  6017. 	jle	.L999

  6018. 

  6019. 	movss	(BUFFER), %xmm0

  6020. 

  6021. 	addss	(Y), %xmm0

  6022. 

  6023. 	movss	%xmm0, (Y1)

  6024. 	ALIGN_3

  6025. 

  6026. .L999:

  6027. 	leaq	(,M,SIZE),%rax

  6028. 	addq	%rax,AA

  6029. 	jmp		.L0t

  6030. 	ALIGN_4

  6031. 

  6032. .L999x:

  6033. 	movq	  0(%rsp), %rbx

  6034. 	movq	  8(%rsp), %rbp

  6035. 	movq	 16(%rsp), %r12

  6036. 	movq	 24(%rsp), %r13

  6037. 	movq	 32(%rsp), %r14

  6038. 	movq	 40(%rsp), %r15

  6039. 

  6040. #ifdef WINDOWS_ABI

  6041. 	movq	 48(%rsp), %rdi

  6042. 	movq	 56(%rsp), %rsi

  6043. 	movups	 64(%rsp), %xmm6

  6044. 	movups	 80(%rsp), %xmm7

  6045. 	movups	 96(%rsp), %xmm8

  6046. 	movups	112(%rsp), %xmm9

  6047. 	movups	128(%rsp), %xmm10

  6048. 	movups	144(%rsp), %xmm11

  6049. 	movups	160(%rsp), %xmm12

  6050. 	movups	176(%rsp), %xmm13

  6051. 	movups	192(%rsp), %xmm14

  6052. 	movups	208(%rsp), %xmm15

  6053. #endif

  6054. 

  6055. 	addq	$STACKSIZE, %rsp

  6056. 

  6057. 	ret

  6058. 	EPILOGUE