OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: 549a9f1dbb
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from '549a9f1dbb'
${ noResults }
OpenBLAS/kernel/x86_64/sgemv_t.S

6403 lines
121 kB
Raw Blame History 

  1. /* Copyright 2009, 2010 The University of Texas at Austin.           */

  2. /* All rights reserved.                                              */

  3. /*                                                                   */

  4. /* Redistribution and use in source and binary forms, with or        */

  5. /* without modification, are permitted provided that the following   */

  6. /* conditions are met:                                               */

  7. /*                                                                   */

  8. /*   1. Redistributions of source code must retain the above         */

  9. /*      copyright notice, this list of conditions and the following  */

  10. /*      disclaimer.                                                  */

  11. /*                                                                   */

  12. /*   2. Redistributions in binary form must reproduce the above      */

  13. /*      copyright notice, this list of conditions and the following  */

  14. /*      disclaimer in the documentation and/or other materials       */

  15. /*      provided with the distribution.                              */

  16. /*                                                                   */

  17. /*    THIS  SOFTWARE IS PROVIDED  BY THE  UNIVERSITY OF  TEXAS AT    */

  18. /*    AUSTIN  ``AS IS''  AND ANY  EXPRESS OR  IMPLIED WARRANTIES,    */

  19. /*    INCLUDING, BUT  NOT LIMITED  TO, THE IMPLIED  WARRANTIES OF    */

  20. /*    MERCHANTABILITY  AND FITNESS FOR  A PARTICULAR  PURPOSE ARE    */

  21. /*    DISCLAIMED.  IN  NO EVENT SHALL THE UNIVERSITY  OF TEXAS AT    */

  22. /*    AUSTIN OR CONTRIBUTORS BE  LIABLE FOR ANY DIRECT, INDIRECT,    */

  23. /*    INCIDENTAL,  SPECIAL, EXEMPLARY,  OR  CONSEQUENTIAL DAMAGES    */

  24. /*    (INCLUDING, BUT  NOT LIMITED TO,  PROCUREMENT OF SUBSTITUTE    */

  25. /*    GOODS  OR  SERVICES; LOSS  OF  USE,  DATA,  OR PROFITS;  OR    */

  26. /*    BUSINESS INTERRUPTION) HOWEVER CAUSED  AND ON ANY THEORY OF    */

  27. /*    LIABILITY, WHETHER  IN CONTRACT, STRICT  LIABILITY, OR TORT    */

  28. /*    (INCLUDING NEGLIGENCE OR OTHERWISE)  ARISING IN ANY WAY OUT    */

  29. /*    OF  THE  USE OF  THIS  SOFTWARE,  EVEN  IF ADVISED  OF  THE    */

  30. /*    POSSIBILITY OF SUCH DAMAGE.                                    */

  31. /*                                                                   */

  32. /* The views and conclusions contained in the software and           */

  33. /* documentation are those of the authors and should not be          */

  34. /* interpreted as representing official policies, either expressed   */

  35. /* or implied, of The University of Texas at Austin.                 */

  36. /*********************************************************************/

  37. 

  38. #define ASSEMBLER

  39. #include "common.h"

  40. #include "l2param.h"

  41. 

  42. #if GEMV_UNROLL < 4

  43. #undef  GEMV_UNROLL

  44. #define GEMV_UNROLL 4

  45. #endif

  46. 

  47. #ifndef WINDOWS_ABI

  48. 

  49. #define STACKSIZE	128

  50. 

  51. #define OLD_M	  %rdi

  52. #define OLD_N	  %rsi

  53. #define OLD_A	  %rcx

  54. #define OLD_LDA	  %r8

  55. #define STACK_INCX	 8 + STACKSIZE(%rsp)

  56. #define STACK_Y		16 + STACKSIZE(%rsp)

  57. #define STACK_INCY	24 + STACKSIZE(%rsp)

  58. #define STACK_BUFFER	32 + STACKSIZE(%rsp)

  59. #define MMM		56(%rsp)

  60. #define NN		64(%rsp)

  61. #define AA		72(%rsp)

  62. #define LDAX	80(%rsp)

  63. 

  64. #else

  65. 

  66. #define STACKSIZE	288

  67. 

  68. #define OLD_M	  %rcx

  69. #define OLD_N	  %rdx

  70. #define OLD_A		 40 + STACKSIZE(%rsp)

  71. #define OLD_LDA		 48 + STACKSIZE(%rsp)

  72. #define OLD_X		 56 + STACKSIZE(%rsp)

  73. #define STACK_INCX	 64 + STACKSIZE(%rsp)

  74. #define STACK_Y		 72 + STACKSIZE(%rsp)

  75. #define STACK_INCY	 80 + STACKSIZE(%rsp)

  76. #define STACK_BUFFER	 88 + STACKSIZE(%rsp)

  77. #define MMM	232(%rsp)

  78. #define NN	240(%rsp)

  79. #define AA	248(%rsp)

  80. #define LDAX 256(%rsp)

  81. 

  82. #endif

  83. 

  84. #define LDA	%r8

  85. #define X	%r9

  86. 

  87. #define INCX	%rsi

  88. #define INCY	%rdi

  89. 

  90. #define M	%r10

  91. #define N	%r11

  92. #define A	%r12

  93. #define Y	%r14

  94. #define BUFFER	%r13

  95. 

  96. #define I	%rax

  97. #define A1	%rbx

  98. #define A2	%rcx

  99. #define LDA3	%rdx

  100. #define X1	%rbp

  101. 

  102. #define Y1	INCX

  103. 

  104. #ifdef ALIGNED_ACCESS

  105. #define MM	%r15

  106. #else

  107. #define MM	M

  108. #endif

  109. 

  110. #define ALPHA	%xmm7

  111. 

  112. 	PROLOGUE

  113. 	PROFCODE

  114. 

  115. 	subq	$STACKSIZE, %rsp

  116. 	movq	%rbx,  0(%rsp)

  117. 	movq	%rbp,  8(%rsp)

  118. 	movq	%r12, 16(%rsp)

  119. 	movq	%r13, 24(%rsp)

  120. 	movq	%r14, 32(%rsp)

  121. 	movq	%r15, 40(%rsp)

  122. 

  123. #ifdef WINDOWS_ABI

  124. 	movq	%rdi,    48(%rsp)

  125. 	movq	%rsi,    56(%rsp)

  126. 	movups	%xmm6,   64(%rsp)

  127. 	movups	%xmm7,   80(%rsp)

  128. 	movups	%xmm8,   96(%rsp)

  129. 	movups	%xmm9,  112(%rsp)

  130. 	movups	%xmm10, 128(%rsp)

  131. 	movups	%xmm11, 144(%rsp)

  132. 	movups	%xmm12, 160(%rsp)

  133. 	movups	%xmm13, 176(%rsp)

  134. 	movups	%xmm14, 192(%rsp)

  135. 	movups	%xmm15, 208(%rsp)

  136. 

  137. 	movq	OLD_M,	      MMM

  138. 	movq	OLD_N,        NN

  139. 	movq	OLD_A,        X

  140. 	movq	X,	      AA

  141. 	movq	OLD_LDA,      X

  142. 	movq	X,	      LDAX

  143. 	movq	OLD_X,        X

  144. #else

  145. 	movq	OLD_M,	      MMM

  146. 	movq	OLD_N,        NN

  147. 	movq	OLD_A,        AA

  148. 	movq	OLD_LDA,      LDAX

  149. #endif

  150. #ifndef WINDOWS_ABI

  151. 	pshufd	$0, %xmm0, ALPHA

  152. #else

  153. 	pshufd	$0, %xmm3, ALPHA

  154. #endif

  155. 

  156. 

  157. .L0t:

  158. 	xorq	M,M

  159. 	addq	$1,M

  160. 	salq	$22,M

  161. 	subq	M,MMM

  162. 	jge		.L00t

  163. 	ALIGN_4

  164. 

  165. 	movq	MMM,%rax

  166. 	addq	M,%rax

  167. 	jle		.L999x

  168. 	movq	%rax,M

  169. 

  170. .L00t:

  171. 	movq	LDAX,LDA

  172. 	movq	NN,N

  173. 	movq	AA,A

  174. 	movq	STACK_INCX,   INCX

  175. 	movq	STACK_Y,      Y

  176. 	movq	STACK_INCY,   INCY

  177. 	movq	STACK_BUFFER, BUFFER

  178. 

  179. 	leaq	(,INCX, SIZE), INCX

  180. 	leaq	(,INCY, SIZE), INCY

  181. 	leaq	(,LDA,  SIZE), LDA

  182. 

  183. 	leaq	(LDA, LDA, 2), LDA3

  184. 

  185. #ifdef ALIGNED_ACCESS

  186. 	movq	M, MM

  187. 	testq	$4 * SIZE - 1, A

  188. 	je	.L0X

  189. 	cmpq	$3, M

  190. 	jle	.L0X

  191. 

  192. 	movq	A, MM

  193. 	sarq	$BASE_SHIFT, MM

  194. 	andq	$3, MM

  195. 	subq	$4, MM

  196. 	addq	M,  MM

  197. 

  198. .L0X:

  199. #endif

  200. 

  201. 	testq	M, M

  202. 	jle	.L999

  203. 	testq	N, N

  204. 	jle	.L999

  205. 	ALIGN_4

  206. 

  207. 	subq	$-32 * SIZE, A

  208. 

  209. #ifdef ALIGNED_ACCESS

  210. 	movq	A,  %rax

  211. 	andq	$4 * SIZE - 1, %rax

  212. 	addq	%rax, BUFFER

  213. #endif

  214. 

  215. 	movq	BUFFER, X1

  216. 

  217. 	movq	M,  I

  218. 	sarq	$3, I

  219. 	jle	.L05

  220. 	ALIGN_4

  221. 

  222. .L02:

  223. 	movss	(X), %xmm0

  224. 	addq	INCX, X

  225. 	movss	(X), %xmm1

  226. 	addq	INCX, X

  227. 

  228. 	movss	(X), %xmm2

  229. 	addq	INCX, X

  230. 	movss	(X), %xmm3

  231. 	addq	INCX, X

  232. 

  233. 	movss	(X), %xmm4

  234. 	addq	INCX, X

  235. 	movss	(X), %xmm5

  236. 	addq	INCX, X

  237. 

  238. 	movss	(X), %xmm6

  239. 	addq	INCX, X

  240. 	movss	(X), %xmm8

  241. 	addq	INCX, X

  242. 

  243. 	movss	%xmm0, 0 * SIZE(X1)

  244. 	movss	%xmm1, 1 * SIZE(X1)

  245. 	movss	%xmm2, 2 * SIZE(X1)

  246. 	movss	%xmm3, 3 * SIZE(X1)

  247. 	movss	%xmm4, 4 * SIZE(X1)

  248. 	movss	%xmm5, 5 * SIZE(X1)

  249. 	movss	%xmm6, 6 * SIZE(X1)

  250. 	movss	%xmm8, 7 * SIZE(X1)

  251. 

  252. 	addq	$8 * SIZE, X1

  253. 	decq	I

  254. 	jg	.L02

  255. 	ALIGN_4

  256. 

  257. .L05:

  258. 	movq	M,  I

  259. 	andq	$7, I

  260. 	jle	.L10

  261. 	ALIGN_2

  262. 

  263. .L06:

  264. 	movss	(X), %xmm0

  265. 	addq	INCX, X

  266. 	movss	%xmm0, 0 * SIZE(X1)

  267. 	addq	$SIZE, X1

  268. 	decq	I

  269. 	jg	.L06

  270. 	ALIGN_4

  271. 

  272. .L10:

  273. 	movq	Y, Y1

  274. 

  275. #ifdef ALIGNED_ACCESS

  276. 	testq	$4 * SIZE - 1, LDA

  277. 	jne	.L100

  278. #endif

  279. 

  280. #if GEMV_UNROLL >= 8

  281. 

  282. 	cmpq	$8, N

  283. 	jl	.L20

  284. 	ALIGN_3

  285. 

  286. .L11:

  287. 	subq	$8, N

  288. 

  289. 	leaq	32 * SIZE(BUFFER), X1

  290. 

  291. 	movq	A, A1

  292. 	leaq	(A1, LDA, 4), A2

  293. 	leaq	(A1, LDA, 8), A

  294. 

  295. 	xorps	%xmm8, %xmm8

  296. 	xorps	%xmm9, %xmm9

  297. 	xorps	%xmm10, %xmm10

  298. 	xorps	%xmm11, %xmm11

  299. 	xorps	%xmm12, %xmm12

  300. 	xorps	%xmm13, %xmm13

  301. 	xorps	%xmm14, %xmm14

  302. 	xorps	%xmm15, %xmm15

  303. 

  304. #ifdef ALIGNED_ACCESS

  305. 	cmpq	$3, M

  306. 	jle	.L17

  307. 

  308. 	testq	$SIZE, A1

  309. 	je	.L1X

  310. 

  311. 	movss	-32 * SIZE(A1), %xmm0

  312. 	movss	-32 * SIZE(X1), %xmm4

  313. 	mulss	%xmm4, %xmm0

  314. 	addss	%xmm0, %xmm8

  315. 	movss	-32 * SIZE(A1, LDA, 1), %xmm1

  316. 	mulss	%xmm4, %xmm1

  317. 	addss	%xmm1, %xmm9

  318. 	movss	-32 * SIZE(A1, LDA, 2), %xmm2

  319. 	mulss	%xmm4, %xmm2

  320. 	addss	%xmm2, %xmm10

  321. 	movss	-32 * SIZE(A1, LDA3, 1), %xmm3

  322. 	mulss	%xmm4, %xmm3

  323. 	addss	%xmm3, %xmm11

  324. 	movss	-32 * SIZE(A2), %xmm0

  325. 	mulss	%xmm4, %xmm0

  326. 	addss	%xmm0, %xmm12

  327. 	movss	-32 * SIZE(A2, LDA, 1), %xmm1

  328. 	mulss	%xmm4, %xmm1

  329. 	addss	%xmm1, %xmm13

  330. 	movss	-32 * SIZE(A2, LDA, 2), %xmm2

  331. 	mulss	%xmm4, %xmm2

  332. 	addss	%xmm2, %xmm14

  333. 	movss	-32 * SIZE(A2, LDA3, 1), %xmm3

  334. 	mulss	%xmm4, %xmm3

  335. 	addss	%xmm3, %xmm15

  336. 

  337. 	addq	 $1 * SIZE, A1

  338. 	addq	 $1 * SIZE, A2

  339. 	addq	 $1 * SIZE, X1

  340. 	ALIGN_3

  341. 

  342. .L1X:

  343. 	testq	$2 * SIZE, A1

  344. 	je	.L1XX

  345. 

  346. #ifdef movsd

  347. 	xorps	%xmm0, %xmm0

  348. 	xorps	%xmm4, %xmm4

  349. #endif

  350. 	movsd	-32 * SIZE(A1), %xmm0

  351. 	movsd	-32 * SIZE(X1), %xmm4

  352. 	mulps	%xmm4, %xmm0

  353. 	addps	%xmm0, %xmm8

  354. #ifdef movsd

  355. 	xorps	%xmm1, %xmm1

  356. #endif

  357. 	movsd	-32 * SIZE(A1, LDA, 1), %xmm1

  358. 	mulps	%xmm4, %xmm1

  359. 	addps	%xmm1, %xmm9

  360. #ifdef movsd

  361. 	xorps	%xmm2, %xmm2

  362. #endif

  363. 	movsd	-32 * SIZE(A1, LDA, 2), %xmm2

  364. 	mulps	%xmm4, %xmm2

  365. 	addps	%xmm2, %xmm10

  366. #ifdef movsd

  367. 	xorps	%xmm3, %xmm3

  368. #endif

  369. 	movsd	-32 * SIZE(A1, LDA3, 1), %xmm3

  370. 	mulps	%xmm4, %xmm3

  371. 	addps	%xmm3, %xmm11

  372. 	movsd	-32 * SIZE(A2), %xmm0

  373. 	mulps	%xmm4, %xmm0

  374. 	addps	%xmm0, %xmm12

  375. 	movsd	-32 * SIZE(A2, LDA, 1), %xmm1

  376. 	mulps	%xmm4, %xmm1

  377. 	addps	%xmm1, %xmm13

  378. 	movsd	-32 * SIZE(A2, LDA, 2), %xmm2

  379. 	mulps	%xmm4, %xmm2

  380. 	addps	%xmm2, %xmm14

  381. 	movsd	-32 * SIZE(A2, LDA3, 1), %xmm3

  382. 	mulps	%xmm4, %xmm3

  383. 	addps	%xmm3, %xmm15

  384. 

  385. 	addq	 $2 * SIZE, A1

  386. 	addq	 $2 * SIZE, A2

  387. 	addq	 $2 * SIZE, X1

  388. 	ALIGN_3

  389. 

  390. .L1XX:

  391. #endif

  392. 

  393. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  394. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  395. 

  396. #ifdef PREFETCHW

  397. 	PREFETCHW	8 * SIZE(Y1)

  398. #endif

  399. 

  400. 	movq	MM,  I

  401. 	sarq	$4,  I

  402. 	jle	.L15

  403. 

  404. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  405. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 1, %xmm1)

  406. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 2, %xmm2)

  407. 	MOVUPS_A2 (-32 * SIZE, A1, LDA3, 1, %xmm3)

  408. 

  409. 	decq	I

  410. 	jle	.L13

  411. 	ALIGN_4

  412. 

  413. .L12:

  414. #ifdef PREFETCH

  415. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1)

  416. #endif

  417. 

  418. 	mulps	%xmm4, %xmm0

  419. 	addps	%xmm0, %xmm8

  420. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm0)

  421. 	mulps	%xmm4, %xmm1

  422. 	addps	%xmm1, %xmm9

  423. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 1, %xmm1)

  424. 	mulps	%xmm4, %xmm2

  425. 	addps	%xmm2, %xmm10

  426. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 2, %xmm2)

  427. 	mulps	%xmm4, %xmm3

  428. 	addps	%xmm3, %xmm11

  429. 	MOVUPS_A2 (-32 * SIZE, A2, LDA3, 1, %xmm3)

  430. 

  431. #ifdef PREFETCH

  432. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1, LDA, 1)

  433. #endif

  434. 

  435. 	mulps	%xmm4, %xmm0

  436. 	addps	%xmm0, %xmm12

  437. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  438. 	mulps	%xmm4, %xmm1

  439. 	addps	%xmm1, %xmm13

  440. 	MOVUPS_A2 (-28 * SIZE, A1, LDA, 1, %xmm1)

  441. 	mulps	%xmm4, %xmm2

  442. 	addps	%xmm2, %xmm14

  443. 	MOVUPS_A2 (-28 * SIZE, A1, LDA, 2, %xmm2)

  444. 	mulps	%xmm4, %xmm3

  445. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  446. 	addps	%xmm3, %xmm15

  447. 	MOVUPS_A2 (-28 * SIZE, A1, LDA3, 1, %xmm3)

  448. 

  449. #ifdef PREFETCH

  450. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1, LDA, 2)

  451. #endif

  452. 

  453. 	mulps	%xmm5, %xmm0

  454. 	addps	%xmm0, %xmm8

  455. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm0)

  456. 	mulps	%xmm5, %xmm1

  457. 	addps	%xmm1, %xmm9

  458. 	MOVUPS_A2 (-28 * SIZE, A2, LDA, 1, %xmm1)

  459. 	mulps	%xmm5, %xmm2

  460. 	addps	%xmm2, %xmm10

  461. 	MOVUPS_A2 (-28 * SIZE, A2, LDA, 2, %xmm2)

  462. 	mulps	%xmm5, %xmm3

  463. 	addps	%xmm3, %xmm11

  464. 	MOVUPS_A2 (-28 * SIZE, A2, LDA3, 1, %xmm3)

  465. 

  466. #ifdef PREFETCH

  467. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1, LDA3)

  468. #endif

  469. 

  470. 	mulps	%xmm5, %xmm0

  471. 	addps	%xmm0, %xmm12

  472. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  473. 	mulps	%xmm5, %xmm1

  474. 	addps	%xmm1, %xmm13

  475. 	MOVUPS_A2 (-24 * SIZE, A1, LDA, 1, %xmm1)

  476. 	mulps	%xmm5, %xmm2

  477. 	addps	%xmm2, %xmm14

  478. 	MOVUPS_A2 (-24 * SIZE, A1, LDA, 2, %xmm2)

  479. 	mulps	%xmm5, %xmm3

  480. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  481. 	addps	%xmm3, %xmm15

  482. 	MOVUPS_A2 (-24 * SIZE, A1, LDA3, 1, %xmm3)

  483. 

  484. #ifdef PREFETCH

  485. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2)

  486. #endif

  487. 

  488. 	mulps	%xmm4, %xmm0

  489. 	addps	%xmm0, %xmm8

  490. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm0)

  491. 	mulps	%xmm4, %xmm1

  492. 	addps	%xmm1, %xmm9

  493. 	MOVUPS_A2 (-24 * SIZE, A2, LDA, 1, %xmm1)

  494. 	mulps	%xmm4, %xmm2

  495. 	addps	%xmm2, %xmm10

  496. 	MOVUPS_A2 (-24 * SIZE, A2, LDA, 2, %xmm2)

  497. 	mulps	%xmm4, %xmm3

  498. 	addps	%xmm3, %xmm11

  499. 	MOVUPS_A2 (-24 * SIZE, A2, LDA3, 1, %xmm3)

  500. 	mulps	%xmm4, %xmm0

  501. 	addps	%xmm0, %xmm12

  502. 

  503. #ifdef PREFETCH

  504. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2, LDA, 1)

  505. #endif

  506. 

  507. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  508. 	mulps	%xmm4, %xmm1

  509. 	addps	%xmm1, %xmm13

  510. 	MOVUPS_A2 (-20 * SIZE, A1, LDA, 1, %xmm1)

  511. 	mulps	%xmm4, %xmm2

  512. 	addps	%xmm2, %xmm14

  513. 	MOVUPS_A2 (-20 * SIZE, A1, LDA, 2, %xmm2)

  514. 	mulps	%xmm4, %xmm3

  515. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  516. 	addps	%xmm3, %xmm15

  517. 	MOVUPS_A2 (-20 * SIZE, A1, LDA3, 1, %xmm3)

  518. 

  519. #ifdef PREFETCH

  520. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2, LDA, 2)

  521. #endif

  522. 

  523. 	mulps	%xmm5, %xmm0

  524. 	addps	%xmm0, %xmm8

  525. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm0)

  526. 	mulps	%xmm5, %xmm1

  527. 	addps	%xmm1, %xmm9

  528. 	MOVUPS_A2 (-20 * SIZE, A2, LDA, 1, %xmm1)

  529. 	mulps	%xmm5, %xmm2

  530. 	addps	%xmm2, %xmm10

  531. 	MOVUPS_A2 (-20 * SIZE, A2, LDA, 2, %xmm2)

  532. 	mulps	%xmm5, %xmm3

  533. 	addps	%xmm3, %xmm11

  534. 	MOVUPS_A2 (-20 * SIZE, A2, LDA3, 1, %xmm3)

  535. 	mulps	%xmm5, %xmm0

  536. 	addps	%xmm0, %xmm12

  537. 

  538. #ifdef PREFETCH

  539. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2, LDA3)

  540. #endif

  541. 

  542. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  543. 	mulps	%xmm5, %xmm1

  544. 	addps	%xmm1, %xmm13

  545. 	MOVUPS_A2 (-16 * SIZE, A1, LDA, 1, %xmm1)

  546. 	mulps	%xmm5, %xmm2

  547. 	addps	%xmm2, %xmm14

  548. 

  549. #ifdef PREFETCHW

  550. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(X1)

  551. #endif

  552. 

  553. 	MOVUPS_A2 (-16 * SIZE, A1, LDA, 2, %xmm2)

  554. 	mulps	%xmm5, %xmm3

  555. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  556. 	addps	%xmm3, %xmm15

  557. 	MOVUPS_A2 (-16 * SIZE, A1, LDA3, 1, %xmm3)

  558. 

  559. 	addq	$16 * SIZE, A1

  560. 	addq	$16 * SIZE, A2

  561. 	addq	$16 * SIZE, X1

  562. 

  563. 	decq	I

  564. 	jg	.L12

  565. 	ALIGN_4

  566. 

  567. .L13:

  568. 	mulps	%xmm4, %xmm0

  569. 	addps	%xmm0, %xmm8

  570. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm0)

  571. 	mulps	%xmm4, %xmm1

  572. 	addps	%xmm1, %xmm9

  573. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 1, %xmm1)

  574. 	mulps	%xmm4, %xmm2

  575. 	addps	%xmm2, %xmm10

  576. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 2, %xmm2)

  577. 	mulps	%xmm4, %xmm3

  578. 	addps	%xmm3, %xmm11

  579. 	MOVUPS_A2 (-32 * SIZE, A2, LDA3, 1, %xmm3)

  580. 	mulps	%xmm4, %xmm0

  581. 	addps	%xmm0, %xmm12

  582. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  583. 	mulps	%xmm4, %xmm1

  584. 	addps	%xmm1, %xmm13

  585. 	MOVUPS_A2 (-28 * SIZE, A1, LDA, 1, %xmm1)

  586. 	mulps	%xmm4, %xmm2

  587. 	addps	%xmm2, %xmm14

  588. 	MOVUPS_A2 (-28 * SIZE, A1, LDA, 2, %xmm2)

  589. 	mulps	%xmm4, %xmm3

  590. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  591. 	addps	%xmm3, %xmm15

  592. 	MOVUPS_A2 (-28 * SIZE, A1, LDA3, 1, %xmm3)

  593. 

  594. 	mulps	%xmm5, %xmm0

  595. 	addps	%xmm0, %xmm8

  596. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm0)

  597. 	mulps	%xmm5, %xmm1

  598. 	addps	%xmm1, %xmm9

  599. 	MOVUPS_A2 (-28 * SIZE, A2, LDA, 1, %xmm1)

  600. 	mulps	%xmm5, %xmm2

  601. 	addps	%xmm2, %xmm10

  602. 	MOVUPS_A2 (-28 * SIZE, A2, LDA, 2, %xmm2)

  603. 	mulps	%xmm5, %xmm3

  604. 	addps	%xmm3, %xmm11

  605. 	MOVUPS_A2 (-28 * SIZE, A2, LDA3, 1, %xmm3)

  606. 	mulps	%xmm5, %xmm0

  607. 	addps	%xmm0, %xmm12

  608. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  609. 	mulps	%xmm5, %xmm1

  610. 	addps	%xmm1, %xmm13

  611. 	MOVUPS_A2 (-24 * SIZE, A1, LDA, 1, %xmm1)

  612. 	mulps	%xmm5, %xmm2

  613. 	addps	%xmm2, %xmm14

  614. 	MOVUPS_A2 (-24 * SIZE, A1, LDA, 2, %xmm2)

  615. 	mulps	%xmm5, %xmm3

  616. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  617. 	addps	%xmm3, %xmm15

  618. 	MOVUPS_A2 (-24 * SIZE, A1, LDA3, 1, %xmm3)

  619. 

  620. 	mulps	%xmm4, %xmm0

  621. 	addps	%xmm0, %xmm8

  622. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm0)

  623. 	mulps	%xmm4, %xmm1

  624. 	addps	%xmm1, %xmm9

  625. 	MOVUPS_A2 (-24 * SIZE, A2, LDA, 1, %xmm1)

  626. 	mulps	%xmm4, %xmm2

  627. 	addps	%xmm2, %xmm10

  628. 	MOVUPS_A2 (-24 * SIZE, A2, LDA, 2, %xmm2)

  629. 	mulps	%xmm4, %xmm3

  630. 	addps	%xmm3, %xmm11

  631. 	MOVUPS_A2 (-24 * SIZE, A2, LDA3, 1, %xmm3)

  632. 	mulps	%xmm4, %xmm0

  633. 	addps	%xmm0, %xmm12

  634. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  635. 	mulps	%xmm4, %xmm1

  636. 	addps	%xmm1, %xmm13

  637. 	MOVUPS_A2 (-20 * SIZE, A1, LDA, 1, %xmm1)

  638. 	mulps	%xmm4, %xmm2

  639. 	addps	%xmm2, %xmm14

  640. 	MOVUPS_A2 (-20 * SIZE, A1, LDA, 2, %xmm2)

  641. 	mulps	%xmm4, %xmm3

  642. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  643. 	addps	%xmm3, %xmm15

  644. 	MOVUPS_A2 (-20 * SIZE, A1, LDA3, 1, %xmm3)

  645. 

  646. 	mulps	%xmm5, %xmm0

  647. 	addps	%xmm0, %xmm8

  648. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm0)

  649. 	mulps	%xmm5, %xmm1

  650. 	addps	%xmm1, %xmm9

  651. 	MOVUPS_A2 (-20 * SIZE, A2, LDA, 1, %xmm1)

  652. 	mulps	%xmm5, %xmm2

  653. 	addps	%xmm2, %xmm10

  654. 	MOVUPS_A2 (-20 * SIZE, A2, LDA, 2, %xmm2)

  655. 	mulps	%xmm5, %xmm3

  656. 	addps	%xmm3, %xmm11

  657. 	MOVUPS_A2 (-20 * SIZE, A2, LDA3, 1, %xmm3)

  658. 	mulps	%xmm5, %xmm0

  659. 	addps	%xmm0, %xmm12

  660. 	mulps	%xmm5, %xmm1

  661. 	addps	%xmm1, %xmm13

  662. 	mulps	%xmm5, %xmm2

  663. 	addps	%xmm2, %xmm14

  664. 	mulps	%xmm5, %xmm3

  665. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  666. 	addps	%xmm3, %xmm15

  667. 

  668. 	addq	$16 * SIZE, A1

  669. 	addq	$16 * SIZE, A2

  670. 	addq	$16 * SIZE, X1

  671. 	ALIGN_4

  672. 

  673. .L15:

  674. 	testq	$8, MM

  675. 	jle	.L16

  676. 

  677. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  678. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 1, %xmm1)

  679. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 2, %xmm2)

  680. 	MOVUPS_A2 (-32 * SIZE, A1, LDA3, 1, %xmm3)

  681. 

  682. 	mulps	%xmm4, %xmm0

  683. 	addps	%xmm0, %xmm8

  684. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm0)

  685. 	mulps	%xmm4, %xmm1

  686. 	addps	%xmm1, %xmm9

  687. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 1, %xmm1)

  688. 	mulps	%xmm4, %xmm2

  689. 	addps	%xmm2, %xmm10

  690. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 2, %xmm2)

  691. 	mulps	%xmm4, %xmm3

  692. 	addps	%xmm3, %xmm11

  693. 	MOVUPS_A2 (-32 * SIZE, A2, LDA3, 1, %xmm3)

  694. 	mulps	%xmm4, %xmm0

  695. 	addps	%xmm0, %xmm12

  696. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  697. 	mulps	%xmm4, %xmm1

  698. 	addps	%xmm1, %xmm13

  699. 	MOVUPS_A2 (-28 * SIZE, A1, LDA, 1, %xmm1)

  700. 	mulps	%xmm4, %xmm2

  701. 	addps	%xmm2, %xmm14

  702. 	MOVUPS_A2 (-28 * SIZE, A1, LDA, 2, %xmm2)

  703. 	mulps	%xmm4, %xmm3

  704. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  705. 	addps	%xmm3, %xmm15

  706. 	MOVUPS_A2 (-28 * SIZE, A1, LDA3, 1, %xmm3)

  707. 

  708. 	mulps	%xmm5, %xmm0

  709. 	addps	%xmm0, %xmm8

  710. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm0)

  711. 	mulps	%xmm5, %xmm1

  712. 	addps	%xmm1, %xmm9

  713. 	MOVUPS_A2 (-28 * SIZE, A2, LDA, 1, %xmm1)

  714. 	mulps	%xmm5, %xmm2

  715. 	addps	%xmm2, %xmm10

  716. 	MOVUPS_A2 (-28 * SIZE, A2, LDA, 2, %xmm2)

  717. 	mulps	%xmm5, %xmm3

  718. 	addps	%xmm3, %xmm11

  719. 	MOVUPS_A2 (-28 * SIZE, A2, LDA3, 1, %xmm3)

  720. 	mulps	%xmm5, %xmm0

  721. 	addps	%xmm0, %xmm12

  722. 	mulps	%xmm5, %xmm1

  723. 	addps	%xmm1, %xmm13

  724. 	mulps	%xmm5, %xmm2

  725. 	addps	%xmm2, %xmm14

  726. 	mulps	%xmm5, %xmm3

  727. 	addps	%xmm3, %xmm15

  728. 

  729. 	addq	$8 * SIZE, A1

  730. 	addq	$8 * SIZE, A2

  731. 	addq	$8 * SIZE, X1

  732. 	ALIGN_4

  733. 

  734. .L16:

  735. 	testq	$4, MM

  736. 	jle	.L17

  737. 

  738. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  739. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 1, %xmm1)

  740. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 2, %xmm2)

  741. 	MOVUPS_A2 (-32 * SIZE, A1, LDA3, 1, %xmm3)

  742. 

  743. 	mulps	%xmm4, %xmm0

  744. 	addps	%xmm0, %xmm8

  745. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm0)

  746. 	mulps	%xmm4, %xmm1

  747. 	addps	%xmm1, %xmm9

  748. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 1, %xmm1)

  749. 	mulps	%xmm4, %xmm2

  750. 	addps	%xmm2, %xmm10

  751. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 2, %xmm2)

  752. 	mulps	%xmm4, %xmm3

  753. 	addps	%xmm3, %xmm11

  754. 	MOVUPS_A2 (-32 * SIZE, A2, LDA3, 1, %xmm3)

  755. 	mulps	%xmm4, %xmm0

  756. 	addps	%xmm0, %xmm12

  757. 	mulps	%xmm4, %xmm1

  758. 	addps	%xmm1, %xmm13

  759. 	mulps	%xmm4, %xmm2

  760. 	addps	%xmm2, %xmm14

  761. 	mulps	%xmm4, %xmm3

  762. 	addps	%xmm3, %xmm15

  763. 

  764. 	addq	$4 * SIZE, A1

  765. 	addq	$4 * SIZE, A2

  766. 	addq	$4 * SIZE, X1

  767. 	ALIGN_4

  768. 

  769. .L17:

  770. 	testq	$2, MM

  771. 	jle	.L18

  772. 

  773. #ifdef movsd

  774. 	xorps	%xmm0, %xmm0

  775. #endif

  776. 	movsd	-32 * SIZE(A1), %xmm0

  777. #ifdef movsd

  778. 	xorps	%xmm4, %xmm4

  779. #endif

  780. 	movsd	-32 * SIZE(X1), %xmm4

  781. 	mulps	%xmm4, %xmm0

  782. 	addps	%xmm0, %xmm8

  783. #ifdef movsd

  784. 	xorps	%xmm1, %xmm1

  785. #endif

  786. 	movsd	-32 * SIZE(A1, LDA, 1), %xmm1

  787. 	mulps	%xmm4, %xmm1

  788. 	addps	%xmm1, %xmm9

  789. #ifdef movsd

  790. 	xorps	%xmm2, %xmm2

  791. #endif

  792. 	movsd	-32 * SIZE(A1, LDA, 2), %xmm2

  793. 	mulps	%xmm4, %xmm2

  794. 	addps	%xmm2, %xmm10

  795. #ifdef movsd

  796. 	xorps	%xmm3, %xmm3

  797. #endif

  798. 	movsd	-32 * SIZE(A1, LDA3, 1), %xmm3

  799. 	mulps	%xmm4, %xmm3

  800. 	addps	%xmm3, %xmm11

  801. 	movsd	-32 * SIZE(A2), %xmm0

  802. 	mulps	%xmm4, %xmm0

  803. 	addps	%xmm0, %xmm12

  804. 	movsd	-32 * SIZE(A2, LDA, 1), %xmm1

  805. 	mulps	%xmm4, %xmm1

  806. 	addps	%xmm1, %xmm13

  807. 	movsd	-32 * SIZE(A2, LDA, 2), %xmm2

  808. 	mulps	%xmm4, %xmm2

  809. 	addps	%xmm2, %xmm14

  810. 	movsd	-32 * SIZE(A2, LDA3, 1), %xmm3

  811. 	mulps	%xmm4, %xmm3

  812. 	addps	%xmm3, %xmm15

  813. 

  814. 	addq	$2 * SIZE, A1

  815. 	addq	$2 * SIZE, A2

  816. 	addq	$2 * SIZE, X1

  817. 	ALIGN_4

  818. 

  819. .L18:

  820. 	testq	$1, MM

  821. 	jle	.L19

  822. 

  823. 	movss	-32 * SIZE(A1), %xmm0

  824. 	movss	-32 * SIZE(X1), %xmm4

  825. 	mulss	%xmm4, %xmm0

  826. 	addss	%xmm0, %xmm8

  827. 	movss	-32 * SIZE(A1, LDA, 1), %xmm1

  828. 	mulss	%xmm4, %xmm1

  829. 	addss	%xmm1, %xmm9

  830. 	movss	-32 * SIZE(A1, LDA, 2), %xmm2

  831. 	mulss	%xmm4, %xmm2

  832. 	addss	%xmm2, %xmm10

  833. 	movss	-32 * SIZE(A1, LDA3, 1), %xmm3

  834. 	mulss	%xmm4, %xmm3

  835. 	addss	%xmm3, %xmm11

  836. 	movss	-32 * SIZE(A2), %xmm0

  837. 	mulss	%xmm4, %xmm0

  838. 	addss	%xmm0, %xmm12

  839. 	movss	-32 * SIZE(A2, LDA, 1), %xmm1

  840. 	mulss	%xmm4, %xmm1

  841. 	addss	%xmm1, %xmm13

  842. 	movss	-32 * SIZE(A2, LDA, 2), %xmm2

  843. 	mulss	%xmm4, %xmm2

  844. 	addss	%xmm2, %xmm14

  845. 	movss	-32 * SIZE(A2, LDA3, 1), %xmm3

  846. 	mulss	%xmm4, %xmm3

  847. 	addss	%xmm3, %xmm15

  848. 	ALIGN_4

  849. 

  850. .L19:

  851. #ifdef HAVE_SSE3

  852. 	haddps	%xmm9, %xmm8

  853. 	haddps	%xmm11, %xmm10

  854. 	haddps	%xmm10, %xmm8

  855. 

  856. 	pshufd	$0x1, %xmm8, %xmm9

  857. 	pshufd	$0x2, %xmm8, %xmm10

  858. 	pshufd	$0x3, %xmm8, %xmm11

  859. 

  860. 	haddps	%xmm13, %xmm12

  861. 	haddps	%xmm15, %xmm14

  862. 	haddps	%xmm14, %xmm12

  863. 

  864. 	pshufd	$0x1, %xmm12, %xmm13

  865. 	pshufd	$0x2, %xmm12, %xmm14

  866. 	pshufd	$0x3, %xmm12, %xmm15

  867. #else

  868. 	movaps	%xmm8, %xmm0

  869. 	unpcklps %xmm9, %xmm8

  870. 	unpckhps %xmm9, %xmm0

  871. 

  872. 	movaps	%xmm10, %xmm1

  873. 	unpcklps %xmm11, %xmm10

  874. 	unpckhps %xmm11, %xmm1

  875. 

  876. 	movaps	%xmm8, %xmm9

  877. 	unpcklps %xmm10, %xmm8

  878. 	unpckhps %xmm10, %xmm9

  879. 

  880. 	movaps	%xmm0, %xmm10

  881. 	unpcklps %xmm1, %xmm0

  882. 	unpckhps %xmm1, %xmm10

  883. 

  884. 	addps	%xmm9, %xmm8

  885. 	addps	%xmm0, %xmm10

  886. 	addps	%xmm10, %xmm8

  887. 

  888. 	pshufd	$0x2, %xmm8, %xmm9

  889. 	pshufd	$0x1, %xmm8, %xmm10

  890. 	pshufd	$0x3, %xmm8, %xmm11

  891. 

  892. 	movaps	%xmm12, %xmm0

  893. 	unpcklps %xmm13, %xmm12

  894. 	unpckhps %xmm13, %xmm0

  895. 

  896. 	movaps	%xmm14, %xmm1

  897. 	unpcklps %xmm15, %xmm14

  898. 	unpckhps %xmm15, %xmm1

  899. 

  900. 	movaps	%xmm12, %xmm13

  901. 	unpcklps %xmm14, %xmm12

  902. 	unpckhps %xmm14, %xmm13

  903. 

  904. 	movaps	%xmm0, %xmm14

  905. 	unpcklps %xmm1, %xmm0

  906. 	unpckhps %xmm1, %xmm14

  907. 

  908. 	addps	%xmm13, %xmm12

  909. 	addps	%xmm0, %xmm14

  910. 	addps	%xmm14, %xmm12

  911. 

  912. 	pshufd	$0x2, %xmm12, %xmm13

  913. 	pshufd	$0x1, %xmm12, %xmm14

  914. 	pshufd	$0x3, %xmm12, %xmm15

  915. #endif

  916. 

  917. 	mulss	ALPHA, %xmm8

  918. 	mulss	ALPHA, %xmm9

  919. 	mulss	ALPHA, %xmm10

  920. 	mulss	ALPHA, %xmm11

  921. 	mulss	ALPHA, %xmm12

  922. 	mulss	ALPHA, %xmm13

  923. 	mulss	ALPHA, %xmm14

  924. 	mulss	ALPHA, %xmm15

  925. 

  926. 	addss	(Y), %xmm8

  927. 	addq	INCY, Y

  928. 	addss	(Y), %xmm9

  929. 	addq	INCY, Y

  930. 	addss	(Y), %xmm10

  931. 	addq	INCY, Y

  932. 	addss	(Y), %xmm11

  933. 	addq	INCY, Y

  934. 	addss	(Y), %xmm12

  935. 	addq	INCY, Y

  936. 	addss	(Y), %xmm13

  937. 	addq	INCY, Y

  938. 	addss	(Y), %xmm14

  939. 	addq	INCY, Y

  940. 	addss	(Y), %xmm15

  941. 	addq	INCY, Y

  942. 

  943. 	movss	%xmm8,  (Y1)

  944. 	addq	INCY, Y1

  945. 	movss	%xmm9,  (Y1)

  946. 	addq	INCY, Y1

  947. 	movss	%xmm10, (Y1)

  948. 	addq	INCY, Y1

  949. 	movss	%xmm11, (Y1)

  950. 	addq	INCY, Y1

  951. 	movss	%xmm12, (Y1)

  952. 	addq	INCY, Y1

  953. 	movss	%xmm13, (Y1)

  954. 	addq	INCY, Y1

  955. 	movss	%xmm14, (Y1)

  956. 	addq	INCY, Y1

  957. 	movss	%xmm15, (Y1)

  958. 	addq	INCY, Y1

  959. 

  960. 	cmpq	$8, N

  961. 	jge	.L11

  962. 	ALIGN_4

  963. 

  964. .L20:

  965. #endif

  966. 

  967. 	cmpq	$4, N

  968. 	jl	.L30

  969. 

  970. #if GEMV_UNROLL == 4

  971. 	ALIGN_3

  972. 

  973. .L21:

  974. #endif

  975. 	subq	$4, N

  976. 

  977. 	leaq	32 * SIZE(BUFFER), X1

  978. 

  979. 	movq	A, A1

  980. 	leaq	(A1, LDA, 2), A2

  981. 	leaq	(A1, LDA, 4), A

  982. 

  983. 	xorps	%xmm8, %xmm8

  984. 	xorps	%xmm9, %xmm9

  985. 	xorps	%xmm10, %xmm10

  986. 	xorps	%xmm11, %xmm11

  987. 

  988. #ifdef ALIGNED_ACCESS

  989. 	cmpq	$3, M

  990. 	jle	.L27

  991. 

  992. 	testq	$SIZE, A1

  993. 	je	.L2X

  994. 

  995. 	movss	-32 * SIZE(A1), %xmm0

  996. 	movss	-32 * SIZE(X1), %xmm4

  997. 	mulss	%xmm4, %xmm0

  998. 	addss	%xmm0, %xmm8

  999. 	movss	-32 * SIZE(A1, LDA), %xmm1

  1000. 	mulss	%xmm4, %xmm1

  1001. 	addss	%xmm1, %xmm9

  1002. 	movss	-32 * SIZE(A2), %xmm2

  1003. 	mulss	%xmm4, %xmm2

  1004. 	addss	%xmm2, %xmm10

  1005. 	movss	-32 * SIZE(A2, LDA), %xmm3

  1006. 	mulss	%xmm4, %xmm3

  1007. 	addss	%xmm3, %xmm11

  1008. 

  1009. 	addq	 $1 * SIZE, A1

  1010. 	addq	 $1 * SIZE, A2

  1011. 	addq	 $1 * SIZE, X1

  1012. 	ALIGN_3

  1013. 

  1014. .L2X:

  1015. 	testq	$2 * SIZE, A1

  1016. 	je	.L2XX

  1017. 

  1018. #ifdef movsd

  1019. 	xorps	%xmm0, %xmm0

  1020. 	xorps	%xmm4, %xmm4

  1021. #endif

  1022. 	movsd	-32 * SIZE(A1), %xmm0

  1023. 	movsd	-32 * SIZE(X1), %xmm4

  1024. 	mulps	%xmm4, %xmm0

  1025. 	addps	%xmm0, %xmm8

  1026. #ifdef movsd

  1027. 	xorps	%xmm1, %xmm1

  1028. #endif

  1029. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  1030. 	mulps	%xmm4, %xmm1

  1031. 	addps	%xmm1, %xmm9

  1032. #ifdef movsd

  1033. 	xorps	%xmm2, %xmm2

  1034. #endif

  1035. 	movsd	-32 * SIZE(A2), %xmm2

  1036. 	mulps	%xmm4, %xmm2

  1037. 	addps	%xmm2, %xmm10

  1038. #ifdef movsd

  1039. 	xorps	%xmm3, %xmm3

  1040. #endif

  1041. 	movsd	-32 * SIZE(A2, LDA), %xmm3

  1042. 	mulps	%xmm4, %xmm3

  1043. 	addps	%xmm3, %xmm11

  1044. 

  1045. 	addq	 $2 * SIZE, A1

  1046. 	addq	 $2 * SIZE, A2

  1047. 	addq	 $2 * SIZE, X1

  1048. 	ALIGN_3

  1049. 

  1050. .L2XX:

  1051. #endif

  1052. 

  1053. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  1054. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  1055. 

  1056. #if (GEMV_UNROLL == 4) && defined(PREFETCHW)

  1057. 	PREFETCHW	4 * SIZE(Y1)

  1058. #endif

  1059. 

  1060. 	movq	MM,  I

  1061. 	sarq	$4,  I

  1062. 	jle	.L25

  1063. 

  1064. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  1065. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 1, %xmm1)

  1066. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  1067. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 1, %xmm3)

  1068. 

  1069. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  1070. 	MOVUPS_A2 (-28 * SIZE, A1, LDA, 1, %xmm13)

  1071. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm14)

  1072. 	MOVUPS_A2 (-28 * SIZE, A2, LDA, 1, %xmm15)

  1073. 

  1074. 	decq	I

  1075. 	jle	.L23

  1076. 	ALIGN_4

  1077. 

  1078. .L22:

  1079. #ifdef PREFETCH

  1080. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  1081. #endif

  1082. 

  1083. 	mulps	%xmm4, %xmm0

  1084. 	addps	%xmm0, %xmm8

  1085. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  1086. 	mulps	%xmm4, %xmm1

  1087. 	addps	%xmm1, %xmm9

  1088. 	MOVUPS_A2 (-24 * SIZE, A1, LDA, 1, %xmm1)

  1089. 	mulps	%xmm4, %xmm2

  1090. 	addps	%xmm2, %xmm10

  1091. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm2)

  1092. 	mulps	%xmm4, %xmm3

  1093. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  1094. 	addps	%xmm3, %xmm11

  1095. 	MOVUPS_A2 (-24 * SIZE, A2, LDA, 1, %xmm3)

  1096. 

  1097. #ifdef PREFETCH

  1098. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1, LDA)

  1099. #endif

  1100. 

  1101. 	mulps	%xmm5, %xmm12

  1102. 	addps	%xmm12, %xmm8

  1103. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  1104. 	mulps	%xmm5, %xmm13

  1105. 	addps	%xmm13, %xmm9

  1106. 	MOVUPS_A2 (-20 * SIZE, A1, LDA, 1, %xmm13)

  1107. 	mulps	%xmm5, %xmm14

  1108. 	addps	%xmm14, %xmm10

  1109. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm14)

  1110. 	mulps	%xmm5, %xmm15

  1111. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  1112. 	addps	%xmm15, %xmm11

  1113. 	MOVUPS_A2 (-20 * SIZE, A2, LDA, 1, %xmm15)

  1114. 

  1115. #ifdef PREFETCH

  1116. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  1117. #endif

  1118. 

  1119. 	mulps	%xmm4, %xmm0

  1120. 	addps	%xmm0, %xmm8

  1121. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  1122. 	mulps	%xmm4, %xmm1

  1123. 	addps	%xmm1, %xmm9

  1124. 	MOVUPS_A2 (-16 * SIZE, A1, LDA, 1, %xmm1)

  1125. 	mulps	%xmm4, %xmm2

  1126. 	addps	%xmm2, %xmm10

  1127. 	MOVUPS_A1 (-16 * SIZE, A2, %xmm2)

  1128. 	mulps	%xmm4, %xmm3

  1129. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  1130. 	addps	%xmm3, %xmm11

  1131. 	MOVUPS_A2 (-16 * SIZE, A2, LDA, 1, %xmm3)

  1132. 

  1133. #ifdef PREFETCH

  1134. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2, LDA)

  1135. #endif

  1136. 

  1137. 	mulps	%xmm5, %xmm12

  1138. 	addps	%xmm12, %xmm8

  1139. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm12)

  1140. 	mulps	%xmm5, %xmm13

  1141. 	addps	%xmm13, %xmm9

  1142. 	MOVUPS_A2 (-12 * SIZE, A1, LDA, 1, %xmm13)

  1143. 

  1144. #ifdef PREFETCHW

  1145. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(X1)

  1146. #endif

  1147. 

  1148. 	mulps	%xmm5, %xmm14

  1149. 	addps	%xmm14, %xmm10

  1150. 	MOVUPS_A1 (-12 * SIZE, A2, %xmm14)

  1151. 	mulps	%xmm5, %xmm15

  1152. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  1153. 	addps	%xmm15, %xmm11

  1154. 	MOVUPS_A2 (-12 * SIZE, A2, LDA, 1, %xmm15)

  1155. 

  1156. 	addq	$16 * SIZE, A1

  1157. 	addq	$16 * SIZE, A2

  1158. 	addq	$16 * SIZE, X1

  1159. 

  1160. 	decq	I

  1161. 	jg	.L22

  1162. 	ALIGN_4

  1163. 

  1164. .L23:

  1165. 	mulps	%xmm4, %xmm0

  1166. 	addps	%xmm0, %xmm8

  1167. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  1168. 	mulps	%xmm4, %xmm1

  1169. 	addps	%xmm1, %xmm9

  1170. 	MOVUPS_A2 (-24 * SIZE, A1, LDA, 1, %xmm1)

  1171. 	mulps	%xmm4, %xmm2

  1172. 	addps	%xmm2, %xmm10

  1173. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm2)

  1174. 	mulps	%xmm4, %xmm3

  1175. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  1176. 	addps	%xmm3, %xmm11

  1177. 	MOVUPS_A2 (-24 * SIZE, A2, LDA, 1, %xmm3)

  1178. 

  1179. 	mulps	%xmm5, %xmm12

  1180. 	addps	%xmm12, %xmm8

  1181. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  1182. 	mulps	%xmm5, %xmm13

  1183. 	addps	%xmm13, %xmm9

  1184. 	MOVUPS_A2 (-20 * SIZE, A1, LDA, 1, %xmm13)

  1185. 	mulps	%xmm5, %xmm14

  1186. 	addps	%xmm14, %xmm10

  1187. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm14)

  1188. 	mulps	%xmm5, %xmm15

  1189. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  1190. 	addps	%xmm15, %xmm11

  1191. 	MOVUPS_A2 (-20 * SIZE, A2, LDA, 1, %xmm15)

  1192. 

  1193. 	mulps	%xmm4, %xmm0

  1194. 	addps	%xmm0, %xmm8

  1195. 	mulps	%xmm4, %xmm1

  1196. 	addps	%xmm1, %xmm9

  1197. 	mulps	%xmm4, %xmm2

  1198. 	addps	%xmm2, %xmm10

  1199. 	mulps	%xmm4, %xmm3

  1200. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  1201. 	addps	%xmm3, %xmm11

  1202. 

  1203. 	mulps	%xmm5, %xmm12

  1204. 	addps	%xmm12, %xmm8

  1205. 	mulps	%xmm5, %xmm13

  1206. 	addps	%xmm13, %xmm9

  1207. 	mulps	%xmm5, %xmm14

  1208. 	addps	%xmm14, %xmm10

  1209. 	mulps	%xmm5, %xmm15

  1210. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  1211. 	addps	%xmm15, %xmm11

  1212. 

  1213. 	addq	$16 * SIZE, A1

  1214. 	addq	$16 * SIZE, A2

  1215. 	addq	$16 * SIZE, X1

  1216. 	ALIGN_4

  1217. 

  1218. .L25:

  1219. 	testq	$8, MM

  1220. 	jle	.L26

  1221. 

  1222. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  1223. 	mulps	%xmm4, %xmm0

  1224. 	addps	%xmm0, %xmm8

  1225. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 1, %xmm1)

  1226. 	mulps	%xmm4, %xmm1

  1227. 	addps	%xmm1, %xmm9

  1228. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  1229. 	mulps	%xmm4, %xmm2

  1230. 	addps	%xmm2, %xmm10

  1231. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 1, %xmm3)

  1232. 	mulps	%xmm4, %xmm3

  1233. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  1234. 	addps	%xmm3, %xmm11

  1235. 

  1236. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  1237. 	mulps	%xmm5, %xmm12

  1238. 	addps	%xmm12, %xmm8

  1239. 	MOVUPS_A2 (-28 * SIZE, A1, LDA, 1, %xmm13)

  1240. 	mulps	%xmm5, %xmm13

  1241. 	addps	%xmm13, %xmm9

  1242. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm14)

  1243. 	mulps	%xmm5, %xmm14

  1244. 	addps	%xmm14, %xmm10

  1245. 	MOVUPS_A2 (-28 * SIZE, A2, LDA, 1, %xmm15)

  1246. 	mulps	%xmm5, %xmm15

  1247. 	addps	%xmm15, %xmm11

  1248. 

  1249. 	addq	$8 * SIZE, A1

  1250. 	addq	$8 * SIZE, A2

  1251. 	addq	$8 * SIZE, X1

  1252. 	ALIGN_4

  1253. 

  1254. .L26:

  1255. 	testq	$4, MM

  1256. 	jle	.L27

  1257. 

  1258. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  1259. 	mulps	%xmm4, %xmm0

  1260. 	addps	%xmm0, %xmm8

  1261. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 1, %xmm1)

  1262. 	mulps	%xmm4, %xmm1

  1263. 	addps	%xmm1, %xmm9

  1264. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  1265. 	mulps	%xmm4, %xmm2

  1266. 	addps	%xmm2, %xmm10

  1267. 	MOVUPS_A2 (-32 * SIZE, A2, LDA, 1, %xmm3)

  1268. 	mulps	%xmm4, %xmm3

  1269. 	addps	%xmm3, %xmm11

  1270. 

  1271. 	addq	$4 * SIZE, A1

  1272. 	addq	$4 * SIZE, A2

  1273. 	addq	$4 * SIZE, X1

  1274. 	ALIGN_4

  1275. 

  1276. .L27:

  1277. 	testq	$2, MM

  1278. 	jle	.L28

  1279. 

  1280. #ifdef movsd

  1281. 	xorps	%xmm0, %xmm0

  1282. #endif

  1283. 	movsd	-32 * SIZE(A1), %xmm0

  1284. #ifdef movsd

  1285. 	xorps	%xmm4, %xmm4

  1286. #endif

  1287. 	movsd	-32 * SIZE(X1), %xmm4

  1288. 	mulps	%xmm4, %xmm0

  1289. 	addps	%xmm0, %xmm8

  1290. #ifdef movsd

  1291. 	xorps	%xmm1, %xmm1

  1292. #endif

  1293. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  1294. 	mulps	%xmm4, %xmm1

  1295. 	addps	%xmm1, %xmm9

  1296. #ifdef movsd

  1297. 	xorps	%xmm2, %xmm2

  1298. #endif

  1299. 	movsd	-32 * SIZE(A2), %xmm2

  1300. 	mulps	%xmm4, %xmm2

  1301. 	addps	%xmm2, %xmm10

  1302. #ifdef movsd

  1303. 	xorps	%xmm3, %xmm3

  1304. #endif

  1305. 	movsd	-32 * SIZE(A2, LDA), %xmm3

  1306. 	mulps	%xmm4, %xmm3

  1307. 	addps	%xmm3, %xmm11

  1308. 	shufps	$0xe, %xmm4, %xmm4

  1309. 

  1310. 	addq	$2 * SIZE, A1

  1311. 	addq	$2 * SIZE, A2

  1312. 	addq	$2 * SIZE, X1

  1313. 	ALIGN_4

  1314. 

  1315. .L28:

  1316. 	testq	$1, MM

  1317. 	jle	.L29

  1318. 

  1319. 	movss	-32 * SIZE(A1), %xmm0

  1320. 	movss	-32 * SIZE(X1), %xmm4

  1321. 	mulss	%xmm4, %xmm0

  1322. 	addss	%xmm0, %xmm8

  1323. 	movss	-32 * SIZE(A1, LDA), %xmm1

  1324. 	mulss	%xmm4, %xmm1

  1325. 	addss	%xmm1, %xmm9

  1326. 	movss	-32 * SIZE(A2), %xmm2

  1327. 	mulss	%xmm4, %xmm2

  1328. 	addss	%xmm2, %xmm10

  1329. 	movss	-32 * SIZE(A2, LDA), %xmm3

  1330. 	mulss	%xmm4, %xmm3

  1331. 	addss	%xmm3, %xmm11

  1332. 	ALIGN_4

  1333. 

  1334. .L29:

  1335. #ifdef HAVE_SSE3

  1336. 	haddps	%xmm9, %xmm8

  1337. 	haddps	%xmm11, %xmm10

  1338. 	haddps	%xmm10, %xmm8

  1339. 

  1340. 	pshufd	$0x1, %xmm8, %xmm9

  1341. 	pshufd	$0x2, %xmm8, %xmm10

  1342. 	pshufd	$0x3, %xmm8, %xmm11

  1343. #else

  1344. 	movaps	%xmm8, %xmm0

  1345. 	unpcklps %xmm9, %xmm8

  1346. 	unpckhps %xmm9, %xmm0

  1347. 

  1348. 	movaps	%xmm10, %xmm1

  1349. 	unpcklps %xmm11, %xmm10

  1350. 	unpckhps %xmm11, %xmm1

  1351. 

  1352. 	movaps	%xmm8, %xmm9

  1353. 	unpcklps %xmm10, %xmm8

  1354. 	unpckhps %xmm10, %xmm9

  1355. 

  1356. 	movaps	%xmm0, %xmm10

  1357. 	unpcklps %xmm1, %xmm0

  1358. 	unpckhps %xmm1, %xmm10

  1359. 

  1360. 	addps	%xmm9, %xmm8

  1361. 	addps	%xmm0, %xmm10

  1362. 	addps	%xmm10, %xmm8

  1363. 

  1364. 	pshufd	$0x2, %xmm8, %xmm9

  1365. 	pshufd	$0x1, %xmm8, %xmm10

  1366. 	pshufd	$0x3, %xmm8, %xmm11

  1367. #endif

  1368. 

  1369. 	mulss	ALPHA, %xmm8

  1370. 	mulss	ALPHA, %xmm9

  1371. 	mulss	ALPHA, %xmm10

  1372. 	mulss	ALPHA, %xmm11

  1373. 

  1374. 	addss	(Y), %xmm8

  1375. 	addq	INCY, Y

  1376. 	addss	(Y), %xmm9

  1377. 	addq	INCY, Y

  1378. 	addss	(Y), %xmm10

  1379. 	addq	INCY, Y

  1380. 	addss	(Y), %xmm11

  1381. 	addq	INCY, Y

  1382. 

  1383. 	movss	%xmm8, (Y1)

  1384. 	addq	INCY, Y1

  1385. 	movss	%xmm9, (Y1)

  1386. 	addq	INCY, Y1

  1387. 	movss	%xmm10, (Y1)

  1388. 	addq	INCY, Y1

  1389. 	movss	%xmm11, (Y1)

  1390. 	addq	INCY, Y1

  1391. 

  1392. #if GEMV_UNROLL == 4

  1393. 	cmpq	$4, N

  1394. 	jge	.L21

  1395. #endif

  1396. 	ALIGN_4

  1397. 

  1398. .L30:

  1399. 	cmpq	$3, N

  1400. 	jne	.L40

  1401. 

  1402. 	leaq	32 * SIZE(BUFFER), X1

  1403. 

  1404. 	movq	A, A1

  1405. 	leaq	(A1, LDA, 2), A2

  1406. 	leaq	(A1, LDA, 4), A

  1407. 

  1408. 	xorps	%xmm8, %xmm8

  1409. 	xorps	%xmm9, %xmm9

  1410. 	xorps	%xmm10, %xmm10

  1411. 

  1412. #ifdef ALIGNED_ACCESS

  1413. 	cmpq	$3, M

  1414. 	jle	.L37

  1415. 

  1416. 	testq	$SIZE, A1

  1417. 	je	.L3X

  1418. 

  1419. 	movss	-32 * SIZE(A1), %xmm0

  1420. 	movss	-32 * SIZE(X1), %xmm4

  1421. 	mulss	%xmm4, %xmm0

  1422. 	addss	%xmm0, %xmm8

  1423. 	movss	-32 * SIZE(A1, LDA), %xmm1

  1424. 	mulss	%xmm4, %xmm1

  1425. 	addss	%xmm1, %xmm9

  1426. 	movss	-32 * SIZE(A2), %xmm2

  1427. 	mulss	%xmm4, %xmm2

  1428. 	addss	%xmm2, %xmm10

  1429. 	movss	-32 * SIZE(A2, LDA), %xmm3

  1430. 	mulss	%xmm4, %xmm3

  1431. 	addss	%xmm3, %xmm11

  1432. 

  1433. 	addq	 $1 * SIZE, A1

  1434. 	addq	 $1 * SIZE, A2

  1435. 	addq	 $1 * SIZE, X1

  1436. 	ALIGN_3

  1437. 

  1438. .L3X:

  1439. 	testq	$2 * SIZE, A1

  1440. 	je	.L3XX

  1441. 

  1442. #ifdef movsd

  1443. 	xorps	%xmm0, %xmm0

  1444. 	xorps	%xmm4, %xmm4

  1445. #endif

  1446. 	movsd	-32 * SIZE(A1), %xmm0

  1447. 	movsd	-32 * SIZE(X1), %xmm4

  1448. 	mulps	%xmm4, %xmm0

  1449. 	addps	%xmm0, %xmm8

  1450. #ifdef movsd

  1451. 	xorps	%xmm1, %xmm1

  1452. #endif

  1453. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  1454. 	mulps	%xmm4, %xmm1

  1455. 	addps	%xmm1, %xmm9

  1456. #ifdef movsd

  1457. 	xorps	%xmm2, %xmm2

  1458. #endif

  1459. 	movsd	-32 * SIZE(A2), %xmm2

  1460. 	mulps	%xmm4, %xmm2

  1461. 	addps	%xmm2, %xmm10

  1462. #ifdef movsd

  1463. 	xorps	%xmm3, %xmm3

  1464. #endif

  1465. 	movsd	-32 * SIZE(A2, LDA), %xmm3

  1466. 	mulps	%xmm4, %xmm3

  1467. 	addps	%xmm3, %xmm11

  1468. 

  1469. 	addq	 $2 * SIZE, A1

  1470. 	addq	 $2 * SIZE, A2

  1471. 	addq	 $2 * SIZE, X1

  1472. 	ALIGN_3

  1473. 

  1474. .L3XX:

  1475. #endif

  1476. 

  1477. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  1478. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  1479. 

  1480. #if (GEMV_UNROLL == 4) && defined(PREFETCHW)

  1481. 	PREFETCHW	4 * SIZE(Y1)

  1482. #endif

  1483. 

  1484. 	movq	MM,  I

  1485. 	sarq	$4,  I

  1486. 	jle	.L35

  1487. 

  1488. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  1489. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 1, %xmm1)

  1490. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  1491. 

  1492. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  1493. 	MOVUPS_A2 (-28 * SIZE, A1, LDA, 1, %xmm13)

  1494. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm14)

  1495. 

  1496. 	decq	I

  1497. 	jle	.L33

  1498. 	ALIGN_4

  1499. 

  1500. .L32:

  1501. #ifdef PREFETCH

  1502. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1)

  1503. #endif

  1504. 

  1505. 	mulps	%xmm4, %xmm0

  1506. 	addps	%xmm0, %xmm8

  1507. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  1508. 	mulps	%xmm4, %xmm1

  1509. 	addps	%xmm1, %xmm9

  1510. 	MOVUPS_A2 (-24 * SIZE, A1, LDA, 1, %xmm1)

  1511. 	mulps	%xmm4, %xmm2

  1512. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  1513. 	addps	%xmm2, %xmm10

  1514. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm2)

  1515. 

  1516. #ifdef PREFETCH

  1517. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1, LDA)

  1518. #endif

  1519. 

  1520. 	mulps	%xmm5, %xmm12

  1521. 	addps	%xmm12, %xmm8

  1522. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  1523. 	mulps	%xmm5, %xmm13

  1524. 	addps	%xmm13, %xmm9

  1525. 	MOVUPS_A2 (-20 * SIZE, A1, LDA, 1, %xmm13)

  1526. 	mulps	%xmm5, %xmm14

  1527. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  1528. 	addps	%xmm14, %xmm10

  1529. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm14)

  1530. 

  1531. #ifdef PREFETCH

  1532. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A2)

  1533. #endif

  1534. 

  1535. 	mulps	%xmm4, %xmm0

  1536. 	addps	%xmm0, %xmm8

  1537. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  1538. 	mulps	%xmm4, %xmm1

  1539. 	addps	%xmm1, %xmm9

  1540. 	MOVUPS_A2 (-16 * SIZE, A1, LDA, 1, %xmm1)

  1541. 	mulps	%xmm4, %xmm2

  1542. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  1543. 	addps	%xmm2, %xmm10

  1544. 	MOVUPS_A1 (-16 * SIZE, A2, %xmm2)

  1545. 

  1546. #ifdef PREFETCHW

  1547. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(X1)

  1548. #endif

  1549. 

  1550. 	mulps	%xmm5, %xmm12

  1551. 	addps	%xmm12, %xmm8

  1552. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm12)

  1553. 	mulps	%xmm5, %xmm13

  1554. 	addps	%xmm13, %xmm9

  1555. 	MOVUPS_A2 (-12 * SIZE, A1, LDA, 1, %xmm13)

  1556. 	mulps	%xmm5, %xmm14

  1557. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  1558. 	addps	%xmm14, %xmm10

  1559. 	MOVUPS_A1 (-12 * SIZE, A2, %xmm14)

  1560. 

  1561. 	addq	$16 * SIZE, A1

  1562. 	addq	$16 * SIZE, A2

  1563. 	addq	$16 * SIZE, X1

  1564. 

  1565. 	decq	I

  1566. 	jg	.L32

  1567. 	ALIGN_4

  1568. 

  1569. .L33:

  1570. 	mulps	%xmm4, %xmm0

  1571. 	addps	%xmm0, %xmm8

  1572. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  1573. 	mulps	%xmm4, %xmm1

  1574. 	addps	%xmm1, %xmm9

  1575. 	MOVUPS_A2 (-24 * SIZE, A1, LDA, 1, %xmm1)

  1576. 	mulps	%xmm4, %xmm2

  1577. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  1578. 	addps	%xmm2, %xmm10

  1579. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm2)

  1580. 

  1581. 	mulps	%xmm5, %xmm12

  1582. 	addps	%xmm12, %xmm8

  1583. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  1584. 	mulps	%xmm5, %xmm13

  1585. 	addps	%xmm13, %xmm9

  1586. 	MOVUPS_A2 (-20 * SIZE, A1, LDA, 1, %xmm13)

  1587. 	mulps	%xmm5, %xmm14

  1588. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  1589. 	addps	%xmm14, %xmm10

  1590. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm14)

  1591. 

  1592. 	mulps	%xmm4, %xmm0

  1593. 	addps	%xmm0, %xmm8

  1594. 	mulps	%xmm4, %xmm1

  1595. 	addps	%xmm1, %xmm9

  1596. 	mulps	%xmm4, %xmm2

  1597. 	addps	%xmm2, %xmm10

  1598. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  1599. 

  1600. 	mulps	%xmm5, %xmm12

  1601. 	addps	%xmm12, %xmm8

  1602. 	mulps	%xmm5, %xmm13

  1603. 	addps	%xmm13, %xmm9

  1604. 	mulps	%xmm5, %xmm14

  1605. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  1606. 	addps	%xmm14, %xmm10

  1607. 

  1608. 	addq	$16 * SIZE, A1

  1609. 	addq	$16 * SIZE, A2

  1610. 	addq	$16 * SIZE, X1

  1611. 	ALIGN_4

  1612. 

  1613. .L35:

  1614. 	testq	$8, MM

  1615. 	jle	.L36

  1616. 

  1617. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  1618. 	mulps	%xmm4, %xmm0

  1619. 	addps	%xmm0, %xmm8

  1620. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 1, %xmm1)

  1621. 	mulps	%xmm4, %xmm1

  1622. 	addps	%xmm1, %xmm9

  1623. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  1624. 	mulps	%xmm4, %xmm2

  1625. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  1626. 	addps	%xmm2, %xmm10

  1627. 

  1628. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  1629. 	mulps	%xmm5, %xmm12

  1630. 	addps	%xmm12, %xmm8

  1631. 	MOVUPS_A2 (-28 * SIZE, A1, LDA, 1, %xmm13)

  1632. 	mulps	%xmm5, %xmm13

  1633. 	addps	%xmm13, %xmm9

  1634. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm14)

  1635. 	mulps	%xmm5, %xmm14

  1636. 	addps	%xmm14, %xmm10

  1637. 

  1638. 	addq	$8 * SIZE, A1

  1639. 	addq	$8 * SIZE, A2

  1640. 	addq	$8 * SIZE, X1

  1641. 	ALIGN_4

  1642. 

  1643. .L36:

  1644. 	testq	$4, MM

  1645. 	jle	.L37

  1646. 

  1647. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  1648. 	mulps	%xmm4, %xmm0

  1649. 	addps	%xmm0, %xmm8

  1650. 	MOVUPS_A2 (-32 * SIZE, A1, LDA, 1, %xmm1)

  1651. 	mulps	%xmm4, %xmm1

  1652. 	addps	%xmm1, %xmm9

  1653. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  1654. 	mulps	%xmm4, %xmm2

  1655. 	addps	%xmm2, %xmm10

  1656. 

  1657. 	addq	$4 * SIZE, A1

  1658. 	addq	$4 * SIZE, A2

  1659. 	addq	$4 * SIZE, X1

  1660. 	ALIGN_4

  1661. 

  1662. .L37:

  1663. 	testq	$2, MM

  1664. 	jle	.L38

  1665. 

  1666. #ifdef movsd

  1667. 	xorps	%xmm0, %xmm0

  1668. #endif

  1669. 	movsd	-32 * SIZE(A1), %xmm0

  1670. #ifdef movsd

  1671. 	xorps	%xmm4, %xmm4

  1672. #endif

  1673. 	movsd	-32 * SIZE(X1), %xmm4

  1674. 	mulps	%xmm4, %xmm0

  1675. 	addps	%xmm0, %xmm8

  1676. #ifdef movsd

  1677. 	xorps	%xmm1, %xmm1

  1678. #endif

  1679. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  1680. 	mulps	%xmm4, %xmm1

  1681. 	addps	%xmm1, %xmm9

  1682. #ifdef movsd

  1683. 	xorps	%xmm2, %xmm2

  1684. #endif

  1685. 	movsd	-32 * SIZE(A2), %xmm2

  1686. 	mulps	%xmm4, %xmm2

  1687. 	addps	%xmm2, %xmm10

  1688. #ifdef movsd

  1689. 	xorps	%xmm3, %xmm3

  1690. #endif

  1691. 

  1692. 	addq	$2 * SIZE, A1

  1693. 	addq	$2 * SIZE, A2

  1694. 	addq	$2 * SIZE, X1

  1695. 	ALIGN_4

  1696. 

  1697. .L38:

  1698. 	testq	$1, MM

  1699. 	jle	.L39

  1700. 

  1701. 	movss	-32 * SIZE(A1), %xmm0

  1702. 	movss	-32 * SIZE(X1), %xmm4

  1703. 	mulss	%xmm4, %xmm0

  1704. 	addss	%xmm0, %xmm8

  1705. 	movss	-32 * SIZE(A1, LDA), %xmm1

  1706. 	mulss	%xmm4, %xmm1

  1707. 	addss	%xmm1, %xmm9

  1708. 	movss	-32 * SIZE(A2), %xmm2

  1709. 	mulss	%xmm4, %xmm2

  1710. 	addss	%xmm2, %xmm10

  1711. 	ALIGN_4

  1712. 

  1713. .L39:

  1714. #ifdef HAVE_SSE3

  1715. 	haddps	%xmm9, %xmm8

  1716. 	haddps	%xmm11, %xmm10

  1717. 	haddps	%xmm10, %xmm8

  1718. 

  1719. 	pshufd	$0x1, %xmm8, %xmm9

  1720. 	pshufd	$0x2, %xmm8, %xmm10

  1721. #else

  1722. 	movaps	%xmm8, %xmm0

  1723. 	unpcklps %xmm9, %xmm8

  1724. 	unpckhps %xmm9, %xmm0

  1725. 

  1726. 	movaps	%xmm10, %xmm1

  1727. 	unpcklps %xmm11, %xmm10

  1728. 	unpckhps %xmm11, %xmm1

  1729. 

  1730. 	movaps	%xmm8, %xmm9

  1731. 	unpcklps %xmm10, %xmm8

  1732. 	unpckhps %xmm10, %xmm9

  1733. 

  1734. 	movaps	%xmm0, %xmm10

  1735. 	unpcklps %xmm1, %xmm0

  1736. 	unpckhps %xmm1, %xmm10

  1737. 

  1738. 	addps	%xmm9, %xmm8

  1739. 	addps	%xmm0, %xmm10

  1740. 	addps	%xmm10, %xmm8

  1741. 

  1742. 	pshufd	$0x2, %xmm8, %xmm9

  1743. 	pshufd	$0x1, %xmm8, %xmm10

  1744. #endif

  1745. 

  1746. 	mulss	ALPHA, %xmm8

  1747. 	mulss	ALPHA, %xmm9

  1748. 	mulss	ALPHA, %xmm10

  1749. 

  1750. 	addss	(Y), %xmm8

  1751. 	addq	INCY, Y

  1752. 	addss	(Y), %xmm9

  1753. 	addq	INCY, Y

  1754. 	addss	(Y), %xmm10

  1755. 	addq	INCY, Y

  1756. 

  1757. 	movss	%xmm8, (Y1)

  1758. 	addq	INCY, Y1

  1759. 	movss	%xmm9, (Y1)

  1760. 	addq	INCY, Y1

  1761. 	movss	%xmm10, (Y1)

  1762. 	addq	INCY, Y1

  1763. 	jmp	.L999

  1764. 	ALIGN_4

  1765. 

  1766. .L40:

  1767. 	cmpq	$2, N

  1768. 	jne	.L50

  1769. 

  1770. 	leaq	32 * SIZE(BUFFER), X1

  1771. 

  1772. 	movq	A, A1

  1773. 	leaq	(A1, LDA), A2

  1774. 	leaq	(A1, LDA, 2), A

  1775. 

  1776. 	xorps	%xmm8, %xmm8

  1777. 	xorps	%xmm9, %xmm9

  1778. 

  1779. #ifdef ALIGNED_ACCESS

  1780. 	cmpq	$3, M

  1781. 	jle	.L47

  1782. 

  1783. 	testq	$SIZE, A1

  1784. 	je	.L4X

  1785. 

  1786. 	movss	-32 * SIZE(A1), %xmm0

  1787. 	movss	-32 * SIZE(X1), %xmm4

  1788. 	mulss	%xmm4, %xmm0

  1789. 	addss	%xmm0, %xmm8

  1790. 	movss	-32 * SIZE(A2), %xmm1

  1791. 	mulss	%xmm4, %xmm1

  1792. 	addss	%xmm1, %xmm9

  1793. 

  1794. 	addq	 $1 * SIZE, A1

  1795. 	addq	 $1 * SIZE, A2

  1796. 	addq	 $1 * SIZE, X1

  1797. 	ALIGN_3

  1798. 

  1799. .L4X:

  1800. 	testq	$2 * SIZE, A1

  1801. 	je	.L4XX

  1802. 

  1803. #ifdef movsd

  1804. 	xorps	%xmm0, %xmm0

  1805. 	xorps	%xmm4, %xmm4

  1806. #endif

  1807. 	movsd	-32 * SIZE(A1), %xmm0

  1808. 	movsd	-32 * SIZE(X1), %xmm4

  1809. 	mulps	%xmm4, %xmm0

  1810. 	addps	%xmm0, %xmm8

  1811. #ifdef movsd

  1812. 	xorps	%xmm1, %xmm1

  1813. #endif

  1814. 	movsd	-32 * SIZE(A2), %xmm1

  1815. 	mulps	%xmm4, %xmm1

  1816. 	addps	%xmm1, %xmm9

  1817. 

  1818. 	addq	 $2 * SIZE, A1

  1819. 	addq	 $2 * SIZE, A2

  1820. 	addq	 $2 * SIZE, X1

  1821. 	ALIGN_3

  1822. 

  1823. .L4XX:

  1824. #endif

  1825. 

  1826. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  1827. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  1828. 

  1829. 	movq	MM,  I

  1830. 	sarq	$4,  I

  1831. 	jle	.L45

  1832. 

  1833. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  1834. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm1)

  1835. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  1836. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm13)

  1837. 

  1838. 	decq	I

  1839. 	jle	.L43

  1840. 	ALIGN_4

  1841. 

  1842. .L42:

  1843. #ifdef PREFETCH

  1844. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  1845. #endif

  1846. 

  1847. 	mulps	%xmm4, %xmm0

  1848. 	addps	%xmm0, %xmm8

  1849. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  1850. 	mulps	%xmm4, %xmm1

  1851. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  1852. 	addps	%xmm1, %xmm9

  1853. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm1)

  1854. 

  1855. 	mulps	%xmm5, %xmm12

  1856. 	addps	%xmm12, %xmm8

  1857. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  1858. 	mulps	%xmm5, %xmm13

  1859. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  1860. 	addps	%xmm13, %xmm9

  1861. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm13)

  1862. 

  1863. #ifdef PREFETCH

  1864. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A2)

  1865. #endif

  1866. 

  1867. 	mulps	%xmm4, %xmm0

  1868. 	addps	%xmm0, %xmm8

  1869. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  1870. 	mulps	%xmm4, %xmm1

  1871. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  1872. 	addps	%xmm1, %xmm9

  1873. 	MOVUPS_A1 (-16 * SIZE, A2, %xmm1)

  1874. 

  1875. #ifdef PREFETCHW

  1876. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(X1)

  1877. #endif

  1878. 

  1879. 	mulps	%xmm5, %xmm12

  1880. 	addps	%xmm12, %xmm8

  1881. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm12)

  1882. 	mulps	%xmm5, %xmm13

  1883. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  1884. 	addps	%xmm13, %xmm9

  1885. 	MOVUPS_A1 (-12 * SIZE, A2, %xmm13)

  1886. 

  1887. 	addq	$16 * SIZE, A1

  1888. 	addq	$16 * SIZE, A2

  1889. 	addq	$16 * SIZE, X1

  1890. 

  1891. 	decq	I

  1892. 	jg	.L42

  1893. 	ALIGN_4

  1894. 

  1895. .L43:

  1896. 	mulps	%xmm4, %xmm0

  1897. 	addps	%xmm0, %xmm8

  1898. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  1899. 	mulps	%xmm4, %xmm1

  1900. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  1901. 	addps	%xmm1, %xmm9

  1902. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm1)

  1903. 

  1904. 	mulps	%xmm5, %xmm12

  1905. 	addps	%xmm12, %xmm8

  1906. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  1907. 	mulps	%xmm5, %xmm13

  1908. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  1909. 	addps	%xmm13, %xmm9

  1910. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm13)

  1911. 

  1912. 	mulps	%xmm4, %xmm0

  1913. 	addps	%xmm0, %xmm8

  1914. 	mulps	%xmm4, %xmm1

  1915. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  1916. 	addps	%xmm1, %xmm9

  1917. 

  1918. 	mulps	%xmm5, %xmm12

  1919. 	addps	%xmm12, %xmm8

  1920. 	mulps	%xmm5, %xmm13

  1921. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  1922. 	addps	%xmm13, %xmm9

  1923. 

  1924. 	addq	$16 * SIZE, A1

  1925. 	addq	$16 * SIZE, A2

  1926. 	addq	$16 * SIZE, X1

  1927. 	ALIGN_4

  1928. 

  1929. .L45:

  1930. 	testq	$8, MM

  1931. 	jle	.L46

  1932. 

  1933. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  1934. 	mulps	%xmm4, %xmm0

  1935. 	addps	%xmm0, %xmm8

  1936. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm1)

  1937. 	mulps	%xmm4, %xmm1

  1938. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  1939. 	addps	%xmm1, %xmm9

  1940. 

  1941. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  1942. 	mulps	%xmm5, %xmm12

  1943. 	addps	%xmm12, %xmm8

  1944. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm13)

  1945. 	mulps	%xmm5, %xmm13

  1946. 	addps	%xmm13, %xmm9

  1947. 

  1948. 	addq	$8 * SIZE, A1

  1949. 	addq	$8 * SIZE, A2

  1950. 	addq	$8 * SIZE, X1

  1951. 	ALIGN_4

  1952. 

  1953. .L46:

  1954. 	testq	$4, MM

  1955. 	jle	.L47

  1956. 

  1957. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  1958. 	mulps	%xmm4, %xmm0

  1959. 	addps	%xmm0, %xmm8

  1960. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm1)

  1961. 	mulps	%xmm4, %xmm1

  1962. 	addps	%xmm1, %xmm9

  1963. 

  1964. 	addq	$4 * SIZE, A1

  1965. 	addq	$4 * SIZE, A2

  1966. 	addq	$4 * SIZE, X1

  1967. 	ALIGN_4

  1968. 

  1969. .L47:

  1970. 	testq	$2, MM

  1971. 	jle	.L48

  1972. 

  1973. #ifdef movsd

  1974. 	xorps	%xmm0, %xmm0

  1975. #endif

  1976. 	movsd	-32 * SIZE(A1), %xmm0

  1977. #ifdef movsd

  1978. 	xorps	%xmm4, %xmm4

  1979. #endif

  1980. 	movsd	-32 * SIZE(X1), %xmm4

  1981. 	mulps	%xmm4, %xmm0

  1982. 	addps	%xmm0, %xmm8

  1983. #ifdef movsd

  1984. 	xorps	%xmm1, %xmm1

  1985. #endif

  1986. 	movsd	-32 * SIZE(A2), %xmm1

  1987. 	mulps	%xmm4, %xmm1

  1988. 	addps	%xmm1, %xmm9

  1989. 	shufps	$0xe, %xmm4, %xmm4

  1990. 

  1991. 	addq	$2 * SIZE, A1

  1992. 	addq	$2 * SIZE, A2

  1993. 	addq	$2 * SIZE, X1

  1994. 	ALIGN_4

  1995. 

  1996. .L48:

  1997. 	testq	$1, MM

  1998. 	jle	.L49

  1999. 

  2000. 	movss	-32 * SIZE(A1), %xmm0

  2001. 	movss	-32 * SIZE(X1), %xmm4

  2002. 	mulss	%xmm4, %xmm0

  2003. 	addss	%xmm0, %xmm8

  2004. 	movss	-32 * SIZE(A2), %xmm1

  2005. 	mulss	%xmm4, %xmm1

  2006. 	addss	%xmm1, %xmm9

  2007. 	ALIGN_4

  2008. 

  2009. .L49:

  2010. #ifdef HAVE_SSE3

  2011. 	haddps	%xmm9, %xmm8

  2012. 	haddps	%xmm8, %xmm8

  2013. #else

  2014. 	movaps	%xmm8, %xmm10

  2015. 	unpcklps %xmm9, %xmm8

  2016. 	unpckhps %xmm9, %xmm10

  2017. 

  2018. 	addps	%xmm10, %xmm8

  2019. 	movhlps %xmm8, %xmm9

  2020. 	addps	%xmm9, %xmm8

  2021. #endif

  2022. 

  2023. 	pshufd	$0x1, %xmm8, %xmm9

  2024. 

  2025. 	mulss	ALPHA, %xmm8

  2026. 	mulss	ALPHA, %xmm9

  2027. 

  2028. 	addss	(Y), %xmm8

  2029. 	addq	INCY, Y

  2030. 	addss	(Y), %xmm9

  2031. 	addq	INCY, Y

  2032. 

  2033. 	movss	%xmm8, (Y1)

  2034. 	addq	INCY, Y1

  2035. 	movss	%xmm9, (Y1)

  2036. 	addq	INCY, Y1

  2037. 	jmp	.L999

  2038. 	ALIGN_4

  2039. 

  2040. .L50:

  2041. 	cmpq	$1, N

  2042. 	jne	.L999

  2043. 

  2044. 	leaq	32 * SIZE(BUFFER), X1

  2045. 

  2046. 	movq	A, A1

  2047. 

  2048. 	xorps	%xmm8, %xmm8

  2049. 	xorps	%xmm9, %xmm9

  2050. 

  2051. #ifdef ALIGNED_ACCESS

  2052. 	cmpq	$3, M

  2053. 	jle	.L57

  2054. 

  2055. 	testq	$SIZE, A1

  2056. 	je	.L5X

  2057. 

  2058. 	movss	-32 * SIZE(A1), %xmm0

  2059. 	movss	-32 * SIZE(X1), %xmm4

  2060. 	mulss	%xmm4, %xmm0

  2061. 	addss	%xmm0, %xmm8

  2062. 

  2063. 	addq	 $1 * SIZE, A1

  2064. 	addq	 $1 * SIZE, X1

  2065. 	ALIGN_3

  2066. 

  2067. .L5X:

  2068. 	testq	$2 * SIZE, A1

  2069. 	je	.L5XX

  2070. 

  2071. 

  2072. #ifdef movsd

  2073. 	xorps	%xmm0, %xmm0

  2074. 	xorps	%xmm4, %xmm4

  2075. #endif

  2076. 	movsd	-32 * SIZE(A1), %xmm0

  2077. 	movsd	-32 * SIZE(X1), %xmm4

  2078. 	mulps	%xmm4, %xmm0

  2079. 	addps	%xmm0, %xmm8

  2080. 	shufps	$0xe, %xmm4, %xmm4

  2081. 

  2082. 	addq	 $2 * SIZE, A1

  2083. 	addq	 $2 * SIZE, X1

  2084. 	ALIGN_3

  2085. 

  2086. .L5XX:

  2087. #endif

  2088. 

  2089. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  2090. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  2091. 

  2092. 	movq	MM,  I

  2093. 	sarq	$4,  I

  2094. 	jle	.L55

  2095. 

  2096. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  2097. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  2098. 

  2099. 	decq	I

  2100. 	jle	.L53

  2101. 	ALIGN_4

  2102. 

  2103. .L52:

  2104. #ifdef PREFETCH

  2105. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(A1)

  2106. #endif

  2107. 

  2108. 	mulps	%xmm4, %xmm0

  2109. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  2110. 	addps	%xmm0, %xmm8

  2111. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  2112. 

  2113. 	mulps	%xmm5, %xmm12

  2114. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  2115. 	addps	%xmm12, %xmm9

  2116. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  2117. 

  2118. #ifdef PREFETCHW

  2119. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(X1)

  2120. #endif

  2121. 

  2122. 	mulps	%xmm4, %xmm0

  2123. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  2124. 	addps	%xmm0, %xmm8

  2125. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  2126. 

  2127. 	mulps	%xmm5, %xmm12

  2128. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  2129. 	addps	%xmm12, %xmm9

  2130. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm12)

  2131. 

  2132. 	addq	$16 * SIZE, A1

  2133. 	addq	$16 * SIZE, X1

  2134. 

  2135. 	decq	I

  2136. 	jg	.L52

  2137. 	ALIGN_4

  2138. 

  2139. .L53:

  2140. 	mulps	%xmm4, %xmm0

  2141. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  2142. 	addps	%xmm0, %xmm8

  2143. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  2144. 

  2145. 	mulps	%xmm5, %xmm12

  2146. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  2147. 	addps	%xmm12, %xmm9

  2148. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  2149. 

  2150. 	mulps	%xmm4, %xmm0

  2151. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  2152. 	addps	%xmm0, %xmm8

  2153. 

  2154. 	mulps	%xmm5, %xmm12

  2155. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  2156. 	addps	%xmm12, %xmm9

  2157. 

  2158. 	addq	$16 * SIZE, A1

  2159. 	addq	$16 * SIZE, X1

  2160. 	ALIGN_4

  2161. 

  2162. .L55:

  2163. 	testq	$8, MM

  2164. 	jle	.L56

  2165. 

  2166. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  2167. 	mulps	%xmm4, %xmm0

  2168. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  2169. 	addps	%xmm0, %xmm8

  2170. 

  2171. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  2172. 	mulps	%xmm5, %xmm12

  2173. 	addps	%xmm12, %xmm9

  2174. 

  2175. 	addq	$8 * SIZE, A1

  2176. 	addq	$8 * SIZE, X1

  2177. 	ALIGN_4

  2178. 

  2179. .L56:

  2180. 	testq	$4, MM

  2181. 	jle	.L57

  2182. 

  2183. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  2184. 	mulps	%xmm4, %xmm0

  2185. 	addps	%xmm0, %xmm8

  2186. 

  2187. 	addq	$4 * SIZE, A1

  2188. 	addq	$4 * SIZE, X1

  2189. 	ALIGN_4

  2190. 

  2191. .L57:

  2192. 	testq	$2, MM

  2193. 	jle	.L58

  2194. 

  2195. #ifdef movsd

  2196. 	xorps	%xmm0, %xmm0

  2197. #endif

  2198. 	movsd	-32 * SIZE(A1), %xmm0

  2199. #ifdef movsd

  2200. 	xorps	%xmm4, %xmm4

  2201. #endif

  2202. 	movsd	-32 * SIZE(X1), %xmm4

  2203. 	mulps	%xmm4, %xmm0

  2204. 	addps	%xmm0, %xmm8

  2205. 	shufps	$0xe, %xmm4, %xmm4

  2206. 

  2207. 	addq	$2 * SIZE, A1

  2208. 	addq	$2 * SIZE, X1

  2209. 	ALIGN_4

  2210. 

  2211. .L58:

  2212. 	testq	$1, MM

  2213. 	jle	.L59

  2214. 

  2215. 	movss	-32 * SIZE(A1), %xmm0

  2216. 	movss	-32 * SIZE(X1), %xmm4

  2217. 	mulss	%xmm4, %xmm0

  2218. 	addss	%xmm0, %xmm8

  2219. 	ALIGN_4

  2220. 

  2221. .L59:

  2222. 	addps	%xmm9, %xmm8

  2223. 

  2224. #ifdef HAVE_SSE3

  2225. 	haddps	%xmm8, %xmm8

  2226. 	haddps	%xmm8, %xmm8

  2227. #else

  2228. 	pshufd	$1, %xmm8, %xmm9

  2229. 	pshufd	$2, %xmm8, %xmm10

  2230. 	pshufd	$3, %xmm8, %xmm11

  2231. 

  2232. 	addss	%xmm9, %xmm8

  2233. 	addss	%xmm11, %xmm10

  2234. 	addss	%xmm10, %xmm8

  2235. #endif

  2236. 

  2237. 	mulss	ALPHA, %xmm8

  2238. 

  2239. 	addss	(Y), %xmm8

  2240. 	movss	%xmm8, (Y1)

  2241. 

  2242. #ifdef ALIGNED_ACCESS

  2243. 	jmp	.L999

  2244. 	ALIGN_4

  2245. 

  2246. .L100:

  2247. 	testq	$2 * SIZE - 1, LDA

  2248. 	jne	.L200

  2249. 

  2250. 	cmpq	$4, N

  2251. 	jl	.L110

  2252. 	ALIGN_3

  2253. 

  2254. .L101:

  2255. 	subq	$4, N

  2256. 

  2257. 	leaq	32 * SIZE(BUFFER), X1

  2258. 

  2259. 	movq	A, A1

  2260. 	leaq	(A1, LDA, 2), A2

  2261. 	leaq	(A1, LDA, 4), A

  2262. 

  2263. 	xorps	%xmm8, %xmm8

  2264. 	xorps	%xmm9, %xmm9

  2265. 	xorps	%xmm10, %xmm10

  2266. 	xorps	%xmm11, %xmm11

  2267. 

  2268. 	cmpq	$3, M

  2269. 	jle	.L107

  2270. 

  2271. 	testq	$SIZE, A1

  2272. 	je	.L10X

  2273. 

  2274. 	movss	-32 * SIZE(A1), %xmm0

  2275. 	movss	-32 * SIZE(X1), %xmm4

  2276. 	mulss	%xmm4, %xmm0

  2277. 	addss	%xmm0, %xmm8

  2278. 	movss	-32 * SIZE(A1, LDA), %xmm1

  2279. 	mulss	%xmm4, %xmm1

  2280. 	addss	%xmm1, %xmm9

  2281. 	movss	-32 * SIZE(A2), %xmm2

  2282. 	mulss	%xmm4, %xmm2

  2283. 	addss	%xmm2, %xmm10

  2284. 	movss	-32 * SIZE(A2, LDA), %xmm3

  2285. 	mulss	%xmm4, %xmm3

  2286. 	addss	%xmm3, %xmm11

  2287. 

  2288. 	addq	 $1 * SIZE, A1

  2289. 	addq	 $1 * SIZE, A2

  2290. 	addq	 $1 * SIZE, X1

  2291. 	ALIGN_3

  2292. 

  2293. .L10X:

  2294. 	testq	$2 * SIZE, A1

  2295. 	je	.L10XX

  2296. 

  2297. #ifdef movsd

  2298. 	xorps	%xmm0, %xmm0

  2299. 	xorps	%xmm4, %xmm4

  2300. #endif

  2301. 	movsd	-32 * SIZE(A1), %xmm0

  2302. 	movsd	-32 * SIZE(X1), %xmm4

  2303. 	mulps	%xmm4, %xmm0

  2304. 	addps	%xmm0, %xmm8

  2305. #ifdef movsd

  2306. 	xorps	%xmm1, %xmm1

  2307. #endif

  2308. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  2309. 	mulps	%xmm4, %xmm1

  2310. 	addps	%xmm1, %xmm9

  2311. #ifdef movsd

  2312. 	xorps	%xmm2, %xmm2

  2313. #endif

  2314. 	movsd	-32 * SIZE(A2), %xmm2

  2315. 	mulps	%xmm4, %xmm2

  2316. 	addps	%xmm2, %xmm10

  2317. #ifdef movsd

  2318. 	xorps	%xmm3, %xmm3

  2319. #endif

  2320. 	movsd	-32 * SIZE(A2, LDA), %xmm3

  2321. 	mulps	%xmm4, %xmm3

  2322. 	addps	%xmm3, %xmm11

  2323. 

  2324. 	addq	 $2 * SIZE, A1

  2325. 	addq	 $2 * SIZE, A2

  2326. 	addq	 $2 * SIZE, X1

  2327. 	ALIGN_3

  2328. 

  2329. .L10XX:

  2330. 	MOVUPS_A2  (-34 * SIZE, A1, LDA, 1, %xmm12)

  2331. 	MOVUPS_A2  (-34 * SIZE, A2, LDA, 1, %xmm13)

  2332. 

  2333. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  2334. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  2335. 

  2336. #ifdef PREFETCHW

  2337. 	PREFETCHW	4 * SIZE(Y1)

  2338. #endif

  2339. 

  2340. 	movq	MM,  I

  2341. 	sarq	$4,  I

  2342. 	jle	.L105

  2343. 

  2344. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  2345. 	MOVUPS_A2 (-30 * SIZE, A1, LDA, 1, %xmm1)

  2346. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  2347. 	MOVUPS_A2 (-30 * SIZE, A2, LDA, 1, %xmm3)

  2348. 

  2349. 	decq	I

  2350. 	jle	.L103

  2351. 	ALIGN_4

  2352. 

  2353. .L102:

  2354. #ifdef PREFETCH

  2355. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  2356. #endif

  2357. 

  2358. 	mulps	%xmm4, %xmm0

  2359. 	addps	%xmm0, %xmm8

  2360. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  2361. 	shufps	$0x4e, %xmm1, %xmm12

  2362. 	mulps	%xmm4, %xmm12

  2363. 	addps	%xmm12, %xmm9

  2364. 	MOVUPS_A2 (-26 * SIZE, A1, LDA, 1, %xmm12)

  2365. 	mulps	%xmm4, %xmm2

  2366. 	addps	%xmm2, %xmm10

  2367. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm2)

  2368. 	shufps	$0x4e, %xmm3, %xmm13

  2369. 	mulps	%xmm4, %xmm13

  2370. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  2371. 	addps	%xmm13, %xmm11

  2372. 	MOVUPS_A2 (-26 * SIZE, A2, LDA, 1, %xmm13)

  2373. 

  2374. #ifdef PREFETCH

  2375. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1, LDA)

  2376. #endif

  2377. 

  2378. 	mulps	%xmm5, %xmm0

  2379. 	addps	%xmm0, %xmm8

  2380. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  2381. 	shufps	$0x4e, %xmm12, %xmm1

  2382. 	mulps	%xmm5, %xmm1

  2383. 	addps	%xmm1, %xmm9

  2384. 	MOVUPS_A2 (-22 * SIZE, A1, LDA, 1, %xmm1)

  2385. 	mulps	%xmm5, %xmm2

  2386. 	addps	%xmm2, %xmm10

  2387. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm2)

  2388. 	shufps	$0x4e, %xmm13, %xmm3

  2389. 	mulps	%xmm5, %xmm3

  2390. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  2391. 	addps	%xmm3, %xmm11

  2392. 	MOVUPS_A2 (-22 * SIZE, A2, LDA, 1, %xmm3)

  2393. 

  2394. #ifdef PREFETCH

  2395. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  2396. #endif

  2397. 

  2398. 	mulps	%xmm4, %xmm0

  2399. 	addps	%xmm0, %xmm8

  2400. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  2401. 	shufps	$0x4e, %xmm1, %xmm12

  2402. 	mulps	%xmm4, %xmm12

  2403. 	addps	%xmm12, %xmm9

  2404. 	MOVUPS_A2 (-18 * SIZE, A1, LDA, 1, %xmm12)

  2405. 	mulps	%xmm4, %xmm2

  2406. 	addps	%xmm2, %xmm10

  2407. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm2)

  2408. 	shufps	$0x4e, %xmm3, %xmm13

  2409. 	mulps	%xmm4, %xmm13

  2410. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  2411. 	addps	%xmm13, %xmm11

  2412. 	MOVUPS_A2 (-18 * SIZE, A2, LDA, 1, %xmm13)

  2413. 

  2414. #ifdef PREFETCH

  2415. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2, LDA)

  2416. #endif

  2417. 

  2418. 	mulps	%xmm5, %xmm0

  2419. 	addps	%xmm0, %xmm8

  2420. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  2421. 	shufps	$0x4e, %xmm12, %xmm1

  2422. 	mulps	%xmm5, %xmm1

  2423. 	addps	%xmm1, %xmm9

  2424. 	MOVUPS_A2 (-14 * SIZE, A1, LDA, 1, %xmm1)

  2425. 

  2426. #ifdef PREFETCHW

  2427. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(X1)

  2428. #endif

  2429. 

  2430. 	mulps	%xmm5, %xmm2

  2431. 	addps	%xmm2, %xmm10

  2432. 	MOVUPS_A1 (-16 * SIZE, A2, %xmm2)

  2433. 	shufps	$0x4e, %xmm13, %xmm3

  2434. 	mulps	%xmm5, %xmm3

  2435. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  2436. 	addps	%xmm3, %xmm11

  2437. 	MOVUPS_A2 (-14 * SIZE, A2, LDA, 1, %xmm3)

  2438. 

  2439. 	addq	$16 * SIZE, A1

  2440. 	addq	$16 * SIZE, A2

  2441. 	addq	$16 * SIZE, X1

  2442. 

  2443. 	decq	I

  2444. 	jg	.L102

  2445. 	ALIGN_4

  2446. 

  2447. .L103:

  2448. 	mulps	%xmm4, %xmm0

  2449. 	addps	%xmm0, %xmm8

  2450. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  2451. 	shufps	$0x4e, %xmm1, %xmm12

  2452. 	mulps	%xmm4, %xmm12

  2453. 	addps	%xmm12, %xmm9

  2454. 	MOVUPS_A2 (-26 * SIZE, A1, LDA, 1, %xmm12)

  2455. 	mulps	%xmm4, %xmm2

  2456. 	addps	%xmm2, %xmm10

  2457. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm2)

  2458. 	shufps	$0x4e, %xmm3, %xmm13

  2459. 	mulps	%xmm4, %xmm13

  2460. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  2461. 	addps	%xmm13, %xmm11

  2462. 	MOVUPS_A2 (-26 * SIZE, A2, LDA, 1, %xmm13)

  2463. 

  2464. 	mulps	%xmm5, %xmm0

  2465. 	addps	%xmm0, %xmm8

  2466. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  2467. 	shufps	$0x4e, %xmm12, %xmm1

  2468. 	mulps	%xmm5, %xmm1

  2469. 	addps	%xmm1, %xmm9

  2470. 	MOVUPS_A2 (-22 * SIZE, A1, LDA, 1, %xmm1)

  2471. 	mulps	%xmm5, %xmm2

  2472. 	addps	%xmm2, %xmm10

  2473. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm2)

  2474. 	shufps	$0x4e, %xmm13, %xmm3

  2475. 	mulps	%xmm5, %xmm3

  2476. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  2477. 	addps	%xmm3, %xmm11

  2478. 	MOVUPS_A2 (-22 * SIZE, A2, LDA, 1, %xmm3)

  2479. 

  2480. 	mulps	%xmm4, %xmm0

  2481. 	addps	%xmm0, %xmm8

  2482. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  2483. 	shufps	$0x4e, %xmm1, %xmm12

  2484. 	mulps	%xmm4, %xmm12

  2485. 	addps	%xmm12, %xmm9

  2486. 	MOVUPS_A2 (-18 * SIZE, A1, LDA, 1, %xmm12)

  2487. 	mulps	%xmm4, %xmm2

  2488. 	addps	%xmm2, %xmm10

  2489. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm2)

  2490. 	shufps	$0x4e, %xmm3, %xmm13

  2491. 	mulps	%xmm4, %xmm13

  2492. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  2493. 	addps	%xmm13, %xmm11

  2494. 	MOVUPS_A2 (-18 * SIZE, A2, LDA, 1, %xmm13)

  2495. 

  2496. 	mulps	%xmm5, %xmm0

  2497. 	addps	%xmm0, %xmm8

  2498. 	shufps	$0x4e, %xmm12, %xmm1

  2499. 	mulps	%xmm5, %xmm1

  2500. 	addps	%xmm1, %xmm9

  2501. 	mulps	%xmm5, %xmm2

  2502. 	addps	%xmm2, %xmm10

  2503. 	shufps	$0x4e, %xmm13, %xmm3

  2504. 	mulps	%xmm5, %xmm3

  2505. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  2506. 	addps	%xmm3, %xmm11

  2507. 

  2508. 	addq	$16 * SIZE, A1

  2509. 	addq	$16 * SIZE, A2

  2510. 	addq	$16 * SIZE, X1

  2511. 	ALIGN_4

  2512. 

  2513. .L105:

  2514. 	testq	$8, MM

  2515. 	jle	.L106

  2516. 

  2517. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  2518. 	MOVUPS_A2 (-30 * SIZE, A1, LDA, 1, %xmm1)

  2519. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  2520. 	MOVUPS_A2 (-30 * SIZE, A2, LDA, 1, %xmm3)

  2521. 

  2522. 	mulps	%xmm4, %xmm0

  2523. 	addps	%xmm0, %xmm8

  2524. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  2525. 	shufps	$0x4e, %xmm1, %xmm12

  2526. 	mulps	%xmm4, %xmm12

  2527. 	addps	%xmm12, %xmm9

  2528. 	MOVUPS_A2 (-26 * SIZE, A1, LDA, 1, %xmm12)

  2529. 	mulps	%xmm4, %xmm2

  2530. 	addps	%xmm2, %xmm10

  2531. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm2)

  2532. 	shufps	$0x4e, %xmm3, %xmm13

  2533. 	mulps	%xmm4, %xmm13

  2534. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  2535. 	addps	%xmm13, %xmm11

  2536. 	MOVUPS_A2 (-26 * SIZE, A2, LDA, 1, %xmm13)

  2537. 

  2538. 	mulps	%xmm5, %xmm0

  2539. 	addps	%xmm0, %xmm8

  2540. 	shufps	$0x4e, %xmm12, %xmm1

  2541. 	mulps	%xmm5, %xmm1

  2542. 	addps	%xmm1, %xmm9

  2543. 	mulps	%xmm5, %xmm2

  2544. 	addps	%xmm2, %xmm10

  2545. 	shufps	$0x4e, %xmm13, %xmm3

  2546. 	mulps	%xmm5, %xmm3

  2547. 	addps	%xmm3, %xmm11

  2548. 

  2549. 	addq	$8 * SIZE, A1

  2550. 	addq	$8 * SIZE, A2

  2551. 	addq	$8 * SIZE, X1

  2552. 	ALIGN_4

  2553. 

  2554. .L106:

  2555. 	testq	$4, MM

  2556. 	jle	.L107

  2557. 

  2558. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  2559. 	mulps	%xmm4, %xmm0

  2560. 	addps	%xmm0, %xmm8

  2561. 	MOVUPS_A2 (-30 * SIZE, A1, LDA, 1, %xmm1)

  2562. 	shufps	$0x4e, %xmm1, %xmm12

  2563. 	mulps	%xmm4, %xmm12

  2564. 	addps	%xmm12, %xmm9

  2565. 

  2566. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  2567. 	mulps	%xmm4, %xmm2

  2568. 	addps	%xmm2, %xmm10

  2569. 	MOVUPS_A2 (-30 * SIZE, A2, LDA, 1, %xmm3)

  2570. 	shufps	$0x4e, %xmm3, %xmm13

  2571. 	mulps	%xmm4, %xmm13

  2572. 	addps	%xmm13, %xmm11

  2573. 

  2574. 	addq	$4 * SIZE, A1

  2575. 	addq	$4 * SIZE, A2

  2576. 	addq	$4 * SIZE, X1

  2577. 	ALIGN_4

  2578. 

  2579. .L107:

  2580. 	testq	$2, MM

  2581. 	jle	.L108

  2582. 

  2583. #ifdef movsd

  2584. 	xorps	%xmm0, %xmm0

  2585. #endif

  2586. 	movsd	-32 * SIZE(A1), %xmm0

  2587. #ifdef movsd

  2588. 	xorps	%xmm4, %xmm4

  2589. #endif

  2590. 	movsd	-32 * SIZE(X1), %xmm4

  2591. 	mulps	%xmm4, %xmm0

  2592. 	addps	%xmm0, %xmm8

  2593. #ifdef movsd

  2594. 	xorps	%xmm1, %xmm1

  2595. #endif

  2596. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  2597. 	mulps	%xmm4, %xmm1

  2598. 	addps	%xmm1, %xmm9

  2599. #ifdef movsd

  2600. 	xorps	%xmm2, %xmm2

  2601. #endif

  2602. 	movsd	-32 * SIZE(A2), %xmm2

  2603. 	mulps	%xmm4, %xmm2

  2604. 	addps	%xmm2, %xmm10

  2605. #ifdef movsd

  2606. 	xorps	%xmm3, %xmm3

  2607. #endif

  2608. 	movsd	-32 * SIZE(A2, LDA), %xmm3

  2609. 	mulps	%xmm4, %xmm3

  2610. 	addps	%xmm3, %xmm11

  2611. 	shufps	$0xe, %xmm4, %xmm4

  2612. 

  2613. 	addq	$2 * SIZE, A1

  2614. 	addq	$2 * SIZE, A2

  2615. 	addq	$2 * SIZE, X1

  2616. 	ALIGN_4

  2617. 

  2618. .L108:

  2619. 	testq	$1, MM

  2620. 	jle	.L109

  2621. 

  2622. 	movss	-32 * SIZE(A1), %xmm0

  2623. 	movss	-32 * SIZE(X1), %xmm4

  2624. 	mulss	%xmm4, %xmm0

  2625. 	addss	%xmm0, %xmm8

  2626. 	movss	-32 * SIZE(A1, LDA), %xmm1

  2627. 	mulss	%xmm4, %xmm1

  2628. 	addss	%xmm1, %xmm9

  2629. 	movss	-32 * SIZE(A2), %xmm2

  2630. 	mulss	%xmm4, %xmm2

  2631. 	addss	%xmm2, %xmm10

  2632. 	movss	-32 * SIZE(A2, LDA), %xmm3

  2633. 	mulss	%xmm4, %xmm3

  2634. 	addss	%xmm3, %xmm11

  2635. 	ALIGN_4

  2636. 

  2637. .L109:

  2638. #ifdef HAVE_SSE3

  2639. 	haddps	%xmm9, %xmm8

  2640. 	haddps	%xmm11, %xmm10

  2641. 	haddps	%xmm10, %xmm8

  2642. 

  2643. 	pshufd	$0x1, %xmm8, %xmm9

  2644. 	pshufd	$0x2, %xmm8, %xmm10

  2645. 	pshufd	$0x3, %xmm8, %xmm11

  2646. #else

  2647. 	movaps	%xmm8, %xmm0

  2648. 	unpcklps %xmm9, %xmm8

  2649. 	unpckhps %xmm9, %xmm0

  2650. 

  2651. 	movaps	%xmm10, %xmm1

  2652. 	unpcklps %xmm11, %xmm10

  2653. 	unpckhps %xmm11, %xmm1

  2654. 

  2655. 	movaps	%xmm8, %xmm9

  2656. 	unpcklps %xmm10, %xmm8

  2657. 	unpckhps %xmm10, %xmm9

  2658. 

  2659. 	movaps	%xmm0, %xmm10

  2660. 	unpcklps %xmm1, %xmm0

  2661. 	unpckhps %xmm1, %xmm10

  2662. 

  2663. 	addps	%xmm9, %xmm8

  2664. 	addps	%xmm0, %xmm10

  2665. 	addps	%xmm10, %xmm8

  2666. 

  2667. 	pshufd	$0x2, %xmm8, %xmm9

  2668. 	pshufd	$0x1, %xmm8, %xmm10

  2669. 	pshufd	$0x3, %xmm8, %xmm11

  2670. #endif

  2671. 

  2672. 	mulss	ALPHA, %xmm8

  2673. 	mulss	ALPHA, %xmm9

  2674. 	mulss	ALPHA, %xmm10

  2675. 	mulss	ALPHA, %xmm11

  2676. 

  2677. 	addss	(Y), %xmm8

  2678. 	addq	INCY, Y

  2679. 	addss	(Y), %xmm9

  2680. 	addq	INCY, Y

  2681. 	addss	(Y), %xmm10

  2682. 	addq	INCY, Y

  2683. 	addss	(Y), %xmm11

  2684. 	addq	INCY, Y

  2685. 

  2686. 	movss	%xmm8, (Y1)

  2687. 	addq	INCY, Y1

  2688. 	movss	%xmm9, (Y1)

  2689. 	addq	INCY, Y1

  2690. 	movss	%xmm10, (Y1)

  2691. 	addq	INCY, Y1

  2692. 	movss	%xmm11, (Y1)

  2693. 	addq	INCY, Y1

  2694. 

  2695. 	cmpq	$4, N

  2696. 	jge	.L101

  2697. 	ALIGN_4

  2698. 

  2699. .L110:

  2700. 	cmpq	$3, N

  2701. 	jne	.L120

  2702. 

  2703. 	leaq	32 * SIZE(BUFFER), X1

  2704. 

  2705. 	movq	A, A1

  2706. 	leaq	(A1, LDA, 2), A2

  2707. 	leaq	(A1, LDA, 4), A

  2708. 

  2709. 	xorps	%xmm8, %xmm8

  2710. 	xorps	%xmm9, %xmm9

  2711. 	xorps	%xmm10, %xmm10

  2712. 

  2713. 	cmpq	$3, M

  2714. 	jle	.L117

  2715. 

  2716. 	testq	$SIZE, A1

  2717. 	je	.L11X

  2718. 

  2719. 	movss	-32 * SIZE(A1), %xmm0

  2720. 	movss	-32 * SIZE(X1), %xmm4

  2721. 	mulss	%xmm4, %xmm0

  2722. 	addss	%xmm0, %xmm8

  2723. 	movss	-32 * SIZE(A1, LDA), %xmm1

  2724. 	mulss	%xmm4, %xmm1

  2725. 	addss	%xmm1, %xmm9

  2726. 	movss	-32 * SIZE(A2), %xmm2

  2727. 	mulss	%xmm4, %xmm2

  2728. 	addss	%xmm2, %xmm10

  2729. 

  2730. 	addq	 $1 * SIZE, A1

  2731. 	addq	 $1 * SIZE, A2

  2732. 	addq	 $1 * SIZE, X1

  2733. 	ALIGN_3

  2734. 

  2735. .L11X:

  2736. 	testq	$2 * SIZE, A1

  2737. 	je	.L11XX

  2738. 

  2739. #ifdef movsd

  2740. 	xorps	%xmm0, %xmm0

  2741. 	xorps	%xmm4, %xmm4

  2742. #endif

  2743. 	movsd	-32 * SIZE(A1), %xmm0

  2744. 	movsd	-32 * SIZE(X1), %xmm4

  2745. 	mulps	%xmm4, %xmm0

  2746. 	addps	%xmm0, %xmm8

  2747. #ifdef movsd

  2748. 	xorps	%xmm1, %xmm1

  2749. #endif

  2750. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  2751. 	mulps	%xmm4, %xmm1

  2752. 	addps	%xmm1, %xmm9

  2753. #ifdef movsd

  2754. 	xorps	%xmm2, %xmm2

  2755. #endif

  2756. 	movsd	-32 * SIZE(A2), %xmm2

  2757. 	mulps	%xmm4, %xmm2

  2758. 	addps	%xmm2, %xmm10

  2759. 

  2760. 	addq	 $2 * SIZE, A1

  2761. 	addq	 $2 * SIZE, A2

  2762. 	addq	 $2 * SIZE, X1

  2763. 	ALIGN_3

  2764. 

  2765. .L11XX:

  2766. 	MOVUPS_A2  (-34 * SIZE, A1, LDA, 1, %xmm12)

  2767. 

  2768. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  2769. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  2770. 

  2771. 	movq	MM,  I

  2772. 	sarq	$4,  I

  2773. 	jle	.L115

  2774. 

  2775. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  2776. 	MOVUPS_A2 (-30 * SIZE, A1, LDA, 1, %xmm1)

  2777. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  2778. 

  2779. 	decq	I

  2780. 	jle	.L113

  2781. 	ALIGN_4

  2782. 

  2783. .L112:

  2784. #ifdef PREFETCH

  2785. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1)

  2786. #endif

  2787. 

  2788. 	mulps	%xmm4, %xmm0

  2789. 	addps	%xmm0, %xmm8

  2790. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  2791. 	shufps	$0x4e, %xmm1, %xmm12

  2792. 	mulps	%xmm4, %xmm12

  2793. 	addps	%xmm12, %xmm9

  2794. 	MOVUPS_A2 (-26 * SIZE, A1, LDA, 1, %xmm12)

  2795. 	mulps	%xmm4, %xmm2

  2796. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  2797. 	addps	%xmm2, %xmm10

  2798. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm2)

  2799. 

  2800. #ifdef PREFETCH

  2801. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1, LDA)

  2802. #endif

  2803. 

  2804. 	mulps	%xmm5, %xmm0

  2805. 	addps	%xmm0, %xmm8

  2806. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  2807. 	shufps	$0x4e, %xmm12, %xmm1

  2808. 	mulps	%xmm5, %xmm1

  2809. 	addps	%xmm1, %xmm9

  2810. 	MOVUPS_A2 (-22 * SIZE, A1, LDA, 1, %xmm1)

  2811. 	mulps	%xmm5, %xmm2

  2812. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  2813. 	addps	%xmm2, %xmm10

  2814. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm2)

  2815. 

  2816. #ifdef PREFETCH

  2817. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A2)

  2818. #endif

  2819. 

  2820. 	mulps	%xmm4, %xmm0

  2821. 	addps	%xmm0, %xmm8

  2822. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  2823. 	shufps	$0x4e, %xmm1, %xmm12

  2824. 	mulps	%xmm4, %xmm12

  2825. 	addps	%xmm12, %xmm9

  2826. 	MOVUPS_A2 (-18 * SIZE, A1, LDA, 1, %xmm12)

  2827. 	mulps	%xmm4, %xmm2

  2828. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  2829. 	addps	%xmm2, %xmm10

  2830. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm2)

  2831. 

  2832. #ifdef PREFETCHW

  2833. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(X1)

  2834. #endif

  2835. 

  2836. 	mulps	%xmm5, %xmm0

  2837. 	addps	%xmm0, %xmm8

  2838. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  2839. 	shufps	$0x4e, %xmm12, %xmm1

  2840. 	mulps	%xmm5, %xmm1

  2841. 	addps	%xmm1, %xmm9

  2842. 	MOVUPS_A2 (-14 * SIZE, A1, LDA, 1, %xmm1)

  2843. 	mulps	%xmm5, %xmm2

  2844. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  2845. 	addps	%xmm2, %xmm10

  2846. 	MOVUPS_A1 (-16 * SIZE, A2, %xmm2)

  2847. 

  2848. 	addq	$16 * SIZE, A1

  2849. 	addq	$16 * SIZE, A2

  2850. 	addq	$16 * SIZE, X1

  2851. 

  2852. 	decq	I

  2853. 	jg	.L112

  2854. 	ALIGN_4

  2855. 

  2856. .L113:

  2857. 	mulps	%xmm4, %xmm0

  2858. 	addps	%xmm0, %xmm8

  2859. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  2860. 	shufps	$0x4e, %xmm1, %xmm12

  2861. 	mulps	%xmm4, %xmm12

  2862. 	addps	%xmm12, %xmm9

  2863. 	MOVUPS_A2 (-26 * SIZE, A1, LDA, 1, %xmm12)

  2864. 	mulps	%xmm4, %xmm2

  2865. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  2866. 	addps	%xmm2, %xmm10

  2867. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm2)

  2868. 

  2869. 	mulps	%xmm5, %xmm0

  2870. 	addps	%xmm0, %xmm8

  2871. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  2872. 	shufps	$0x4e, %xmm12, %xmm1

  2873. 	mulps	%xmm5, %xmm1

  2874. 	addps	%xmm1, %xmm9

  2875. 	MOVUPS_A2 (-22 * SIZE, A1, LDA, 1, %xmm1)

  2876. 	mulps	%xmm5, %xmm2

  2877. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  2878. 	addps	%xmm2, %xmm10

  2879. 	MOVUPS_A1 (-24 * SIZE, A2, %xmm2)

  2880. 

  2881. 	mulps	%xmm4, %xmm0

  2882. 	addps	%xmm0, %xmm8

  2883. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  2884. 	shufps	$0x4e, %xmm1, %xmm12

  2885. 	mulps	%xmm4, %xmm12

  2886. 	addps	%xmm12, %xmm9

  2887. 	MOVUPS_A2 (-18 * SIZE, A1, LDA, 1, %xmm12)

  2888. 	mulps	%xmm4, %xmm2

  2889. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  2890. 	addps	%xmm2, %xmm10

  2891. 	MOVUPS_A1 (-20 * SIZE, A2, %xmm2)

  2892. 

  2893. 	mulps	%xmm5, %xmm0

  2894. 	addps	%xmm0, %xmm8

  2895. 	shufps	$0x4e, %xmm12, %xmm1

  2896. 	mulps	%xmm5, %xmm1

  2897. 	addps	%xmm1, %xmm9

  2898. 	mulps	%xmm5, %xmm2

  2899. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  2900. 	addps	%xmm2, %xmm10

  2901. 

  2902. 	addq	$16 * SIZE, A1

  2903. 	addq	$16 * SIZE, A2

  2904. 	addq	$16 * SIZE, X1

  2905. 	ALIGN_4

  2906. 

  2907. .L115:

  2908. 	testq	$8, MM

  2909. 	jle	.L116

  2910. 

  2911. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  2912. 	MOVUPS_A2 (-30 * SIZE, A1, LDA, 1, %xmm1)

  2913. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  2914. 

  2915. 	mulps	%xmm4, %xmm0

  2916. 	addps	%xmm0, %xmm8

  2917. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  2918. 	shufps	$0x4e, %xmm1, %xmm12

  2919. 	mulps	%xmm4, %xmm12

  2920. 	addps	%xmm12, %xmm9

  2921. 	MOVUPS_A2 (-26 * SIZE, A1, LDA, 1, %xmm12)

  2922. 	mulps	%xmm4, %xmm2

  2923. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  2924. 	addps	%xmm2, %xmm10

  2925. 	MOVUPS_A1 (-28 * SIZE, A2, %xmm2)

  2926. 

  2927. 	mulps	%xmm5, %xmm0

  2928. 	addps	%xmm0, %xmm8

  2929. 	shufps	$0x4e, %xmm12, %xmm1

  2930. 	mulps	%xmm5, %xmm1

  2931. 	addps	%xmm1, %xmm9

  2932. 	mulps	%xmm5, %xmm2

  2933. 	addps	%xmm2, %xmm10

  2934. 

  2935. 	addq	$8 * SIZE, A1

  2936. 	addq	$8 * SIZE, A2

  2937. 	addq	$8 * SIZE, X1

  2938. 	ALIGN_4

  2939. 

  2940. .L116:

  2941. 	testq	$4, MM

  2942. 	jle	.L117

  2943. 

  2944. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  2945. 	mulps	%xmm4, %xmm0

  2946. 	addps	%xmm0, %xmm8

  2947. 	MOVUPS_A2 (-30 * SIZE, A1, LDA, 1, %xmm1)

  2948. 	shufps	$0x4e, %xmm1, %xmm12

  2949. 	mulps	%xmm4, %xmm12

  2950. 	addps	%xmm12, %xmm9

  2951. 

  2952. 	MOVUPS_A1 (-32 * SIZE, A2, %xmm2)

  2953. 	mulps	%xmm4, %xmm2

  2954. 	addps	%xmm2, %xmm10

  2955. 

  2956. 	addq	$4 * SIZE, A1

  2957. 	addq	$4 * SIZE, A2

  2958. 	addq	$4 * SIZE, X1

  2959. 	ALIGN_4

  2960. 

  2961. .L117:

  2962. 	testq	$2, MM

  2963. 	jle	.L118

  2964. 

  2965. #ifdef movsd

  2966. 	xorps	%xmm0, %xmm0

  2967. #endif

  2968. 	movsd	-32 * SIZE(A1), %xmm0

  2969. #ifdef movsd

  2970. 	xorps	%xmm4, %xmm4

  2971. #endif

  2972. 	movsd	-32 * SIZE(X1), %xmm4

  2973. 	mulps	%xmm4, %xmm0

  2974. 	addps	%xmm0, %xmm8

  2975. #ifdef movsd

  2976. 	xorps	%xmm1, %xmm1

  2977. #endif

  2978. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  2979. 	mulps	%xmm4, %xmm1

  2980. 	addps	%xmm1, %xmm9

  2981. #ifdef movsd

  2982. 	xorps	%xmm2, %xmm2

  2983. #endif

  2984. 	movsd	-32 * SIZE(A2), %xmm2

  2985. 	mulps	%xmm4, %xmm2

  2986. 	addps	%xmm2, %xmm10

  2987. 

  2988. 	addq	$2 * SIZE, A1

  2989. 	addq	$2 * SIZE, A2

  2990. 	addq	$2 * SIZE, X1

  2991. 	ALIGN_4

  2992. 

  2993. .L118:

  2994. 	testq	$1, MM

  2995. 	jle	.L119

  2996. 

  2997. 	movss	-32 * SIZE(A1), %xmm0

  2998. 	movss	-32 * SIZE(X1), %xmm4

  2999. 	mulss	%xmm4, %xmm0

  3000. 	addss	%xmm0, %xmm8

  3001. 	movss	-32 * SIZE(A1, LDA), %xmm1

  3002. 	mulss	%xmm4, %xmm1

  3003. 	addss	%xmm1, %xmm9

  3004. 	movss	-32 * SIZE(A2), %xmm2

  3005. 	mulss	%xmm4, %xmm2

  3006. 	addss	%xmm2, %xmm10

  3007. 	ALIGN_4

  3008. 

  3009. .L119:

  3010. #ifdef HAVE_SSE3

  3011. 	haddps	%xmm9, %xmm8

  3012. 	haddps	%xmm11, %xmm10

  3013. 	haddps	%xmm10, %xmm8

  3014. 

  3015. 	pshufd	$0x1, %xmm8, %xmm9

  3016. 	pshufd	$0x2, %xmm8, %xmm10

  3017. #else

  3018. 	movaps	%xmm8, %xmm0

  3019. 	unpcklps %xmm9, %xmm8

  3020. 	unpckhps %xmm9, %xmm0

  3021. 

  3022. 	movaps	%xmm10, %xmm1

  3023. 	unpcklps %xmm11, %xmm10

  3024. 	unpckhps %xmm11, %xmm1

  3025. 

  3026. 	movaps	%xmm8, %xmm9

  3027. 	unpcklps %xmm10, %xmm8

  3028. 	unpckhps %xmm10, %xmm9

  3029. 

  3030. 	movaps	%xmm0, %xmm10

  3031. 	unpcklps %xmm1, %xmm0

  3032. 	unpckhps %xmm1, %xmm10

  3033. 

  3034. 	addps	%xmm9, %xmm8

  3035. 	addps	%xmm0, %xmm10

  3036. 	addps	%xmm10, %xmm8

  3037. 

  3038. 	pshufd	$0x2, %xmm8, %xmm9

  3039. 	pshufd	$0x1, %xmm8, %xmm10

  3040. #endif

  3041. 

  3042. 	mulss	ALPHA, %xmm8

  3043. 	mulss	ALPHA, %xmm9

  3044. 	mulss	ALPHA, %xmm10

  3045. 

  3046. 	addss	(Y), %xmm8

  3047. 	addq	INCY, Y

  3048. 	addss	(Y), %xmm9

  3049. 	addq	INCY, Y

  3050. 	addss	(Y), %xmm10

  3051. 

  3052. 	movss	%xmm8, (Y1)

  3053. 	addq	INCY, Y1

  3054. 	movss	%xmm9, (Y1)

  3055. 	addq	INCY, Y1

  3056. 	movss	%xmm10, (Y1)

  3057. 	jmp	.L999

  3058. 	ALIGN_4

  3059. 

  3060. .L120:

  3061. 	cmpq	$2, N

  3062. 	jne	.L130

  3063. 

  3064. 	leaq	32 * SIZE(BUFFER), X1

  3065. 

  3066. 	movq	A, A1

  3067. 	leaq	(A1, LDA), A2

  3068. 	leaq	(A1, LDA, 2), A

  3069. 

  3070. 	xorps	%xmm8, %xmm8

  3071. 	xorps	%xmm9, %xmm9

  3072. 

  3073. 	cmpq	$3, M

  3074. 	jle	.L127

  3075. 

  3076. 	testq	$SIZE, A1

  3077. 	je	.L12X

  3078. 

  3079. 	movss	-32 * SIZE(A1), %xmm0

  3080. 	movss	-32 * SIZE(X1), %xmm4

  3081. 	mulss	%xmm4, %xmm0

  3082. 	addss	%xmm0, %xmm8

  3083. 	movss	-32 * SIZE(A2), %xmm1

  3084. 	mulss	%xmm4, %xmm1

  3085. 	addss	%xmm1, %xmm9

  3086. 

  3087. 	addq	 $1 * SIZE, A1

  3088. 	addq	 $1 * SIZE, A2

  3089. 	addq	 $1 * SIZE, X1

  3090. 	ALIGN_3

  3091. 

  3092. .L12X:

  3093. 	testq	$2 * SIZE, A1

  3094. 	je	.L12XX

  3095. 

  3096. #ifdef movsd

  3097. 	xorps	%xmm0, %xmm0

  3098. 	xorps	%xmm4, %xmm4

  3099. #endif

  3100. 	movsd	-32 * SIZE(A1), %xmm0

  3101. 	movsd	-32 * SIZE(X1), %xmm4

  3102. 	mulps	%xmm4, %xmm0

  3103. 	addps	%xmm0, %xmm8

  3104. #ifdef movsd

  3105. 	xorps	%xmm1, %xmm1

  3106. #endif

  3107. 	movsd	-32 * SIZE(A2), %xmm1

  3108. 	mulps	%xmm4, %xmm1

  3109. 	addps	%xmm1, %xmm9

  3110. 

  3111. 	addq	 $2 * SIZE, A1

  3112. 	addq	 $2 * SIZE, A2

  3113. 	addq	 $2 * SIZE, X1

  3114. 	ALIGN_3

  3115. 

  3116. .L12XX:

  3117. 	MOVUPS_A1  (-34 * SIZE, A2, %xmm12)

  3118. 

  3119. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  3120. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  3121. 

  3122. 	movq	MM,  I

  3123. 	sarq	$4,  I

  3124. 	jle	.L125

  3125. 

  3126. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  3127. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm1)

  3128. 

  3129. 	decq	I

  3130. 	jle	.L123

  3131. 	ALIGN_4

  3132. 

  3133. .L122:

  3134. #ifdef PREFETCH

  3135. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  3136. #endif

  3137. 

  3138. 	mulps	%xmm4, %xmm0

  3139. 	addps	%xmm0, %xmm8

  3140. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  3141. 	shufps	$0x4e, %xmm1, %xmm12

  3142. 	mulps	%xmm4, %xmm12

  3143. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  3144. 	addps	%xmm12, %xmm9

  3145. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm12)

  3146. 

  3147. 	mulps	%xmm5, %xmm0

  3148. 	addps	%xmm0, %xmm8

  3149. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  3150. 	shufps	$0x4e, %xmm12, %xmm1

  3151. 	mulps	%xmm5, %xmm1

  3152. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  3153. 	addps	%xmm1, %xmm9

  3154. 	MOVUPS_A1 (-22 * SIZE, A2, %xmm1)

  3155. 

  3156. #ifdef PREFETCH

  3157. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A2)

  3158. #endif

  3159. 

  3160. 	mulps	%xmm4, %xmm0

  3161. 	addps	%xmm0, %xmm8

  3162. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  3163. 	shufps	$0x4e, %xmm1, %xmm12

  3164. 	mulps	%xmm4, %xmm12

  3165. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  3166. 	addps	%xmm12, %xmm9

  3167. 	MOVUPS_A1 (-18 * SIZE, A2, %xmm12)

  3168. 

  3169. #ifdef PREFETCHW

  3170. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(X1)

  3171. #endif

  3172. 

  3173. 	mulps	%xmm5, %xmm0

  3174. 	addps	%xmm0, %xmm8

  3175. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  3176. 	shufps	$0x4e, %xmm12, %xmm1

  3177. 	mulps	%xmm5, %xmm1

  3178. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  3179. 	addps	%xmm1, %xmm9

  3180. 	MOVUPS_A1 (-14 * SIZE, A2, %xmm1)

  3181. 

  3182. 	addq	$16 * SIZE, A1

  3183. 	addq	$16 * SIZE, A2

  3184. 	addq	$16 * SIZE, X1

  3185. 

  3186. 	decq	I

  3187. 	jg	.L122

  3188. 	ALIGN_4

  3189. 

  3190. .L123:

  3191. 	mulps	%xmm4, %xmm0

  3192. 	addps	%xmm0, %xmm8

  3193. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  3194. 	shufps	$0x4e, %xmm1, %xmm12

  3195. 	mulps	%xmm4, %xmm12

  3196. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  3197. 	addps	%xmm12, %xmm9

  3198. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm12)

  3199. 

  3200. 	mulps	%xmm5, %xmm0

  3201. 	addps	%xmm0, %xmm8

  3202. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  3203. 	shufps	$0x4e, %xmm12, %xmm1

  3204. 	mulps	%xmm5, %xmm1

  3205. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  3206. 	addps	%xmm1, %xmm9

  3207. 	MOVUPS_A1 (-22 * SIZE, A2, %xmm1)

  3208. 

  3209. 	mulps	%xmm4, %xmm0

  3210. 	addps	%xmm0, %xmm8

  3211. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  3212. 	shufps	$0x4e, %xmm1, %xmm12

  3213. 	mulps	%xmm4, %xmm12

  3214. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  3215. 	addps	%xmm12, %xmm9

  3216. 	MOVUPS_A1 (-18 * SIZE, A2, %xmm12)

  3217. 

  3218. 	mulps	%xmm5, %xmm0

  3219. 	addps	%xmm0, %xmm8

  3220. 	shufps	$0x4e, %xmm12, %xmm1

  3221. 	mulps	%xmm5, %xmm1

  3222. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  3223. 	addps	%xmm1, %xmm9

  3224. 

  3225. 	addq	$16 * SIZE, A1

  3226. 	addq	$16 * SIZE, A2

  3227. 	addq	$16 * SIZE, X1

  3228. 	ALIGN_4

  3229. 

  3230. .L125:

  3231. 	testq	$8, MM

  3232. 	jle	.L126

  3233. 

  3234. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  3235. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm1)

  3236. 

  3237. 	mulps	%xmm4, %xmm0

  3238. 	addps	%xmm0, %xmm8

  3239. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  3240. 	shufps	$0x4e, %xmm1, %xmm12

  3241. 	mulps	%xmm4, %xmm12

  3242. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  3243. 	addps	%xmm12, %xmm9

  3244. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm12)

  3245. 

  3246. 	mulps	%xmm5, %xmm0

  3247. 	addps	%xmm0, %xmm8

  3248. 	shufps	$0x4e, %xmm12, %xmm1

  3249. 	mulps	%xmm5, %xmm1

  3250. 	addps	%xmm1, %xmm9

  3251. 

  3252. 	addq	$8 * SIZE, A1

  3253. 	addq	$8 * SIZE, A2

  3254. 	addq	$8 * SIZE, X1

  3255. 	ALIGN_4

  3256. 

  3257. .L126:

  3258. 	testq	$4, MM

  3259. 	jle	.L127

  3260. 

  3261. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  3262. 	mulps	%xmm4, %xmm0

  3263. 	addps	%xmm0, %xmm8

  3264. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm1)

  3265. 	shufps	$0x4e, %xmm1, %xmm12

  3266. 	mulps	%xmm4, %xmm12

  3267. 	addps	%xmm12, %xmm9

  3268. 

  3269. 	addq	$4 * SIZE, A1

  3270. 	addq	$4 * SIZE, A2

  3271. 	addq	$4 * SIZE, X1

  3272. 	ALIGN_4

  3273. 

  3274. .L127:

  3275. 	testq	$2, MM

  3276. 	jle	.L128

  3277. 

  3278. #ifdef movsd

  3279. 	xorps	%xmm0, %xmm0

  3280. #endif

  3281. 	movsd	-32 * SIZE(A1), %xmm0

  3282. #ifdef movsd

  3283. 	xorps	%xmm4, %xmm4

  3284. #endif

  3285. 	movsd	-32 * SIZE(X1), %xmm4

  3286. 	mulps	%xmm4, %xmm0

  3287. 	addps	%xmm0, %xmm8

  3288. #ifdef movsd

  3289. 	xorps	%xmm1, %xmm1

  3290. #endif

  3291. 	movsd	-32 * SIZE(A2), %xmm1

  3292. 	mulps	%xmm4, %xmm1

  3293. 	addps	%xmm1, %xmm9

  3294. 	shufps	$0xe, %xmm4, %xmm4

  3295. 

  3296. 	addq	$2 * SIZE, A1

  3297. 	addq	$2 * SIZE, A2

  3298. 	addq	$2 * SIZE, X1

  3299. 	ALIGN_4

  3300. 

  3301. .L128:

  3302. 	testq	$1, MM

  3303. 	jle	.L129

  3304. 

  3305. 	movss	-32 * SIZE(A1), %xmm0

  3306. 	movss	-32 * SIZE(X1), %xmm4

  3307. 	mulss	%xmm4, %xmm0

  3308. 	addss	%xmm0, %xmm8

  3309. 	movss	-32 * SIZE(A2), %xmm1

  3310. 	mulss	%xmm4, %xmm1

  3311. 	addss	%xmm1, %xmm9

  3312. 	ALIGN_4

  3313. 

  3314. .L129:

  3315. #ifdef HAVE_SSE3

  3316. 	haddps	%xmm9, %xmm8

  3317. 	haddps	%xmm8, %xmm8

  3318. #else

  3319. 	movaps	%xmm8, %xmm10

  3320. 	unpcklps %xmm9, %xmm8

  3321. 	unpckhps %xmm9, %xmm10

  3322. 

  3323. 	addps	%xmm10, %xmm8

  3324. 	movhlps %xmm8, %xmm9

  3325. 	addps	%xmm9, %xmm8

  3326. #endif

  3327. 

  3328. 	pshufd	$0x1, %xmm8, %xmm9

  3329. 

  3330. 	mulss	ALPHA, %xmm8

  3331. 	mulss	ALPHA, %xmm9

  3332. 

  3333. 	addss	(Y), %xmm8

  3334. 	addq	INCY, Y

  3335. 	addss	(Y), %xmm9

  3336. 	addq	INCY, Y

  3337. 

  3338. 	movss	%xmm8, (Y1)

  3339. 	addq	INCY, Y1

  3340. 	movss	%xmm9, (Y1)

  3341. 	addq	INCY, Y1

  3342. 	jmp	.L999

  3343. 	ALIGN_4

  3344. 

  3345. .L130:

  3346. 	cmpq	$1, N

  3347. 	jne	.L999

  3348. 

  3349. 	leaq	32 * SIZE(BUFFER), X1

  3350. 

  3351. 	movq	A, A1

  3352. 

  3353. 	xorps	%xmm8, %xmm8

  3354. 	xorps	%xmm9, %xmm9

  3355. 

  3356. 	cmpq	$3, M

  3357. 	jle	.L137

  3358. 

  3359. 	testq	$SIZE, A1

  3360. 	je	.L13X

  3361. 

  3362. 	movss	-32 * SIZE(A1), %xmm0

  3363. 	movss	-32 * SIZE(X1), %xmm4

  3364. 	mulss	%xmm4, %xmm0

  3365. 	addss	%xmm0, %xmm8

  3366. 

  3367. 	addq	 $1 * SIZE, A1

  3368. 	addq	 $1 * SIZE, X1

  3369. 	ALIGN_3

  3370. 

  3371. .L13X:

  3372. 	testq	$2 * SIZE, A1

  3373. 	je	.L13XX

  3374. 

  3375. 

  3376. #ifdef movsd

  3377. 	xorps	%xmm0, %xmm0

  3378. 	xorps	%xmm4, %xmm4

  3379. #endif

  3380. 	movsd	-32 * SIZE(A1), %xmm0

  3381. 	movsd	-32 * SIZE(X1), %xmm4

  3382. 	mulps	%xmm4, %xmm0

  3383. 	addps	%xmm0, %xmm8

  3384. 	shufps	$0xe, %xmm4, %xmm4

  3385. 

  3386. 	addq	 $2 * SIZE, A1

  3387. 	addq	 $2 * SIZE, X1

  3388. 	ALIGN_3

  3389. 

  3390. .L13XX:

  3391. 

  3392. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  3393. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  3394. 

  3395. 	movq	MM,  I

  3396. 	sarq	$4,  I

  3397. 	jle	.L135

  3398. 

  3399. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  3400. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  3401. 

  3402. 	decq	I

  3403. 	jle	.L133

  3404. 	ALIGN_4

  3405. 

  3406. .L132:

  3407. #ifdef PREFETCH

  3408. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(A1)

  3409. #endif

  3410. 

  3411. 	mulps	%xmm4, %xmm0

  3412. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  3413. 	addps	%xmm0, %xmm8

  3414. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  3415. 

  3416. 	mulps	%xmm5, %xmm12

  3417. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  3418. 	addps	%xmm12, %xmm9

  3419. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  3420. 

  3421. #ifdef PREFETCHW

  3422. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(X1)

  3423. #endif

  3424. 

  3425. 	mulps	%xmm4, %xmm0

  3426. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  3427. 	addps	%xmm0, %xmm8

  3428. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  3429. 

  3430. 	mulps	%xmm5, %xmm12

  3431. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  3432. 	addps	%xmm12, %xmm9

  3433. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm12)

  3434. 

  3435. 	addq	$16 * SIZE, A1

  3436. 	addq	$16 * SIZE, X1

  3437. 

  3438. 	decq	I

  3439. 	jg	.L132

  3440. 	ALIGN_4

  3441. 

  3442. .L133:

  3443. 	mulps	%xmm4, %xmm0

  3444. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  3445. 	addps	%xmm0, %xmm8

  3446. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  3447. 

  3448. 	mulps	%xmm5, %xmm12

  3449. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  3450. 	addps	%xmm12, %xmm9

  3451. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  3452. 

  3453. 	mulps	%xmm4, %xmm0

  3454. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  3455. 	addps	%xmm0, %xmm8

  3456. 

  3457. 	mulps	%xmm5, %xmm12

  3458. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  3459. 	addps	%xmm12, %xmm9

  3460. 

  3461. 	addq	$16 * SIZE, A1

  3462. 	addq	$16 * SIZE, X1

  3463. 	ALIGN_4

  3464. 

  3465. .L135:

  3466. 	testq	$8, MM

  3467. 	jle	.L136

  3468. 

  3469. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  3470. 	mulps	%xmm4, %xmm0

  3471. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  3472. 	addps	%xmm0, %xmm8

  3473. 

  3474. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  3475. 	mulps	%xmm5, %xmm12

  3476. 	addps	%xmm12, %xmm9

  3477. 

  3478. 	addq	$8 * SIZE, A1

  3479. 	addq	$8 * SIZE, X1

  3480. 	ALIGN_4

  3481. 

  3482. .L136:

  3483. 	testq	$4, MM

  3484. 	jle	.L137

  3485. 

  3486. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  3487. 	mulps	%xmm4, %xmm0

  3488. 	addps	%xmm0, %xmm8

  3489. 

  3490. 	addq	$4 * SIZE, A1

  3491. 	addq	$4 * SIZE, X1

  3492. 	ALIGN_4

  3493. 

  3494. .L137:

  3495. 	testq	$2, MM

  3496. 	jle	.L138

  3497. 

  3498. #ifdef movsd

  3499. 	xorps	%xmm0, %xmm0

  3500. #endif

  3501. 	movsd	-32 * SIZE(A1), %xmm0

  3502. #ifdef movsd

  3503. 	xorps	%xmm4, %xmm4

  3504. #endif

  3505. 	movsd	-32 * SIZE(X1), %xmm4

  3506. 	mulps	%xmm4, %xmm0

  3507. 	addps	%xmm0, %xmm8

  3508. 	shufps	$0xe, %xmm4, %xmm4

  3509. 

  3510. 	addq	$2 * SIZE, A1

  3511. 	addq	$2 * SIZE, X1

  3512. 	ALIGN_4

  3513. 

  3514. .L138:

  3515. 	testq	$1, MM

  3516. 	jle	.L139

  3517. 

  3518. 	movss	-32 * SIZE(A1), %xmm0

  3519. 	movss	-32 * SIZE(X1), %xmm4

  3520. 	mulss	%xmm4, %xmm0

  3521. 	addss	%xmm0, %xmm8

  3522. 	ALIGN_4

  3523. 

  3524. .L139:

  3525. 	addps	%xmm9, %xmm8

  3526. 

  3527. #ifdef HAVE_SSE3

  3528. 	haddps	%xmm8, %xmm8

  3529. 	haddps	%xmm8, %xmm8

  3530. #else

  3531. 	pshufd	$1, %xmm8, %xmm9

  3532. 	pshufd	$2, %xmm8, %xmm10

  3533. 	pshufd	$3, %xmm8, %xmm11

  3534. 

  3535. 	addss	%xmm9, %xmm8

  3536. 	addss	%xmm11, %xmm10

  3537. 	addss	%xmm10, %xmm8

  3538. #endif

  3539. 

  3540. 	mulss	ALPHA, %xmm8

  3541. 

  3542. 	addss	(Y), %xmm8

  3543. 	movss	%xmm8, (Y1)

  3544. 	jmp	.L999

  3545. 	ALIGN_4

  3546. 

  3547. .L200:

  3548. 	testq	$2 * SIZE, LDA

  3549. 	jne	.L300

  3550. 

  3551. 	cmpq	$4, N

  3552. 	jl	.L210

  3553. 	ALIGN_3

  3554. 

  3555. .L201:

  3556. 	subq	$4, N

  3557. 

  3558. 	leaq	32 * SIZE(BUFFER), X1

  3559. 

  3560. 	movq	A, A1

  3561. 	leaq	(A1, LDA, 2), A2

  3562. 	leaq	(A1, LDA, 4), A

  3563. 

  3564. 	xorps	%xmm8, %xmm8

  3565. 	xorps	%xmm9, %xmm9

  3566. 	xorps	%xmm10, %xmm10

  3567. 	xorps	%xmm11, %xmm11

  3568. 

  3569. 	cmpq	$3, M

  3570. 	jle	.L207

  3571. 

  3572. 	testq	$SIZE, A1

  3573. 	je	.L20X

  3574. 

  3575. 	movss	-32 * SIZE(A1), %xmm0

  3576. 	movss	-32 * SIZE(X1), %xmm4

  3577. 	mulss	%xmm4, %xmm0

  3578. 	addss	%xmm0, %xmm8

  3579. 	movss	-32 * SIZE(A1, LDA), %xmm1

  3580. 	mulss	%xmm4, %xmm1

  3581. 	addss	%xmm1, %xmm9

  3582. 	movss	-32 * SIZE(A2), %xmm2

  3583. 	mulss	%xmm4, %xmm2

  3584. 	addss	%xmm2, %xmm10

  3585. 	movss	-32 * SIZE(A2, LDA), %xmm3

  3586. 	mulss	%xmm4, %xmm3

  3587. 	addss	%xmm3, %xmm11

  3588. 

  3589. 	addq	 $1 * SIZE, A1

  3590. 	addq	 $1 * SIZE, A2

  3591. 	addq	 $1 * SIZE, X1

  3592. 	ALIGN_3

  3593. 

  3594. .L20X:

  3595. 	testq	$2 * SIZE, A1

  3596. 	je	.L20XX

  3597. 

  3598. #ifdef movsd

  3599. 	xorps	%xmm0, %xmm0

  3600. 	xorps	%xmm4, %xmm4

  3601. #endif

  3602. 	movsd	-32 * SIZE(A1), %xmm0

  3603. 	movsd	-32 * SIZE(X1), %xmm4

  3604. 	mulps	%xmm4, %xmm0

  3605. 	addps	%xmm0, %xmm8

  3606. #ifdef movsd

  3607. 	xorps	%xmm1, %xmm1

  3608. #endif

  3609. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  3610. 	mulps	%xmm4, %xmm1

  3611. 	addps	%xmm1, %xmm9

  3612. #ifdef movsd

  3613. 	xorps	%xmm2, %xmm2

  3614. #endif

  3615. 	movsd	-32 * SIZE(A2), %xmm2

  3616. 	mulps	%xmm4, %xmm2

  3617. 	addps	%xmm2, %xmm10

  3618. #ifdef movsd

  3619. 	xorps	%xmm3, %xmm3

  3620. #endif

  3621. 	movsd	-32 * SIZE(A2, LDA), %xmm3

  3622. 	mulps	%xmm4, %xmm3

  3623. 	addps	%xmm3, %xmm11

  3624. 

  3625. 	addq	 $2 * SIZE, A1

  3626. 	addq	 $2 * SIZE, A2

  3627. 	addq	 $2 * SIZE, X1

  3628. 	ALIGN_3

  3629. 

  3630. .L20XX:

  3631. 	movaps	-33 * SIZE(A1, LDA), %xmm12

  3632. 	movaps	-34 * SIZE(A2), %xmm13

  3633. 	movaps	-35 * SIZE(A2, LDA), %xmm14

  3634. 

  3635. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  3636. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  3637. 

  3638. #ifdef PREFETCHW

  3639. 	PREFETCHW	4 * SIZE(Y1)

  3640. #endif

  3641. 

  3642. 	movq	MM,  I

  3643. 	sarq	$4,  I

  3644. 	jle	.L205

  3645. 

  3646. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  3647. 	MOVUPS_A2 (-29 * SIZE, A1, LDA, 1, %xmm1)

  3648. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  3649. 	MOVUPS_A2 (-31 * SIZE, A2, LDA, 1, %xmm3)

  3650. 

  3651. 	decq	I

  3652. 	jle	.L203

  3653. 	ALIGN_4

  3654. 

  3655. .L202:

  3656. #ifdef PREFETCH

  3657. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  3658. #endif

  3659. 

  3660. 	mulps	%xmm4, %xmm0

  3661. 	addps	%xmm0, %xmm8

  3662. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  3663. 	movss	 %xmm1,  %xmm12

  3664. 	shufps	 $0x39,  %xmm12, %xmm12

  3665. 	mulps	 %xmm4,  %xmm12

  3666. 	addps	 %xmm12, %xmm9

  3667. 	MOVUPS_A2 (-25 * SIZE, A1, LDA, 1, %xmm12)

  3668. 

  3669. 	shufps	 $0x4e, %xmm2, %xmm13

  3670. 	mulps	 %xmm4, %xmm13

  3671. 	addps	 %xmm13, %xmm10

  3672. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  3673. 	movss	 %xmm3,  %xmm14

  3674. 	shufps	 $0x93, %xmm3, %xmm14

  3675. 	mulps	 %xmm4, %xmm14

  3676. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  3677. 	addps	 %xmm14, %xmm11

  3678. 	MOVUPS_A2 (-27 * SIZE, A2, LDA, 1, %xmm14)

  3679. 

  3680. #ifdef PREFETCH

  3681. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1, LDA)

  3682. #endif

  3683. 

  3684. 	mulps	%xmm5, %xmm0

  3685. 	addps	%xmm0, %xmm8

  3686. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  3687. 	movss	 %xmm12,  %xmm1

  3688. 	shufps	 $0x39,  %xmm1, %xmm1

  3689. 	mulps	 %xmm5,  %xmm1

  3690. 	addps	 %xmm1, %xmm9

  3691. 	MOVUPS_A2 (-21 * SIZE, A1, LDA, 1, %xmm1)

  3692. 

  3693. 	shufps	 $0x4e, %xmm13, %xmm2

  3694. 	mulps	 %xmm5, %xmm2

  3695. 	addps	 %xmm2, %xmm10

  3696. 	MOVUPS_A1 (-22 * SIZE, A2, %xmm2)

  3697. 	movss	 %xmm14,  %xmm3

  3698. 	shufps	 $0x93, %xmm14, %xmm3

  3699. 	mulps	 %xmm5, %xmm3

  3700. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  3701. 	addps	 %xmm3, %xmm11

  3702. 	MOVUPS_A2 (-23 * SIZE, A2, LDA, 1, %xmm3)

  3703. 

  3704. #ifdef PREFETCH

  3705. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  3706. #endif

  3707. 

  3708. 	mulps	%xmm4, %xmm0

  3709. 	addps	%xmm0, %xmm8

  3710. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  3711. 	movss	 %xmm1,  %xmm12

  3712. 	shufps	 $0x39,  %xmm12, %xmm12

  3713. 	mulps	 %xmm4,  %xmm12

  3714. 	addps	 %xmm12, %xmm9

  3715. 	MOVUPS_A2 (-17 * SIZE, A1, LDA, 1, %xmm12)

  3716. 

  3717. 	shufps	 $0x4e, %xmm2, %xmm13

  3718. 	mulps	 %xmm4, %xmm13

  3719. 	addps	 %xmm13, %xmm10

  3720. 	MOVUPS_A1 (-18 * SIZE, A2, %xmm13)

  3721. 	movss	 %xmm3,  %xmm14

  3722. 	shufps	 $0x93, %xmm3, %xmm14

  3723. 	mulps	 %xmm4, %xmm14

  3724. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  3725. 	addps	 %xmm14, %xmm11

  3726. 	MOVUPS_A2 (-19 * SIZE, A2, LDA, 1, %xmm14)

  3727. 

  3728. #ifdef PREFETCH

  3729. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2, LDA)

  3730. #endif

  3731. 

  3732. 	mulps	%xmm5, %xmm0

  3733. 	addps	%xmm0, %xmm8

  3734. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  3735. 	movss	 %xmm12,  %xmm1

  3736. 	shufps	 $0x39,  %xmm1, %xmm1

  3737. 	mulps	 %xmm5,  %xmm1

  3738. 	addps	 %xmm1, %xmm9

  3739. 	MOVUPS_A2 (-13 * SIZE, A1, LDA, 1, %xmm1)

  3740. 

  3741. #ifdef PREFETCHW

  3742. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(X1)

  3743. #endif

  3744. 

  3745. 	shufps	 $0x4e, %xmm13, %xmm2

  3746. 	mulps	 %xmm5, %xmm2

  3747. 	addps	 %xmm2, %xmm10

  3748. 	MOVUPS_A1 (-14 * SIZE, A2, %xmm2)

  3749. 	movss	 %xmm14,  %xmm3

  3750. 	shufps	 $0x93, %xmm14, %xmm3

  3751. 	mulps	 %xmm5, %xmm3

  3752. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  3753. 	addps	 %xmm3, %xmm11

  3754. 	MOVUPS_A2 (-15 * SIZE, A2, LDA, 1, %xmm3)

  3755. 

  3756. 	addq	$16 * SIZE, A1

  3757. 	addq	$16 * SIZE, A2

  3758. 	addq	$16 * SIZE, X1

  3759. 

  3760. 	decq	I

  3761. 	jg	.L202

  3762. 	ALIGN_4

  3763. 

  3764. .L203:

  3765. 	mulps	%xmm4, %xmm0

  3766. 	addps	%xmm0, %xmm8

  3767. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  3768. 	movss	 %xmm1,  %xmm12

  3769. 	shufps	 $0x39,  %xmm12, %xmm12

  3770. 	mulps	 %xmm4,  %xmm12

  3771. 	addps	 %xmm12, %xmm9

  3772. 	MOVUPS_A2 (-25 * SIZE, A1, LDA, 1, %xmm12)

  3773. 

  3774. 	shufps	 $0x4e, %xmm2, %xmm13

  3775. 	mulps	 %xmm4, %xmm13

  3776. 	addps	 %xmm13, %xmm10

  3777. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  3778. 	movss	 %xmm3,  %xmm14

  3779. 	shufps	 $0x93, %xmm3, %xmm14

  3780. 	mulps	 %xmm4, %xmm14

  3781. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  3782. 	addps	 %xmm14, %xmm11

  3783. 	MOVUPS_A2 (-27 * SIZE, A2, LDA, 1, %xmm14)

  3784. 

  3785. 	mulps	%xmm5, %xmm0

  3786. 	addps	%xmm0, %xmm8

  3787. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  3788. 	movss	 %xmm12,  %xmm1

  3789. 	shufps	 $0x39,  %xmm1, %xmm1

  3790. 	mulps	 %xmm5,  %xmm1

  3791. 	addps	 %xmm1, %xmm9

  3792. 	MOVUPS_A2 (-21 * SIZE, A1, LDA, 1, %xmm1)

  3793. 

  3794. 	shufps	 $0x4e, %xmm13, %xmm2

  3795. 	mulps	 %xmm5, %xmm2

  3796. 	addps	 %xmm2, %xmm10

  3797. 	MOVUPS_A1 (-22 * SIZE, A2, %xmm2)

  3798. 	movss	 %xmm14,  %xmm3

  3799. 	shufps	 $0x93, %xmm14, %xmm3

  3800. 	mulps	 %xmm5, %xmm3

  3801. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  3802. 	addps	 %xmm3, %xmm11

  3803. 	MOVUPS_A2 (-23 * SIZE, A2, LDA, 1, %xmm3)

  3804. 

  3805. 	mulps	%xmm4, %xmm0

  3806. 	addps	%xmm0, %xmm8

  3807. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  3808. 	movss	 %xmm1,  %xmm12

  3809. 	shufps	 $0x39,  %xmm12, %xmm12

  3810. 	mulps	 %xmm4,  %xmm12

  3811. 	addps	 %xmm12, %xmm9

  3812. 	MOVUPS_A2 (-17 * SIZE, A1, LDA, 1, %xmm12)

  3813. 

  3814. 	shufps	 $0x4e, %xmm2, %xmm13

  3815. 	mulps	 %xmm4, %xmm13

  3816. 	addps	 %xmm13, %xmm10

  3817. 	MOVUPS_A1 (-18 * SIZE, A2, %xmm13)

  3818. 	movss	 %xmm3,  %xmm14

  3819. 	shufps	 $0x93, %xmm3, %xmm14

  3820. 	mulps	 %xmm4, %xmm14

  3821. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  3822. 	addps	 %xmm14, %xmm11

  3823. 	MOVUPS_A2 (-19 * SIZE, A2, LDA, 1, %xmm14)

  3824. 

  3825. 	mulps	%xmm5, %xmm0

  3826. 	addps	%xmm0, %xmm8

  3827. 	movss	 %xmm12,  %xmm1

  3828. 	shufps	 $0x39,  %xmm1, %xmm1

  3829. 	mulps	 %xmm5,  %xmm1

  3830. 	addps	 %xmm1, %xmm9

  3831. 

  3832. 	shufps	 $0x4e, %xmm13, %xmm2

  3833. 	mulps	 %xmm5, %xmm2

  3834. 	addps	 %xmm2, %xmm10

  3835. 	movss	 %xmm14,  %xmm3

  3836. 	shufps	 $0x93, %xmm14, %xmm3

  3837. 	mulps	 %xmm5, %xmm3

  3838. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  3839. 	addps	 %xmm3, %xmm11

  3840. 

  3841. 	addq	$16 * SIZE, A1

  3842. 	addq	$16 * SIZE, A2

  3843. 	addq	$16 * SIZE, X1

  3844. 	ALIGN_4

  3845. 

  3846. .L205:

  3847. 	testq	$8, MM

  3848. 	jle	.L206

  3849. 

  3850. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  3851. 	MOVUPS_A2 (-29 * SIZE, A1, LDA, 1, %xmm1)

  3852. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  3853. 	MOVUPS_A2 (-31 * SIZE, A2, LDA, 1, %xmm3)

  3854. 

  3855. 	mulps	%xmm4, %xmm0

  3856. 	addps	%xmm0, %xmm8

  3857. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  3858. 	movss	 %xmm1,  %xmm12

  3859. 	shufps	 $0x39,  %xmm12, %xmm12

  3860. 	mulps	 %xmm4,  %xmm12

  3861. 	addps	 %xmm12, %xmm9

  3862. 	MOVUPS_A2 (-25 * SIZE, A1, LDA, 1, %xmm12)

  3863. 

  3864. 	shufps	 $0x4e, %xmm2, %xmm13

  3865. 	mulps	 %xmm4, %xmm13

  3866. 	addps	 %xmm13, %xmm10

  3867. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  3868. 	movss	 %xmm3,  %xmm14

  3869. 	shufps	 $0x93, %xmm3, %xmm14

  3870. 	mulps	 %xmm4, %xmm14

  3871. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  3872. 	addps	 %xmm14, %xmm11

  3873. 	MOVUPS_A2 (-27 * SIZE, A2, LDA, 1, %xmm14)

  3874. 

  3875. 	mulps	%xmm5, %xmm0

  3876. 	addps	%xmm0, %xmm8

  3877. 	movss	 %xmm12,  %xmm1

  3878. 	shufps	 $0x39,  %xmm1, %xmm1

  3879. 	mulps	 %xmm5,  %xmm1

  3880. 	addps	 %xmm1, %xmm9

  3881. 

  3882. 	shufps	 $0x4e, %xmm13, %xmm2

  3883. 	mulps	 %xmm5, %xmm2

  3884. 	addps	 %xmm2, %xmm10

  3885. 	movss	 %xmm14,  %xmm3

  3886. 	shufps	 $0x93, %xmm14, %xmm3

  3887. 	mulps	 %xmm5, %xmm3

  3888. 	addps	 %xmm3, %xmm11

  3889. 

  3890. 	addq	$8 * SIZE, A1

  3891. 	addq	$8 * SIZE, A2

  3892. 	addq	$8 * SIZE, X1

  3893. 	ALIGN_4

  3894. 

  3895. .L206:

  3896. 	testq	$4, MM

  3897. 	jle	.L207

  3898. 

  3899. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  3900. 	MOVUPS_A2 (-29 * SIZE, A1, LDA, 1, %xmm1)

  3901. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  3902. 	MOVUPS_A2 (-31 * SIZE, A2, LDA, 1, %xmm3)

  3903. 

  3904. 	mulps	%xmm4, %xmm0

  3905. 	addps	%xmm0, %xmm8

  3906. 	movss	 %xmm1,  %xmm12

  3907. 	shufps	 $0x39,  %xmm12, %xmm12

  3908. 	mulps	 %xmm4,  %xmm12

  3909. 	addps	 %xmm12, %xmm9

  3910. 

  3911. 	shufps	 $0x4e, %xmm2, %xmm13

  3912. 	mulps	 %xmm4, %xmm13

  3913. 	addps	 %xmm13, %xmm10

  3914. 	movss	 %xmm3,  %xmm14

  3915. 	shufps	 $0x93, %xmm3, %xmm14

  3916. 	mulps	 %xmm4, %xmm14

  3917. 	addps	 %xmm14, %xmm11

  3918. 

  3919. 	addq	$4 * SIZE, A1

  3920. 	addq	$4 * SIZE, A2

  3921. 	addq	$4 * SIZE, X1

  3922. 	ALIGN_4

  3923. 

  3924. .L207:

  3925. 	testq	$2, MM

  3926. 	jle	.L208

  3927. 

  3928. #ifdef movsd

  3929. 	xorps	%xmm0, %xmm0

  3930. #endif

  3931. 	movsd	-32 * SIZE(A1), %xmm0

  3932. #ifdef movsd

  3933. 	xorps	%xmm4, %xmm4

  3934. #endif

  3935. 	movsd	-32 * SIZE(X1), %xmm4

  3936. 	mulps	%xmm4, %xmm0

  3937. 	addps	%xmm0, %xmm8

  3938. #ifdef movsd

  3939. 	xorps	%xmm1, %xmm1

  3940. #endif

  3941. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  3942. 	mulps	%xmm4, %xmm1

  3943. 	addps	%xmm1, %xmm9

  3944. #ifdef movsd

  3945. 	xorps	%xmm2, %xmm2

  3946. #endif

  3947. 	movsd	-32 * SIZE(A2), %xmm2

  3948. 	mulps	%xmm4, %xmm2

  3949. 	addps	%xmm2, %xmm10

  3950. #ifdef movsd

  3951. 	xorps	%xmm3, %xmm3

  3952. #endif

  3953. 	movsd	-32 * SIZE(A2, LDA), %xmm3

  3954. 	mulps	%xmm4, %xmm3

  3955. 	addps	%xmm3, %xmm11

  3956. 	shufps	$0xe, %xmm4, %xmm4

  3957. 

  3958. 	addq	$2 * SIZE, A1

  3959. 	addq	$2 * SIZE, A2

  3960. 	addq	$2 * SIZE, X1

  3961. 	ALIGN_4

  3962. 

  3963. .L208:

  3964. 	testq	$1, MM

  3965. 	jle	.L209

  3966. 

  3967. 	movss	-32 * SIZE(A1), %xmm0

  3968. 	movss	-32 * SIZE(X1), %xmm4

  3969. 	mulss	%xmm4, %xmm0

  3970. 	addss	%xmm0, %xmm8

  3971. 	movss	-32 * SIZE(A1, LDA), %xmm1

  3972. 	mulss	%xmm4, %xmm1

  3973. 	addss	%xmm1, %xmm9

  3974. 	movss	-32 * SIZE(A2), %xmm2

  3975. 	mulss	%xmm4, %xmm2

  3976. 	addss	%xmm2, %xmm10

  3977. 	movss	-32 * SIZE(A2, LDA), %xmm3

  3978. 	mulss	%xmm4, %xmm3

  3979. 	addss	%xmm3, %xmm11

  3980. 	ALIGN_4

  3981. 

  3982. .L209:

  3983. #ifdef HAVE_SSE3

  3984. 	haddps	%xmm9, %xmm8

  3985. 	haddps	%xmm11, %xmm10

  3986. 	haddps	%xmm10, %xmm8

  3987. 

  3988. 	pshufd	$0x1, %xmm8, %xmm9

  3989. 	pshufd	$0x2, %xmm8, %xmm10

  3990. 	pshufd	$0x3, %xmm8, %xmm11

  3991. #else

  3992. 	movaps	%xmm8, %xmm0

  3993. 	unpcklps %xmm9, %xmm8

  3994. 	unpckhps %xmm9, %xmm0

  3995. 

  3996. 	movaps	%xmm10, %xmm1

  3997. 	unpcklps %xmm11, %xmm10

  3998. 	unpckhps %xmm11, %xmm1

  3999. 

  4000. 	movaps	%xmm8, %xmm9

  4001. 	unpcklps %xmm10, %xmm8

  4002. 	unpckhps %xmm10, %xmm9

  4003. 

  4004. 	movaps	%xmm0, %xmm10

  4005. 	unpcklps %xmm1, %xmm0

  4006. 	unpckhps %xmm1, %xmm10

  4007. 

  4008. 	addps	%xmm9, %xmm8

  4009. 	addps	%xmm0, %xmm10

  4010. 	addps	%xmm10, %xmm8

  4011. 

  4012. 	pshufd	$0x2, %xmm8, %xmm9

  4013. 	pshufd	$0x1, %xmm8, %xmm10

  4014. 	pshufd	$0x3, %xmm8, %xmm11

  4015. #endif

  4016. 

  4017. 	mulss	ALPHA, %xmm8

  4018. 	mulss	ALPHA, %xmm9

  4019. 	mulss	ALPHA, %xmm10

  4020. 	mulss	ALPHA, %xmm11

  4021. 

  4022. 	addss	(Y), %xmm8

  4023. 	addq	INCY, Y

  4024. 	addss	(Y), %xmm9

  4025. 	addq	INCY, Y

  4026. 	addss	(Y), %xmm10

  4027. 	addq	INCY, Y

  4028. 	addss	(Y), %xmm11

  4029. 	addq	INCY, Y

  4030. 

  4031. 	movss	%xmm8, (Y1)

  4032. 	addq	INCY, Y1

  4033. 	movss	%xmm9, (Y1)

  4034. 	addq	INCY, Y1

  4035. 	movss	%xmm10, (Y1)

  4036. 	addq	INCY, Y1

  4037. 	movss	%xmm11, (Y1)

  4038. 	addq	INCY, Y1

  4039. 

  4040. 	cmpq	$4, N

  4041. 	jge	.L201

  4042. 	ALIGN_4

  4043. 

  4044. .L210:

  4045. 	cmpq	$3, N

  4046. 	jne	.L220

  4047. 

  4048. 	leaq	32 * SIZE(BUFFER), X1

  4049. 

  4050. 	movq	A, A1

  4051. 	leaq	(A1, LDA, 2), A2

  4052. 	leaq	(A1, LDA, 4), A

  4053. 

  4054. 	xorps	%xmm8, %xmm8

  4055. 	xorps	%xmm9, %xmm9

  4056. 	xorps	%xmm10, %xmm10

  4057. 

  4058. 	cmpq	$3, M

  4059. 	jle	.L217

  4060. 

  4061. 	testq	$SIZE, A1

  4062. 	je	.L21X

  4063. 

  4064. 	movss	-32 * SIZE(A1), %xmm0

  4065. 	movss	-32 * SIZE(X1), %xmm4

  4066. 	mulss	%xmm4, %xmm0

  4067. 	addss	%xmm0, %xmm8

  4068. 	movss	-32 * SIZE(A1, LDA), %xmm1

  4069. 	mulss	%xmm4, %xmm1

  4070. 	addss	%xmm1, %xmm9

  4071. 	movss	-32 * SIZE(A2), %xmm2

  4072. 	mulss	%xmm4, %xmm2

  4073. 	addss	%xmm2, %xmm10

  4074. 

  4075. 	addq	 $1 * SIZE, A1

  4076. 	addq	 $1 * SIZE, A2

  4077. 	addq	 $1 * SIZE, X1

  4078. 	ALIGN_3

  4079. 

  4080. .L21X:

  4081. 	testq	$2 * SIZE, A1

  4082. 	je	.L21XX

  4083. 

  4084. #ifdef movsd

  4085. 	xorps	%xmm0, %xmm0

  4086. 	xorps	%xmm4, %xmm4

  4087. #endif

  4088. 	movsd	-32 * SIZE(A1), %xmm0

  4089. 	movsd	-32 * SIZE(X1), %xmm4

  4090. 	mulps	%xmm4, %xmm0

  4091. 	addps	%xmm0, %xmm8

  4092. #ifdef movsd

  4093. 	xorps	%xmm1, %xmm1

  4094. #endif

  4095. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  4096. 	mulps	%xmm4, %xmm1

  4097. 	addps	%xmm1, %xmm9

  4098. #ifdef movsd

  4099. 	xorps	%xmm2, %xmm2

  4100. #endif

  4101. 	movsd	-32 * SIZE(A2), %xmm2

  4102. 	mulps	%xmm4, %xmm2

  4103. 	addps	%xmm2, %xmm10

  4104. 

  4105. 	addq	 $2 * SIZE, A1

  4106. 	addq	 $2 * SIZE, A2

  4107. 	addq	 $2 * SIZE, X1

  4108. 	ALIGN_3

  4109. 

  4110. .L21XX:

  4111. 	movaps	-33 * SIZE(A1, LDA), %xmm12

  4112. 	movaps	-34 * SIZE(A2), %xmm13

  4113. 

  4114. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  4115. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  4116. 

  4117. #ifdef PREFETCHW

  4118. 	PREFETCHW	4 * SIZE(Y1)

  4119. #endif

  4120. 

  4121. 	movq	MM,  I

  4122. 	sarq	$4,  I

  4123. 	jle	.L215

  4124. 

  4125. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  4126. 	MOVUPS_A2 (-29 * SIZE, A1, LDA, 1, %xmm1)

  4127. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  4128. 

  4129. 	decq	I

  4130. 	jle	.L213

  4131. 	ALIGN_4

  4132. 

  4133. .L212:

  4134. #ifdef PREFETCH

  4135. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1)

  4136. #endif

  4137. 

  4138. 	mulps	%xmm4, %xmm0

  4139. 	addps	%xmm0, %xmm8

  4140. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  4141. 	movss	 %xmm1,  %xmm12

  4142. 	shufps	 $0x39,  %xmm12, %xmm12

  4143. 	mulps	 %xmm4,  %xmm12

  4144. 	addps	 %xmm12, %xmm9

  4145. 	MOVUPS_A2 (-25 * SIZE, A1, LDA, 1, %xmm12)

  4146. 

  4147. 	shufps	 $0x4e, %xmm2, %xmm13

  4148. 	mulps	 %xmm4, %xmm13

  4149. 	addps	 %xmm13, %xmm10

  4150. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  4151. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  4152. 

  4153. #ifdef PREFETCH

  4154. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1, LDA)

  4155. #endif

  4156. 

  4157. 	mulps	%xmm5, %xmm0

  4158. 	addps	%xmm0, %xmm8

  4159. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  4160. 	movss	 %xmm12,  %xmm1

  4161. 	shufps	 $0x39,  %xmm1, %xmm1

  4162. 	mulps	 %xmm5,  %xmm1

  4163. 	addps	 %xmm1, %xmm9

  4164. 	MOVUPS_A2 (-21 * SIZE, A1, LDA, 1, %xmm1)

  4165. 

  4166. 	shufps	 $0x4e, %xmm13, %xmm2

  4167. 	mulps	 %xmm5, %xmm2

  4168. 	addps	 %xmm2, %xmm10

  4169. 	MOVUPS_A1 (-22 * SIZE, A2, %xmm2)

  4170. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  4171. 

  4172. #ifdef PREFETCH

  4173. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A2)

  4174. #endif

  4175. 

  4176. 	mulps	%xmm4, %xmm0

  4177. 	addps	%xmm0, %xmm8

  4178. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  4179. 	movss	 %xmm1,  %xmm12

  4180. 	shufps	 $0x39,  %xmm12, %xmm12

  4181. 	mulps	 %xmm4,  %xmm12

  4182. 	addps	 %xmm12, %xmm9

  4183. 	MOVUPS_A2 (-17 * SIZE, A1, LDA, 1, %xmm12)

  4184. 	shufps	 $0x4e, %xmm2, %xmm13

  4185. 	mulps	 %xmm4, %xmm13

  4186. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  4187. 	addps	 %xmm13, %xmm10

  4188. 	MOVUPS_A1 (-18 * SIZE, A2, %xmm13)

  4189. 

  4190. #ifdef PREFETCHW

  4191. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(X1)

  4192. #endif

  4193. 

  4194. 	mulps	%xmm5, %xmm0

  4195. 	addps	%xmm0, %xmm8

  4196. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  4197. 	movss	 %xmm12,  %xmm1

  4198. 	shufps	 $0x39,  %xmm1, %xmm1

  4199. 	mulps	 %xmm5,  %xmm1

  4200. 	addps	 %xmm1, %xmm9

  4201. 	MOVUPS_A2 (-13 * SIZE, A1, LDA, 1, %xmm1)

  4202. 	shufps	 $0x4e, %xmm13, %xmm2

  4203. 	mulps	 %xmm5, %xmm2

  4204. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  4205. 	addps	 %xmm2, %xmm10

  4206. 	MOVUPS_A1 (-14 * SIZE, A2, %xmm2)

  4207. 

  4208. 	addq	$16 * SIZE, A1

  4209. 	addq	$16 * SIZE, A2

  4210. 	addq	$16 * SIZE, X1

  4211. 

  4212. 	decq	I

  4213. 	jg	.L212

  4214. 	ALIGN_4

  4215. 

  4216. .L213:

  4217. 	mulps	%xmm4, %xmm0

  4218. 	addps	%xmm0, %xmm8

  4219. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  4220. 	movss	 %xmm1,  %xmm12

  4221. 	shufps	 $0x39,  %xmm12, %xmm12

  4222. 	mulps	 %xmm4,  %xmm12

  4223. 	addps	 %xmm12, %xmm9

  4224. 	MOVUPS_A2 (-25 * SIZE, A1, LDA, 1, %xmm12)

  4225. 

  4226. 	shufps	 $0x4e, %xmm2, %xmm13

  4227. 	mulps	 %xmm4, %xmm13

  4228. 	addps	 %xmm13, %xmm10

  4229. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  4230. 	movss	 %xmm3,  %xmm14

  4231. 	shufps	 $0x93, %xmm3, %xmm14

  4232. 	mulps	 %xmm4, %xmm14

  4233. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  4234. 	addps	 %xmm14, %xmm11

  4235. 	MOVUPS_A2 (-27 * SIZE, A2, LDA, 1, %xmm14)

  4236. 

  4237. 	mulps	%xmm5, %xmm0

  4238. 	addps	%xmm0, %xmm8

  4239. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  4240. 	movss	 %xmm12,  %xmm1

  4241. 	shufps	 $0x39,  %xmm1, %xmm1

  4242. 	mulps	 %xmm5,  %xmm1

  4243. 	addps	 %xmm1, %xmm9

  4244. 	MOVUPS_A2 (-21 * SIZE, A1, LDA, 1, %xmm1)

  4245. 

  4246. 	shufps	 $0x4e, %xmm13, %xmm2

  4247. 	mulps	 %xmm5, %xmm2

  4248. 	addps	 %xmm2, %xmm10

  4249. 	MOVUPS_A1 (-22 * SIZE, A2, %xmm2)

  4250. 	movss	 %xmm14,  %xmm3

  4251. 	shufps	 $0x93, %xmm14, %xmm3

  4252. 	mulps	 %xmm5, %xmm3

  4253. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  4254. 	addps	 %xmm3, %xmm11

  4255. 	MOVUPS_A2 (-23 * SIZE, A2, LDA, 1, %xmm3)

  4256. 

  4257. 	mulps	%xmm4, %xmm0

  4258. 	addps	%xmm0, %xmm8

  4259. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  4260. 	movss	 %xmm1,  %xmm12

  4261. 	shufps	 $0x39,  %xmm12, %xmm12

  4262. 	mulps	 %xmm4,  %xmm12

  4263. 	addps	 %xmm12, %xmm9

  4264. 	MOVUPS_A2 (-17 * SIZE, A1, LDA, 1, %xmm12)

  4265. 

  4266. 	shufps	 $0x4e, %xmm2, %xmm13

  4267. 	mulps	 %xmm4, %xmm13

  4268. 	addps	 %xmm13, %xmm10

  4269. 	MOVUPS_A1 (-18 * SIZE, A2, %xmm13)

  4270. 	movss	 %xmm3,  %xmm14

  4271. 	shufps	 $0x93, %xmm3, %xmm14

  4272. 	mulps	 %xmm4, %xmm14

  4273. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  4274. 	addps	 %xmm14, %xmm11

  4275. 	MOVUPS_A2 (-19 * SIZE, A2, LDA, 1, %xmm14)

  4276. 

  4277. 	mulps	%xmm5, %xmm0

  4278. 	addps	%xmm0, %xmm8

  4279. 	movss	 %xmm12,  %xmm1

  4280. 	shufps	 $0x39,  %xmm1, %xmm1

  4281. 	mulps	 %xmm5,  %xmm1

  4282. 	addps	 %xmm1, %xmm9

  4283. 

  4284. 	shufps	 $0x4e, %xmm13, %xmm2

  4285. 	mulps	 %xmm5, %xmm2

  4286. 	addps	 %xmm2, %xmm10

  4287. 	movss	 %xmm14,  %xmm3

  4288. 	shufps	 $0x93, %xmm14, %xmm3

  4289. 	mulps	 %xmm5, %xmm3

  4290. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  4291. 	addps	 %xmm3, %xmm11

  4292. 

  4293. 	addq	$16 * SIZE, A1

  4294. 	addq	$16 * SIZE, A2

  4295. 	addq	$16 * SIZE, X1

  4296. 	ALIGN_4

  4297. 

  4298. .L215:

  4299. 	testq	$8, MM

  4300. 	jle	.L216

  4301. 

  4302. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  4303. 	MOVUPS_A2 (-29 * SIZE, A1, LDA, 1, %xmm1)

  4304. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  4305. 

  4306. 	mulps	%xmm4, %xmm0

  4307. 	addps	%xmm0, %xmm8

  4308. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  4309. 	movss	 %xmm1,  %xmm12

  4310. 	shufps	 $0x39,  %xmm12, %xmm12

  4311. 	mulps	 %xmm4,  %xmm12

  4312. 	addps	 %xmm12, %xmm9

  4313. 	MOVUPS_A2 (-25 * SIZE, A1, LDA, 1, %xmm12)

  4314. 

  4315. 	shufps	 $0x4e, %xmm2, %xmm13

  4316. 	mulps	 %xmm4, %xmm13

  4317. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  4318. 	addps	 %xmm13, %xmm10

  4319. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  4320. 

  4321. 	mulps	%xmm5, %xmm0

  4322. 	addps	%xmm0, %xmm8

  4323. 	movss	 %xmm12,  %xmm1

  4324. 	shufps	 $0x39,  %xmm1, %xmm1

  4325. 	mulps	 %xmm5,  %xmm1

  4326. 	addps	 %xmm1, %xmm9

  4327. 

  4328. 	shufps	 $0x4e, %xmm13, %xmm2

  4329. 	mulps	 %xmm5, %xmm2

  4330. 	addps	 %xmm2, %xmm10

  4331. 

  4332. 	addq	$8 * SIZE, A1

  4333. 	addq	$8 * SIZE, A2

  4334. 	addq	$8 * SIZE, X1

  4335. 	ALIGN_4

  4336. 

  4337. .L216:

  4338. 	testq	$4, MM

  4339. 	jle	.L217

  4340. 

  4341. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  4342. 	MOVUPS_A2 (-29 * SIZE, A1, LDA, 1, %xmm1)

  4343. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  4344. 

  4345. 	mulps	%xmm4, %xmm0

  4346. 	addps	%xmm0, %xmm8

  4347. 	movss	 %xmm1,  %xmm12

  4348. 	shufps	 $0x39,  %xmm12, %xmm12

  4349. 	mulps	 %xmm4,  %xmm12

  4350. 	addps	 %xmm12, %xmm9

  4351. 

  4352. 	shufps	 $0x4e, %xmm2, %xmm13

  4353. 	mulps	 %xmm4, %xmm13

  4354. 	addps	 %xmm13, %xmm10

  4355. 

  4356. 	addq	$4 * SIZE, A1

  4357. 	addq	$4 * SIZE, A2

  4358. 	addq	$4 * SIZE, X1

  4359. 	ALIGN_4

  4360. 

  4361. .L217:

  4362. 	testq	$2, MM

  4363. 	jle	.L218

  4364. 

  4365. #ifdef movsd

  4366. 	xorps	%xmm0, %xmm0

  4367. #endif

  4368. 	movsd	-32 * SIZE(A1), %xmm0

  4369. #ifdef movsd

  4370. 	xorps	%xmm4, %xmm4

  4371. #endif

  4372. 	movsd	-32 * SIZE(X1), %xmm4

  4373. 	mulps	%xmm4, %xmm0

  4374. 	addps	%xmm0, %xmm8

  4375. #ifdef movsd

  4376. 	xorps	%xmm1, %xmm1

  4377. #endif

  4378. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  4379. 	mulps	%xmm4, %xmm1

  4380. 	addps	%xmm1, %xmm9

  4381. #ifdef movsd

  4382. 	xorps	%xmm2, %xmm2

  4383. #endif

  4384. 	movsd	-32 * SIZE(A2), %xmm2

  4385. 	mulps	%xmm4, %xmm2

  4386. 	addps	%xmm2, %xmm10

  4387. 

  4388. 	addq	$2 * SIZE, A1

  4389. 	addq	$2 * SIZE, A2

  4390. 	addq	$2 * SIZE, X1

  4391. 	ALIGN_4

  4392. 

  4393. .L218:

  4394. 	testq	$1, MM

  4395. 	jle	.L219

  4396. 

  4397. 	movss	-32 * SIZE(A1), %xmm0

  4398. 	movss	-32 * SIZE(X1), %xmm4

  4399. 	mulss	%xmm4, %xmm0

  4400. 	addss	%xmm0, %xmm8

  4401. 	movss	-32 * SIZE(A1, LDA), %xmm1

  4402. 	mulss	%xmm4, %xmm1

  4403. 	addss	%xmm1, %xmm9

  4404. 	movss	-32 * SIZE(A2), %xmm2

  4405. 	mulss	%xmm4, %xmm2

  4406. 	addss	%xmm2, %xmm10

  4407. 	ALIGN_4

  4408. 

  4409. .L219:

  4410. #ifdef HAVE_SSE3

  4411. 	haddps	%xmm9, %xmm8

  4412. 	haddps	%xmm11, %xmm10

  4413. 	haddps	%xmm10, %xmm8

  4414. 

  4415. 	pshufd	$0x1, %xmm8, %xmm9

  4416. 	pshufd	$0x2, %xmm8, %xmm10

  4417. #else

  4418. 	movaps	%xmm8, %xmm0

  4419. 	unpcklps %xmm9, %xmm8

  4420. 	unpckhps %xmm9, %xmm0

  4421. 

  4422. 	movaps	%xmm10, %xmm1

  4423. 	unpcklps %xmm11, %xmm10

  4424. 	unpckhps %xmm11, %xmm1

  4425. 

  4426. 	movaps	%xmm8, %xmm9

  4427. 	unpcklps %xmm10, %xmm8

  4428. 	unpckhps %xmm10, %xmm9

  4429. 

  4430. 	movaps	%xmm0, %xmm10

  4431. 	unpcklps %xmm1, %xmm0

  4432. 	unpckhps %xmm1, %xmm10

  4433. 

  4434. 	addps	%xmm9, %xmm8

  4435. 	addps	%xmm0, %xmm10

  4436. 	addps	%xmm10, %xmm8

  4437. 

  4438. 	pshufd	$0x2, %xmm8, %xmm9

  4439. 	pshufd	$0x1, %xmm8, %xmm10

  4440. #endif

  4441. 

  4442. 	mulss	ALPHA, %xmm8

  4443. 	mulss	ALPHA, %xmm9

  4444. 	mulss	ALPHA, %xmm10

  4445. 

  4446. 	addss	(Y), %xmm8

  4447. 	addq	INCY, Y

  4448. 	addss	(Y), %xmm9

  4449. 	addq	INCY, Y

  4450. 	addss	(Y), %xmm10

  4451. 

  4452. 	movss	%xmm8, (Y1)

  4453. 	addq	INCY, Y1

  4454. 	movss	%xmm9, (Y1)

  4455. 	addq	INCY, Y1

  4456. 	movss	%xmm10, (Y1)

  4457. 	jmp	.L999

  4458. 	ALIGN_4

  4459. 

  4460. .L220:

  4461. 	testq	N, N

  4462. 	jle	.L999

  4463. 

  4464. 	cmpq	$2, N

  4465. 	jne	.L230

  4466. 

  4467. 	leaq	32 * SIZE(BUFFER), X1

  4468. 

  4469. 	movq	A, A1

  4470. 	leaq	(A1, LDA), A2

  4471. 	leaq	(A1, LDA, 2), A

  4472. 

  4473. 	xorps	%xmm8, %xmm8

  4474. 	xorps	%xmm9, %xmm9

  4475. 

  4476. 	cmpq	$3, M

  4477. 	jle	.L227

  4478. 

  4479. 	testq	$SIZE, A1

  4480. 	je	.L22X

  4481. 

  4482. 	movss	-32 * SIZE(A1), %xmm0

  4483. 	movss	-32 * SIZE(X1), %xmm4

  4484. 	mulss	%xmm4, %xmm0

  4485. 	addss	%xmm0, %xmm8

  4486. 	movss	-32 * SIZE(A2), %xmm1

  4487. 	mulss	%xmm4, %xmm1

  4488. 	addss	%xmm1, %xmm9

  4489. 

  4490. 	addq	 $1 * SIZE, A1

  4491. 	addq	 $1 * SIZE, A2

  4492. 	addq	 $1 * SIZE, X1

  4493. 	ALIGN_3

  4494. 

  4495. .L22X:

  4496. 	testq	$2 * SIZE, A1

  4497. 	je	.L22XX

  4498. 

  4499. #ifdef movsd

  4500. 	xorps	%xmm0, %xmm0

  4501. 	xorps	%xmm4, %xmm4

  4502. #endif

  4503. 	movsd	-32 * SIZE(A1), %xmm0

  4504. 	movsd	-32 * SIZE(X1), %xmm4

  4505. 	mulps	%xmm4, %xmm0

  4506. 	addps	%xmm0, %xmm8

  4507. #ifdef movsd

  4508. 	xorps	%xmm1, %xmm1

  4509. #endif

  4510. 	movsd	-32 * SIZE(A2), %xmm1

  4511. 	mulps	%xmm4, %xmm1

  4512. 	addps	%xmm1, %xmm9

  4513. 

  4514. 	addq	 $2 * SIZE, A1

  4515. 	addq	 $2 * SIZE, A2

  4516. 	addq	 $2 * SIZE, X1

  4517. 	ALIGN_3

  4518. 

  4519. .L22XX:

  4520. 	movaps	-33 * SIZE(A2), %xmm12

  4521. 

  4522. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  4523. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  4524. 

  4525. 	movq	MM,  I

  4526. 	sarq	$4,  I

  4527. 	jle	.L225

  4528. 

  4529. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  4530. 	MOVUPS_A1 (-29 * SIZE, A2, %xmm1)

  4531. 

  4532. 	decq	I

  4533. 	jle	.L223

  4534. 	ALIGN_4

  4535. 

  4536. .L222:

  4537. #ifdef PREFETCH

  4538. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  4539. #endif

  4540. 

  4541. 	mulps	%xmm4,  %xmm0

  4542. 	addps	%xmm0,  %xmm8

  4543. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm2)

  4544. 	movss	%xmm1,  %xmm12

  4545. 	shufps	$0x39,  %xmm12, %xmm12

  4546. 	mulps	%xmm4,  %xmm12

  4547. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  4548. 	addps	%xmm12, %xmm9

  4549. 	MOVUPS_A1 (-25 * SIZE, A2, %xmm12)

  4550. 

  4551. 	mulps	%xmm5,  %xmm2

  4552. 	addps	%xmm2,  %xmm8

  4553. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  4554. 	movss	%xmm12, %xmm1

  4555. 	shufps	$0x39,  %xmm1, %xmm1

  4556. 	mulps	%xmm5,  %xmm1

  4557. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  4558. 	addps	%xmm1,  %xmm9

  4559. 	MOVUPS_A1 (-21 * SIZE, A2, %xmm1)

  4560. 

  4561. #ifdef PREFETCH

  4562. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A2)

  4563. #endif

  4564. 

  4565. 	mulps	%xmm4,  %xmm0

  4566. 	addps	%xmm0,  %xmm8

  4567. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm2)

  4568. 	movss	%xmm1,  %xmm12

  4569. 	shufps	$0x39,  %xmm12, %xmm12

  4570. 	mulps	%xmm4,  %xmm12

  4571. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  4572. 	addps	%xmm12, %xmm9

  4573. 	MOVUPS_A1 (-17 * SIZE, A2, %xmm12)

  4574. 

  4575. #ifdef PREFETCHW

  4576. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(X1)

  4577. #endif

  4578. 

  4579. 	mulps	%xmm5,  %xmm2

  4580. 	addps	%xmm2,  %xmm8

  4581. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  4582. 	movss	%xmm12, %xmm1

  4583. 	shufps	$0x39,  %xmm1, %xmm1

  4584. 	mulps	%xmm5,  %xmm1

  4585. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  4586. 	addps	%xmm1,  %xmm9

  4587. 	MOVUPS_A1 (-13 * SIZE, A2, %xmm1)

  4588. 

  4589. 	addq	$16 * SIZE, A1

  4590. 	addq	$16 * SIZE, A2

  4591. 	addq	$16 * SIZE, X1

  4592. 

  4593. 	decq	I

  4594. 	jg	.L222

  4595. 	ALIGN_4

  4596. 

  4597. .L223:

  4598. 	mulps	%xmm4,  %xmm0

  4599. 	addps	%xmm0,  %xmm8

  4600. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm2)

  4601. 	movss	%xmm1,  %xmm12

  4602. 	shufps	$0x39,  %xmm12, %xmm12

  4603. 	mulps	%xmm4,  %xmm12

  4604. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  4605. 	addps	%xmm12, %xmm9

  4606. 	MOVUPS_A1 (-25 * SIZE, A2, %xmm12)

  4607. 

  4608. 	mulps	%xmm5,  %xmm2

  4609. 	addps	%xmm2,  %xmm8

  4610. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  4611. 	movss	%xmm12, %xmm1

  4612. 	shufps	$0x39,  %xmm1, %xmm1

  4613. 	mulps	%xmm5,  %xmm1

  4614. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  4615. 	addps	%xmm1,  %xmm9

  4616. 	MOVUPS_A1 (-21 * SIZE, A2, %xmm1)

  4617. 

  4618. 	mulps	%xmm4,  %xmm0

  4619. 	addps	%xmm0,  %xmm8

  4620. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm2)

  4621. 	movss	%xmm1,  %xmm12

  4622. 	shufps	$0x39,  %xmm12, %xmm12

  4623. 	mulps	%xmm4,  %xmm12

  4624. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  4625. 	addps	%xmm12, %xmm9

  4626. 	MOVUPS_A1 (-17 * SIZE, A2, %xmm12)

  4627. 

  4628. 	mulps	%xmm5,  %xmm2

  4629. 	addps	%xmm2,  %xmm8

  4630. 	movss	%xmm12, %xmm1

  4631. 	shufps	$0x39,  %xmm1, %xmm1

  4632. 	mulps	%xmm5,  %xmm1

  4633. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  4634. 	addps	%xmm1,  %xmm9

  4635. 

  4636. 	addq	$16 * SIZE, A1

  4637. 	addq	$16 * SIZE, A2

  4638. 	addq	$16 * SIZE, X1

  4639. 	ALIGN_4

  4640. 

  4641. .L225:

  4642. 	testq	$8, MM

  4643. 	jle	.L226

  4644. 

  4645. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  4646. 	MOVUPS_A1 (-29 * SIZE, A2, %xmm1)

  4647. 

  4648. 	mulps	%xmm4,  %xmm0

  4649. 	addps	%xmm0,  %xmm8

  4650. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm2)

  4651. 	movss	%xmm1,  %xmm12

  4652. 	shufps	$0x39,  %xmm12, %xmm12

  4653. 	mulps	%xmm4,  %xmm12

  4654. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  4655. 	addps	%xmm12, %xmm9

  4656. 	MOVUPS_A1 (-25 * SIZE, A2, %xmm12)

  4657. 

  4658. 	mulps	%xmm5,  %xmm2

  4659. 	addps	%xmm2,  %xmm8

  4660. 	movss	%xmm12, %xmm1

  4661. 	shufps	$0x39,  %xmm1, %xmm1

  4662. 	mulps	%xmm5,  %xmm1

  4663. 	addps	%xmm1,  %xmm9

  4664. 

  4665. 	addq	$8 * SIZE, A1

  4666. 	addq	$8 * SIZE, A2

  4667. 	addq	$8 * SIZE, X1

  4668. 	ALIGN_4

  4669. 

  4670. .L226:

  4671. 	testq	$4, MM

  4672. 	jle	.L227

  4673. 

  4674. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  4675. 	MOVUPS_A1 (-29 * SIZE, A2, %xmm1)

  4676. 

  4677. 	mulps	%xmm4, %xmm0

  4678. 	addps	%xmm0, %xmm8

  4679. 

  4680. 	movss	 %xmm1,  %xmm12

  4681. 	shufps	 $0x39,  %xmm12, %xmm12

  4682. 	mulps	 %xmm4,  %xmm12

  4683. 	addps	 %xmm12, %xmm9

  4684. 

  4685. 	addq	$4 * SIZE, A1

  4686. 	addq	$4 * SIZE, A2

  4687. 	addq	$4 * SIZE, X1

  4688. 	ALIGN_4

  4689. 

  4690. .L227:

  4691. 	testq	$2, MM

  4692. 	jle	.L228

  4693. 

  4694. #ifdef movsd

  4695. 	xorps	%xmm0, %xmm0

  4696. #endif

  4697. 	movsd	-32 * SIZE(A1), %xmm0

  4698. #ifdef movsd

  4699. 	xorps	%xmm4, %xmm4

  4700. #endif

  4701. 	movsd	-32 * SIZE(X1), %xmm4

  4702. 	mulps	%xmm4, %xmm0

  4703. 	addps	%xmm0, %xmm8

  4704. #ifdef movsd

  4705. 	xorps	%xmm1, %xmm1

  4706. #endif

  4707. 	movsd	-32 * SIZE(A2), %xmm1

  4708. 	mulps	%xmm4, %xmm1

  4709. 	addps	%xmm1, %xmm9

  4710. 	shufps	$0xe, %xmm4, %xmm4

  4711. 

  4712. 	addq	$2 * SIZE, A1

  4713. 	addq	$2 * SIZE, A2

  4714. 	addq	$2 * SIZE, X1

  4715. 	ALIGN_4

  4716. 

  4717. .L228:

  4718. 	testq	$1, MM

  4719. 	jle	.L229

  4720. 

  4721. 	movss	-32 * SIZE(A1), %xmm0

  4722. 	movss	-32 * SIZE(X1), %xmm4

  4723. 	mulss	%xmm4, %xmm0

  4724. 	addss	%xmm0, %xmm8

  4725. 	movss	-32 * SIZE(A2), %xmm1

  4726. 	mulss	%xmm4, %xmm1

  4727. 	addss	%xmm1, %xmm9

  4728. 	ALIGN_4

  4729. 

  4730. .L229:

  4731. #ifdef HAVE_SSE3

  4732. 	haddps	%xmm9, %xmm8

  4733. 	haddps	%xmm8, %xmm8

  4734. #else

  4735. 	movaps	%xmm8, %xmm10

  4736. 	unpcklps %xmm9, %xmm8

  4737. 	unpckhps %xmm9, %xmm10

  4738. 

  4739. 	addps	%xmm10, %xmm8

  4740. 	movhlps %xmm8, %xmm9

  4741. 	addps	%xmm9, %xmm8

  4742. #endif

  4743. 

  4744. 	pshufd	$0x1, %xmm8, %xmm9

  4745. 

  4746. 	mulss	ALPHA, %xmm8

  4747. 	mulss	ALPHA, %xmm9

  4748. 

  4749. 	addss	(Y), %xmm8

  4750. 	addq	INCY, Y

  4751. 	addss	(Y), %xmm9

  4752. 	addq	INCY, Y

  4753. 

  4754. 	movss	%xmm8, (Y1)

  4755. 	addq	INCY, Y1

  4756. 	movss	%xmm9, (Y1)

  4757. 	addq	INCY, Y1

  4758. 	jmp	.L999

  4759. 	ALIGN_4

  4760. 

  4761. .L230:

  4762. 	cmpq	$1, N

  4763. 	jne	.L999

  4764. 

  4765. 	leaq	32 * SIZE(BUFFER), X1

  4766. 

  4767. 	movq	A, A1

  4768. 

  4769. 	xorps	%xmm8, %xmm8

  4770. 	xorps	%xmm9, %xmm9

  4771. 

  4772. 	cmpq	$3, M

  4773. 	jle	.L237

  4774. 

  4775. 	testq	$SIZE, A1

  4776. 	je	.L23X

  4777. 

  4778. 	movss	-32 * SIZE(A1), %xmm0

  4779. 	movss	-32 * SIZE(X1), %xmm4

  4780. 	mulss	%xmm4, %xmm0

  4781. 	addss	%xmm0, %xmm8

  4782. 

  4783. 	addq	 $1 * SIZE, A1

  4784. 	addq	 $1 * SIZE, X1

  4785. 	ALIGN_3

  4786. 

  4787. .L23X:

  4788. 	testq	$2 * SIZE, A1

  4789. 	je	.L23XX

  4790. 

  4791. #ifdef movsd

  4792. 	xorps	%xmm0, %xmm0

  4793. 	xorps	%xmm4, %xmm4

  4794. #endif

  4795. 	movsd	-32 * SIZE(A1), %xmm0

  4796. 	movsd	-32 * SIZE(X1), %xmm4

  4797. 	mulps	%xmm4, %xmm0

  4798. 	addps	%xmm0, %xmm8

  4799. 	shufps	$0xe, %xmm4, %xmm4

  4800. 

  4801. 	addq	 $2 * SIZE, A1

  4802. 	addq	 $2 * SIZE, X1

  4803. 	ALIGN_3

  4804. 

  4805. .L23XX:

  4806. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  4807. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  4808. 

  4809. 

  4810. 	movq	MM,  I

  4811. 	sarq	$4,  I

  4812. 	jle	.L235

  4813. 

  4814. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  4815. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  4816. 

  4817. 	decq	I

  4818. 	jle	.L233

  4819. 	ALIGN_4

  4820. 

  4821. .L232:

  4822. #ifdef PREFETCH

  4823. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(A1)

  4824. #endif

  4825. 

  4826. 	mulps	%xmm4, %xmm0

  4827. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  4828. 	addps	%xmm0, %xmm8

  4829. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  4830. 

  4831. 	mulps	%xmm5, %xmm12

  4832. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  4833. 	addps	%xmm12, %xmm9

  4834. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  4835. 

  4836. #ifdef PREFETCHW

  4837. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(X1)

  4838. #endif

  4839. 

  4840. 	mulps	%xmm4, %xmm0

  4841. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  4842. 	addps	%xmm0, %xmm8

  4843. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  4844. 

  4845. 	mulps	%xmm5, %xmm12

  4846. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  4847. 	addps	%xmm12, %xmm9

  4848. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm12)

  4849. 

  4850. 	addq	$16 * SIZE, A1

  4851. 	addq	$16 * SIZE, X1

  4852. 

  4853. 	decq	I

  4854. 	jg	.L232

  4855. 	ALIGN_4

  4856. 

  4857. .L233:

  4858. 	mulps	%xmm4, %xmm0

  4859. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  4860. 	addps	%xmm0, %xmm8

  4861. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  4862. 

  4863. 	mulps	%xmm5, %xmm12

  4864. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  4865. 	addps	%xmm12, %xmm9

  4866. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  4867. 

  4868. 	mulps	%xmm4, %xmm0

  4869. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  4870. 	addps	%xmm0, %xmm8

  4871. 

  4872. 	mulps	%xmm5, %xmm12

  4873. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  4874. 	addps	%xmm12, %xmm9

  4875. 

  4876. 	addq	$16 * SIZE, A1

  4877. 	addq	$16 * SIZE, X1

  4878. 	ALIGN_4

  4879. 

  4880. .L235:

  4881. 	testq	$8, MM

  4882. 	jle	.L236

  4883. 

  4884. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  4885. 	mulps	%xmm4, %xmm0

  4886. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  4887. 	addps	%xmm0, %xmm8

  4888. 

  4889. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  4890. 	mulps	%xmm5, %xmm12

  4891. 	addps	%xmm12, %xmm9

  4892. 

  4893. 	addq	$8 * SIZE, A1

  4894. 	addq	$8 * SIZE, X1

  4895. 	ALIGN_4

  4896. 

  4897. .L236:

  4898. 	testq	$4, MM

  4899. 	jle	.L237

  4900. 

  4901. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  4902. 	mulps	%xmm4, %xmm0

  4903. 	addps	%xmm0, %xmm8

  4904. 

  4905. 	addq	$4 * SIZE, A1

  4906. 	addq	$4 * SIZE, X1

  4907. 	ALIGN_4

  4908. 

  4909. .L237:

  4910. 	testq	$2, MM

  4911. 	jle	.L238

  4912. 

  4913. #ifdef movsd

  4914. 	xorps	%xmm0, %xmm0

  4915. #endif

  4916. 	movsd	-32 * SIZE(A1), %xmm0

  4917. #ifdef movsd

  4918. 	xorps	%xmm4, %xmm4

  4919. #endif

  4920. 	movsd	-32 * SIZE(X1), %xmm4

  4921. 	mulps	%xmm4, %xmm0

  4922. 	addps	%xmm0, %xmm8

  4923. 	shufps	$0xe, %xmm4, %xmm4

  4924. 

  4925. 	addq	$2 * SIZE, A1

  4926. 	addq	$2 * SIZE, X1

  4927. 	ALIGN_4

  4928. 

  4929. .L238:

  4930. 	testq	$1, MM

  4931. 	jle	.L239

  4932. 

  4933. 	movss	-32 * SIZE(A1), %xmm0

  4934. 	movss	-32 * SIZE(X1), %xmm4

  4935. 	mulss	%xmm4, %xmm0

  4936. 	addss	%xmm0, %xmm8

  4937. 	ALIGN_4

  4938. 

  4939. .L239:

  4940. 	addps	%xmm9, %xmm8

  4941. 

  4942. #ifdef HAVE_SSE3

  4943. 	haddps	%xmm8, %xmm8

  4944. 	haddps	%xmm8, %xmm8

  4945. #else

  4946. 	pshufd	$1, %xmm8, %xmm9

  4947. 	pshufd	$2, %xmm8, %xmm10

  4948. 	pshufd	$3, %xmm8, %xmm11

  4949. 

  4950. 	addss	%xmm9, %xmm8

  4951. 	addss	%xmm11, %xmm10

  4952. 	addss	%xmm10, %xmm8

  4953. #endif

  4954. 

  4955. 	mulss	ALPHA, %xmm8

  4956. 

  4957. 	addss	(Y), %xmm8

  4958. 	movss	%xmm8, (Y1)

  4959. 	jmp	.L999

  4960. 	ALIGN_4

  4961. 

  4962. .L300:

  4963. 	cmpq	$4, N

  4964. 	jl	.L310

  4965. 	ALIGN_3

  4966. 

  4967. .L301:

  4968. 	subq	$4, N

  4969. 

  4970. 	leaq	32 * SIZE(BUFFER), X1

  4971. 

  4972. 	movq	A, A1

  4973. 	leaq	(A1, LDA, 2), A2

  4974. 	leaq	(A1, LDA, 4), A

  4975. 

  4976. 	xorps	%xmm8, %xmm8

  4977. 	xorps	%xmm9, %xmm9

  4978. 	xorps	%xmm10, %xmm10

  4979. 	xorps	%xmm11, %xmm11

  4980. 

  4981. 	cmpq	$3, M

  4982. 	jle	.L307

  4983. 

  4984. 	testq	$SIZE, A1

  4985. 	je	.L30X

  4986. 

  4987. 	movss	-32 * SIZE(A1), %xmm0

  4988. 	movss	-32 * SIZE(X1), %xmm4

  4989. 	mulss	%xmm4, %xmm0

  4990. 	addss	%xmm0, %xmm8

  4991. 	movss	-32 * SIZE(A1, LDA), %xmm1

  4992. 	mulss	%xmm4, %xmm1

  4993. 	addss	%xmm1, %xmm9

  4994. 	movss	-32 * SIZE(A2), %xmm2

  4995. 	mulss	%xmm4, %xmm2

  4996. 	addss	%xmm2, %xmm10

  4997. 	movss	-32 * SIZE(A2, LDA), %xmm3

  4998. 	mulss	%xmm4, %xmm3

  4999. 	addss	%xmm3, %xmm11

  5000. 

  5001. 	addq	 $1 * SIZE, A1

  5002. 	addq	 $1 * SIZE, A2

  5003. 	addq	 $1 * SIZE, X1

  5004. 	ALIGN_3

  5005. 

  5006. .L30X:

  5007. 	testq	$2 * SIZE, A1

  5008. 	je	.L30XX

  5009. 

  5010. #ifdef movsd

  5011. 	xorps	%xmm0, %xmm0

  5012. 	xorps	%xmm4, %xmm4

  5013. #endif

  5014. 	movsd	-32 * SIZE(A1), %xmm0

  5015. 	movsd	-32 * SIZE(X1), %xmm4

  5016. 	mulps	%xmm4, %xmm0

  5017. 	addps	%xmm0, %xmm8

  5018. #ifdef movsd

  5019. 	xorps	%xmm1, %xmm1

  5020. #endif

  5021. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  5022. 	mulps	%xmm4, %xmm1

  5023. 	addps	%xmm1, %xmm9

  5024. #ifdef movsd

  5025. 	xorps	%xmm2, %xmm2

  5026. #endif

  5027. 	movsd	-32 * SIZE(A2), %xmm2

  5028. 	mulps	%xmm4, %xmm2

  5029. 	addps	%xmm2, %xmm10

  5030. #ifdef movsd

  5031. 	xorps	%xmm3, %xmm3

  5032. #endif

  5033. 	movsd	-32 * SIZE(A2, LDA), %xmm3

  5034. 	mulps	%xmm4, %xmm3

  5035. 	addps	%xmm3, %xmm11

  5036. 

  5037. 	addq	 $2 * SIZE, A1

  5038. 	addq	 $2 * SIZE, A2

  5039. 	addq	 $2 * SIZE, X1

  5040. 	ALIGN_3

  5041. 

  5042. .L30XX:

  5043. 	movaps	-35 * SIZE(A1, LDA), %xmm12

  5044. 	movaps	-34 * SIZE(A2), %xmm13

  5045. 	movaps	-33 * SIZE(A2, LDA), %xmm14

  5046. 

  5047. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  5048. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  5049. 

  5050. #ifdef PREFETCHW

  5051. 	PREFETCHW	4 * SIZE(Y1)

  5052. #endif

  5053. 

  5054. 	movq	MM,  I

  5055. 	sarq	$4,  I

  5056. 	jle	.L305

  5057. 

  5058. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  5059. 	MOVUPS_A2 (-31 * SIZE, A1, LDA, 1, %xmm1)

  5060. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  5061. 	MOVUPS_A2 (-29 * SIZE, A2, LDA, 1, %xmm3)

  5062. 

  5063. 	decq	I

  5064. 	jle	.L303

  5065. 	ALIGN_4

  5066. 

  5067. .L302:

  5068. #ifdef PREFETCH

  5069. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  5070. #endif

  5071. 

  5072. 	mulps	 %xmm4, %xmm0

  5073. 	addps	 %xmm0, %xmm8

  5074. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  5075. 	movss	 %xmm1,  %xmm12

  5076. 	shufps	 $0x93, %xmm1, %xmm12

  5077. 	mulps	 %xmm4, %xmm12

  5078. 	addps	 %xmm12, %xmm9

  5079. 	MOVUPS_A2 (-27 * SIZE, A1, LDA, 1, %xmm12)

  5080. 

  5081. 	shufps	 $0x4e, %xmm2, %xmm13

  5082. 	mulps	 %xmm4, %xmm13

  5083. 	addps	 %xmm13, %xmm10

  5084. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  5085. 	movss	 %xmm3,  %xmm14

  5086. 	shufps	 $0x39,  %xmm14, %xmm14

  5087. 	mulps	 %xmm4,  %xmm14

  5088. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  5089. 	addps	 %xmm14, %xmm11

  5090. 	MOVUPS_A2 (-25 * SIZE, A2, LDA, 1, %xmm14)

  5091. 

  5092. #ifdef PREFETCH

  5093. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1, LDA)

  5094. #endif

  5095. 

  5096. 	mulps	 %xmm5, %xmm0

  5097. 	addps	 %xmm0, %xmm8

  5098. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  5099. 	movss	 %xmm12,  %xmm1

  5100. 	shufps	 $0x93, %xmm12, %xmm1

  5101. 	mulps	 %xmm5, %xmm1

  5102. 	addps	 %xmm1, %xmm9

  5103. 	MOVUPS_A2 (-23 * SIZE, A1, LDA, 1, %xmm1)

  5104. 

  5105. 	shufps	 $0x4e, %xmm13, %xmm2

  5106. 	mulps	 %xmm5, %xmm2

  5107. 	addps	 %xmm2, %xmm10

  5108. 	MOVUPS_A1 (-22 * SIZE, A2, %xmm2)

  5109. 	movss	 %xmm14,  %xmm3

  5110. 	shufps	 $0x39,  %xmm3, %xmm3

  5111. 	mulps	 %xmm5,  %xmm3

  5112. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  5113. 	addps	 %xmm3, %xmm11

  5114. 	MOVUPS_A2 (-21 * SIZE, A2, LDA, 1, %xmm3)

  5115. 

  5116. #ifdef PREFETCH

  5117. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  5118. #endif

  5119. 

  5120. 	mulps	 %xmm4, %xmm0

  5121. 	addps	 %xmm0, %xmm8

  5122. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  5123. 	movss	 %xmm1,  %xmm12

  5124. 	shufps	 $0x93, %xmm1, %xmm12

  5125. 	mulps	 %xmm4, %xmm12

  5126. 	addps	 %xmm12, %xmm9

  5127. 	MOVUPS_A2 (-19 * SIZE, A1, LDA, 1, %xmm12)

  5128. 

  5129. 	shufps	 $0x4e, %xmm2, %xmm13

  5130. 	mulps	 %xmm4, %xmm13

  5131. 	addps	 %xmm13, %xmm10

  5132. 	MOVUPS_A1 (-18 * SIZE, A2, %xmm13)

  5133. 	movss	 %xmm3,  %xmm14

  5134. 	shufps	 $0x39,  %xmm14, %xmm14

  5135. 	mulps	 %xmm4,  %xmm14

  5136. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  5137. 	addps	 %xmm14, %xmm11

  5138. 	MOVUPS_A2 (-17 * SIZE, A2, LDA, 1, %xmm14)

  5139. 

  5140. #ifdef PREFETCH

  5141. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2, LDA)

  5142. #endif

  5143. 

  5144. 	mulps	 %xmm5, %xmm0

  5145. 	addps	 %xmm0, %xmm8

  5146. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  5147. 	movss	 %xmm12,  %xmm1

  5148. 	shufps	 $0x93, %xmm12, %xmm1

  5149. 	mulps	 %xmm5, %xmm1

  5150. 	addps	 %xmm1, %xmm9

  5151. 	MOVUPS_A2 (-15 * SIZE, A1, LDA, 1, %xmm1)

  5152. 

  5153. #ifdef PREFETCHW

  5154. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(X1)

  5155. #endif

  5156. 

  5157. 	shufps	 $0x4e, %xmm13, %xmm2

  5158. 	mulps	 %xmm5, %xmm2

  5159. 	addps	 %xmm2, %xmm10

  5160. 	MOVUPS_A1 (-14 * SIZE, A2, %xmm2)

  5161. 	movss	 %xmm14,  %xmm3

  5162. 	shufps	 $0x39,  %xmm3, %xmm3

  5163. 	mulps	 %xmm5,  %xmm3

  5164. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  5165. 	addps	 %xmm3, %xmm11

  5166. 	MOVUPS_A2 (-13 * SIZE, A2, LDA, 1, %xmm3)

  5167. 

  5168. 	addq	$16 * SIZE, A1

  5169. 	addq	$16 * SIZE, A2

  5170. 	addq	$16 * SIZE, X1

  5171. 

  5172. 	decq	I

  5173. 	jg	.L302

  5174. 	ALIGN_4

  5175. 

  5176. .L303:

  5177. 	mulps	 %xmm4, %xmm0

  5178. 	addps	 %xmm0, %xmm8

  5179. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  5180. 	movss	 %xmm1,  %xmm12

  5181. 	shufps	 $0x93, %xmm1, %xmm12

  5182. 	mulps	 %xmm4, %xmm12

  5183. 	addps	 %xmm12, %xmm9

  5184. 	MOVUPS_A2 (-27 * SIZE, A1, LDA, 1, %xmm12)

  5185. 

  5186. 	shufps	 $0x4e, %xmm2, %xmm13

  5187. 	mulps	 %xmm4, %xmm13

  5188. 	addps	 %xmm13, %xmm10

  5189. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  5190. 	movss	 %xmm3,  %xmm14

  5191. 	shufps	 $0x39,  %xmm14, %xmm14

  5192. 	mulps	 %xmm4,  %xmm14

  5193. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  5194. 	addps	 %xmm14, %xmm11

  5195. 	MOVUPS_A2 (-25 * SIZE, A2, LDA, 1, %xmm14)

  5196. 

  5197. 	mulps	 %xmm5, %xmm0

  5198. 	addps	 %xmm0, %xmm8

  5199. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  5200. 	movss	 %xmm12,  %xmm1

  5201. 	shufps	 $0x93, %xmm12, %xmm1

  5202. 	mulps	 %xmm5, %xmm1

  5203. 	addps	 %xmm1, %xmm9

  5204. 	MOVUPS_A2 (-23 * SIZE, A1, LDA, 1, %xmm1)

  5205. 

  5206. 	shufps	 $0x4e, %xmm13, %xmm2

  5207. 	mulps	 %xmm5, %xmm2

  5208. 	addps	 %xmm2, %xmm10

  5209. 	MOVUPS_A1 (-22 * SIZE, A2, %xmm2)

  5210. 	movss	 %xmm14,  %xmm3

  5211. 	shufps	 $0x39,  %xmm3, %xmm3

  5212. 	mulps	 %xmm5,  %xmm3

  5213. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  5214. 	addps	 %xmm3, %xmm11

  5215. 	MOVUPS_A2 (-21 * SIZE, A2, LDA, 1, %xmm3)

  5216. 

  5217. 	mulps	 %xmm4, %xmm0

  5218. 	addps	 %xmm0, %xmm8

  5219. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  5220. 	movss	 %xmm1,  %xmm12

  5221. 	shufps	 $0x93, %xmm1, %xmm12

  5222. 	mulps	 %xmm4, %xmm12

  5223. 	addps	 %xmm12, %xmm9

  5224. 	MOVUPS_A2 (-19 * SIZE, A1, LDA, 1, %xmm12)

  5225. 

  5226. 	shufps	 $0x4e, %xmm2, %xmm13

  5227. 	mulps	 %xmm4, %xmm13

  5228. 	addps	 %xmm13, %xmm10

  5229. 	MOVUPS_A1 (-18 * SIZE, A2, %xmm13)

  5230. 	movss	 %xmm3,  %xmm14

  5231. 	shufps	 $0x39,  %xmm14, %xmm14

  5232. 	mulps	 %xmm4,  %xmm14

  5233. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  5234. 	addps	 %xmm14, %xmm11

  5235. 	MOVUPS_A2 (-17 * SIZE, A2, LDA, 1, %xmm14)

  5236. 

  5237. 	mulps	 %xmm5, %xmm0

  5238. 	addps	 %xmm0, %xmm8

  5239. 	movss	 %xmm12,  %xmm1

  5240. 	shufps	 $0x93, %xmm12, %xmm1

  5241. 	mulps	 %xmm5, %xmm1

  5242. 	addps	 %xmm1, %xmm9

  5243. 

  5244. 	shufps	 $0x4e, %xmm13, %xmm2

  5245. 	mulps	 %xmm5, %xmm2

  5246. 	addps	 %xmm2, %xmm10

  5247. 	movss	 %xmm14,  %xmm3

  5248. 	shufps	 $0x39,  %xmm3, %xmm3

  5249. 	mulps	 %xmm5,  %xmm3

  5250. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  5251. 	addps	 %xmm3, %xmm11

  5252. 

  5253. 	addq	$16 * SIZE, A1

  5254. 	addq	$16 * SIZE, A2

  5255. 	addq	$16 * SIZE, X1

  5256. 	ALIGN_4

  5257. 

  5258. .L305:

  5259. 	testq	$8, MM

  5260. 	jle	.L306

  5261. 

  5262. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  5263. 	MOVUPS_A2 (-31 * SIZE, A1, LDA, 1, %xmm1)

  5264. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  5265. 	MOVUPS_A2 (-29 * SIZE, A2, LDA, 1, %xmm3)

  5266. 

  5267. 	mulps	 %xmm4, %xmm0

  5268. 	addps	 %xmm0, %xmm8

  5269. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  5270. 	movss	 %xmm1,  %xmm12

  5271. 	shufps	 $0x93, %xmm1, %xmm12

  5272. 	mulps	 %xmm4, %xmm12

  5273. 	addps	 %xmm12, %xmm9

  5274. 	MOVUPS_A2 (-27 * SIZE, A1, LDA, 1, %xmm12)

  5275. 

  5276. 	shufps	 $0x4e, %xmm2, %xmm13

  5277. 	mulps	 %xmm4, %xmm13

  5278. 	addps	 %xmm13, %xmm10

  5279. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  5280. 	movss	 %xmm3,  %xmm14

  5281. 	shufps	 $0x39,  %xmm14, %xmm14

  5282. 	mulps	 %xmm4,  %xmm14

  5283. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  5284. 	addps	 %xmm14, %xmm11

  5285. 	MOVUPS_A2 (-25 * SIZE, A2, LDA, 1, %xmm14)

  5286. 

  5287. 	mulps	 %xmm5, %xmm0

  5288. 	addps	 %xmm0, %xmm8

  5289. 	movss	 %xmm12,  %xmm1

  5290. 	shufps	 $0x93, %xmm12, %xmm1

  5291. 	mulps	 %xmm5, %xmm1

  5292. 	addps	 %xmm1, %xmm9

  5293. 

  5294. 	shufps	 $0x4e, %xmm13, %xmm2

  5295. 	mulps	 %xmm5, %xmm2

  5296. 	addps	 %xmm2, %xmm10

  5297. 	movss	 %xmm14,  %xmm3

  5298. 	shufps	 $0x39,  %xmm3, %xmm3

  5299. 	mulps	 %xmm5,  %xmm3

  5300. 	addps	 %xmm3, %xmm11

  5301. 

  5302. 	addq	$8 * SIZE, A1

  5303. 	addq	$8 * SIZE, A2

  5304. 	addq	$8 * SIZE, X1

  5305. 	ALIGN_4

  5306. 

  5307. .L306:

  5308. 	testq	$4, MM

  5309. 	jle	.L307

  5310. 

  5311. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  5312. 	MOVUPS_A2 (-31 * SIZE, A1, LDA, 1, %xmm1)

  5313. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  5314. 	MOVUPS_A2 (-29 * SIZE, A2, LDA, 1, %xmm3)

  5315. 

  5316. 	mulps	 %xmm4, %xmm0

  5317. 	addps	 %xmm0, %xmm8

  5318. 	movss	 %xmm1,  %xmm12

  5319. 	shufps	 $0x93, %xmm1, %xmm12

  5320. 	mulps	 %xmm4, %xmm12

  5321. 	addps	 %xmm12, %xmm9

  5322. 

  5323. 	shufps	 $0x4e, %xmm2, %xmm13

  5324. 	mulps	 %xmm4, %xmm13

  5325. 	addps	 %xmm13, %xmm10

  5326. 	movss	 %xmm3,  %xmm14

  5327. 	shufps	 $0x39,  %xmm14, %xmm14

  5328. 	mulps	 %xmm4,  %xmm14

  5329. 	addps	 %xmm14, %xmm11

  5330. 

  5331. 	addq	$4 * SIZE, A1

  5332. 	addq	$4 * SIZE, A2

  5333. 	addq	$4 * SIZE, X1

  5334. 	ALIGN_4

  5335. 

  5336. .L307:

  5337. 	testq	$2, MM

  5338. 	jle	.L308

  5339. 

  5340. #ifdef movsd

  5341. 	xorps	%xmm0, %xmm0

  5342. #endif

  5343. 	movsd	-32 * SIZE(A1), %xmm0

  5344. #ifdef movsd

  5345. 	xorps	%xmm4, %xmm4

  5346. #endif

  5347. 	movsd	-32 * SIZE(X1), %xmm4

  5348. 	mulps	%xmm4, %xmm0

  5349. 	addps	%xmm0, %xmm8

  5350. #ifdef movsd

  5351. 	xorps	%xmm1, %xmm1

  5352. #endif

  5353. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  5354. 	mulps	%xmm4, %xmm1

  5355. 	addps	%xmm1, %xmm9

  5356. #ifdef movsd

  5357. 	xorps	%xmm2, %xmm2

  5358. #endif

  5359. 	movsd	-32 * SIZE(A2), %xmm2

  5360. 	mulps	%xmm4, %xmm2

  5361. 	addps	%xmm2, %xmm10

  5362. #ifdef movsd

  5363. 	xorps	%xmm3, %xmm3

  5364. #endif

  5365. 	movsd	-32 * SIZE(A2, LDA), %xmm3

  5366. 	mulps	%xmm4, %xmm3

  5367. 	addps	%xmm3, %xmm11

  5368. 	shufps	$0xe, %xmm4, %xmm4

  5369. 

  5370. 	addq	$2 * SIZE, A1

  5371. 	addq	$2 * SIZE, A2

  5372. 	addq	$2 * SIZE, X1

  5373. 	ALIGN_4

  5374. 

  5375. .L308:

  5376. 	testq	$1, MM

  5377. 	jle	.L309

  5378. 

  5379. 	movss	-32 * SIZE(A1), %xmm0

  5380. 	movss	-32 * SIZE(X1), %xmm4

  5381. 	mulss	%xmm4, %xmm0

  5382. 	addss	%xmm0, %xmm8

  5383. 	movss	-32 * SIZE(A1, LDA), %xmm1

  5384. 	mulss	%xmm4, %xmm1

  5385. 	addss	%xmm1, %xmm9

  5386. 	movss	-32 * SIZE(A2), %xmm2

  5387. 	mulss	%xmm4, %xmm2

  5388. 	addss	%xmm2, %xmm10

  5389. 	movss	-32 * SIZE(A2, LDA), %xmm3

  5390. 	mulss	%xmm4, %xmm3

  5391. 	addss	%xmm3, %xmm11

  5392. 	ALIGN_4

  5393. 

  5394. .L309:

  5395. #ifdef HAVE_SSE3

  5396. 	haddps	%xmm9, %xmm8

  5397. 	haddps	%xmm11, %xmm10

  5398. 	haddps	%xmm10, %xmm8

  5399. 

  5400. 	pshufd	$0x1, %xmm8, %xmm9

  5401. 	pshufd	$0x2, %xmm8, %xmm10

  5402. 	pshufd	$0x3, %xmm8, %xmm11

  5403. #else

  5404. 	movaps	%xmm8, %xmm0

  5405. 	unpcklps %xmm9, %xmm8

  5406. 	unpckhps %xmm9, %xmm0

  5407. 

  5408. 	movaps	%xmm10, %xmm1

  5409. 	unpcklps %xmm11, %xmm10

  5410. 	unpckhps %xmm11, %xmm1

  5411. 

  5412. 	movaps	%xmm8, %xmm9

  5413. 	unpcklps %xmm10, %xmm8

  5414. 	unpckhps %xmm10, %xmm9

  5415. 

  5416. 	movaps	%xmm0, %xmm10

  5417. 	unpcklps %xmm1, %xmm0

  5418. 	unpckhps %xmm1, %xmm10

  5419. 

  5420. 	addps	%xmm9, %xmm8

  5421. 	addps	%xmm0, %xmm10

  5422. 	addps	%xmm10, %xmm8

  5423. 

  5424. 	pshufd	$0x2, %xmm8, %xmm9

  5425. 	pshufd	$0x1, %xmm8, %xmm10

  5426. 	pshufd	$0x3, %xmm8, %xmm11

  5427. #endif

  5428. 

  5429. 	mulss	ALPHA, %xmm8

  5430. 	mulss	ALPHA, %xmm9

  5431. 	mulss	ALPHA, %xmm10

  5432. 	mulss	ALPHA, %xmm11

  5433. 

  5434. 	addss	(Y), %xmm8

  5435. 	addq	INCY, Y

  5436. 	addss	(Y), %xmm9

  5437. 	addq	INCY, Y

  5438. 	addss	(Y), %xmm10

  5439. 	addq	INCY, Y

  5440. 	addss	(Y), %xmm11

  5441. 	addq	INCY, Y

  5442. 

  5443. 	movss	%xmm8, (Y1)

  5444. 	addq	INCY, Y1

  5445. 	movss	%xmm9, (Y1)

  5446. 	addq	INCY, Y1

  5447. 	movss	%xmm10, (Y1)

  5448. 	addq	INCY, Y1

  5449. 	movss	%xmm11, (Y1)

  5450. 	addq	INCY, Y1

  5451. 

  5452. 	cmpq	$4, N

  5453. 	jge	.L301

  5454. 	ALIGN_4

  5455. 

  5456. .L310:

  5457. 	testq	N, N

  5458. 	jle	.L999

  5459. 

  5460. 	cmpq	$3, N

  5461. 	jne	.L320

  5462. 

  5463. 	leaq	32 * SIZE(BUFFER), X1

  5464. 

  5465. 	movq	A, A1

  5466. 	leaq	(A1, LDA, 2), A2

  5467. 	leaq	(A1, LDA, 4), A

  5468. 

  5469. 	xorps	%xmm8, %xmm8

  5470. 	xorps	%xmm9, %xmm9

  5471. 	xorps	%xmm10, %xmm10

  5472. 

  5473. 	cmpq	$3, M

  5474. 	jle	.L317

  5475. 

  5476. 	testq	$SIZE, A1

  5477. 	je	.L31X

  5478. 

  5479. 	movss	-32 * SIZE(A1), %xmm0

  5480. 	movss	-32 * SIZE(X1), %xmm4

  5481. 	mulss	%xmm4, %xmm0

  5482. 	addss	%xmm0, %xmm8

  5483. 	movss	-32 * SIZE(A1, LDA), %xmm1

  5484. 	mulss	%xmm4, %xmm1

  5485. 	addss	%xmm1, %xmm9

  5486. 	movss	-32 * SIZE(A2), %xmm2

  5487. 	mulss	%xmm4, %xmm2

  5488. 	addss	%xmm2, %xmm10

  5489. 

  5490. 	addq	 $1 * SIZE, A1

  5491. 	addq	 $1 * SIZE, A2

  5492. 	addq	 $1 * SIZE, X1

  5493. 	ALIGN_3

  5494. 

  5495. .L31X:

  5496. 	testq	$2 * SIZE, A1

  5497. 	je	.L31XX

  5498. 

  5499. #ifdef movsd

  5500. 	xorps	%xmm0, %xmm0

  5501. 	xorps	%xmm4, %xmm4

  5502. #endif

  5503. 	movsd	-32 * SIZE(A1), %xmm0

  5504. 	movsd	-32 * SIZE(X1), %xmm4

  5505. 	mulps	%xmm4, %xmm0

  5506. 	addps	%xmm0, %xmm8

  5507. #ifdef movsd

  5508. 	xorps	%xmm1, %xmm1

  5509. #endif

  5510. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  5511. 	mulps	%xmm4, %xmm1

  5512. 	addps	%xmm1, %xmm9

  5513. #ifdef movsd

  5514. 	xorps	%xmm2, %xmm2

  5515. #endif

  5516. 	movsd	-32 * SIZE(A2), %xmm2

  5517. 	mulps	%xmm4, %xmm2

  5518. 	addps	%xmm2, %xmm10

  5519. 

  5520. 	addq	 $2 * SIZE, A1

  5521. 	addq	 $2 * SIZE, A2

  5522. 	addq	 $2 * SIZE, X1

  5523. 	ALIGN_3

  5524. 

  5525. .L31XX:

  5526. 	movaps	-35 * SIZE(A1, LDA), %xmm12

  5527. 	movaps	-34 * SIZE(A2), %xmm13

  5528. 

  5529. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  5530. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  5531. 

  5532. 	movq	MM,  I

  5533. 	sarq	$4,  I

  5534. 	jle	.L315

  5535. 

  5536. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  5537. 	MOVUPS_A2 (-31 * SIZE, A1, LDA, 1, %xmm1)

  5538. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  5539. 

  5540. 	decq	I

  5541. 	jle	.L313

  5542. 	ALIGN_4

  5543. 

  5544. .L312:

  5545. #ifdef PREFETCH

  5546. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1)

  5547. #endif

  5548. 

  5549. 	mulps	 %xmm4, %xmm0

  5550. 	addps	 %xmm0, %xmm8

  5551. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  5552. 	movss	 %xmm1,  %xmm12

  5553. 	shufps	 $0x93, %xmm1, %xmm12

  5554. 	mulps	 %xmm4, %xmm12

  5555. 	addps	 %xmm12, %xmm9

  5556. 	MOVUPS_A2 (-27 * SIZE, A1, LDA, 1, %xmm12)

  5557. 

  5558. 	shufps	 $0x4e, %xmm2, %xmm13

  5559. 	mulps	 %xmm4, %xmm13

  5560. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  5561. 	addps	 %xmm13, %xmm10

  5562. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  5563. 

  5564. #ifdef PREFETCH

  5565. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A1, LDA)

  5566. #endif

  5567. 

  5568. 	mulps	 %xmm5, %xmm0

  5569. 	addps	 %xmm0, %xmm8

  5570. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  5571. 	movss	 %xmm12,  %xmm1

  5572. 	shufps	 $0x93, %xmm12, %xmm1

  5573. 	mulps	 %xmm5, %xmm1

  5574. 	addps	 %xmm1, %xmm9

  5575. 	MOVUPS_A2 (-23 * SIZE, A1, LDA, 1, %xmm1)

  5576. 	shufps	 $0x4e, %xmm13, %xmm2

  5577. 	mulps	 %xmm5, %xmm2

  5578. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  5579. 	addps	 %xmm2, %xmm10

  5580. 	MOVUPS_A1 (-22 * SIZE, A2, %xmm2)

  5581. 

  5582. #ifdef PREFETCH

  5583. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(A2)

  5584. #endif

  5585. 

  5586. 	mulps	 %xmm4, %xmm0

  5587. 	addps	 %xmm0, %xmm8

  5588. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  5589. 	movss	 %xmm1,  %xmm12

  5590. 	shufps	 $0x93, %xmm1, %xmm12

  5591. 	mulps	 %xmm4, %xmm12

  5592. 	addps	 %xmm12, %xmm9

  5593. 	MOVUPS_A2 (-19 * SIZE, A1, LDA, 1, %xmm12)

  5594. 	shufps	 $0x4e, %xmm2, %xmm13

  5595. 	mulps	 %xmm4, %xmm13

  5596. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  5597. 	addps	 %xmm13, %xmm10

  5598. 	MOVUPS_A1 (-18 * SIZE, A2, %xmm13)

  5599. 

  5600. #ifdef PREFETCHW

  5601. 	PREFETCH	(PREFETCHSIZE) * 3 - 128 + PREOFFSET(X1)

  5602. #endif

  5603. 

  5604. 	mulps	 %xmm5, %xmm0

  5605. 	addps	 %xmm0, %xmm8

  5606. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  5607. 	movss	 %xmm12,  %xmm1

  5608. 	shufps	 $0x93, %xmm12, %xmm1

  5609. 	mulps	 %xmm5, %xmm1

  5610. 	addps	 %xmm1, %xmm9

  5611. 	MOVUPS_A2 (-15 * SIZE, A1, LDA, 1, %xmm1)

  5612. 	shufps	 $0x4e, %xmm13, %xmm2

  5613. 	mulps	 %xmm5, %xmm2

  5614. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  5615. 	addps	 %xmm2, %xmm10

  5616. 	MOVUPS_A1 (-14 * SIZE, A2, %xmm2)

  5617. 

  5618. 	addq	$16 * SIZE, A1

  5619. 	addq	$16 * SIZE, A2

  5620. 	addq	$16 * SIZE, X1

  5621. 

  5622. 	decq	I

  5623. 	jg	.L312

  5624. 	ALIGN_4

  5625. 

  5626. .L313:

  5627. 	mulps	 %xmm4, %xmm0

  5628. 	addps	 %xmm0, %xmm8

  5629. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  5630. 	movss	 %xmm1,  %xmm12

  5631. 	shufps	 $0x93, %xmm1, %xmm12

  5632. 	mulps	 %xmm4, %xmm12

  5633. 	addps	 %xmm12, %xmm9

  5634. 	MOVUPS_A2 (-27 * SIZE, A1, LDA, 1, %xmm12)

  5635. 

  5636. 	shufps	 $0x4e, %xmm2, %xmm13

  5637. 	mulps	 %xmm4, %xmm13

  5638. 	addps	 %xmm13, %xmm10

  5639. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  5640. 	movss	 %xmm3,  %xmm14

  5641. 	shufps	 $0x39,  %xmm14, %xmm14

  5642. 	mulps	 %xmm4,  %xmm14

  5643. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  5644. 	addps	 %xmm14, %xmm11

  5645. 	MOVUPS_A2 (-25 * SIZE, A2, LDA, 1, %xmm14)

  5646. 

  5647. 	mulps	 %xmm5, %xmm0

  5648. 	addps	 %xmm0, %xmm8

  5649. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  5650. 	movss	 %xmm12,  %xmm1

  5651. 	shufps	 $0x93, %xmm12, %xmm1

  5652. 	mulps	 %xmm5, %xmm1

  5653. 	addps	 %xmm1, %xmm9

  5654. 	MOVUPS_A2 (-23 * SIZE, A1, LDA, 1, %xmm1)

  5655. 

  5656. 	shufps	 $0x4e, %xmm13, %xmm2

  5657. 	mulps	 %xmm5, %xmm2

  5658. 	addps	 %xmm2, %xmm10

  5659. 	MOVUPS_A1 (-22 * SIZE, A2, %xmm2)

  5660. 	movss	 %xmm14,  %xmm3

  5661. 	shufps	 $0x39,  %xmm3, %xmm3

  5662. 	mulps	 %xmm5,  %xmm3

  5663. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  5664. 	addps	 %xmm3, %xmm11

  5665. 	MOVUPS_A2 (-21 * SIZE, A2, LDA, 1, %xmm3)

  5666. 

  5667. 	mulps	 %xmm4, %xmm0

  5668. 	addps	 %xmm0, %xmm8

  5669. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  5670. 	movss	 %xmm1,  %xmm12

  5671. 	shufps	 $0x93, %xmm1, %xmm12

  5672. 	mulps	 %xmm4, %xmm12

  5673. 	addps	 %xmm12, %xmm9

  5674. 	MOVUPS_A2 (-19 * SIZE, A1, LDA, 1, %xmm12)

  5675. 

  5676. 	shufps	 $0x4e, %xmm2, %xmm13

  5677. 	mulps	 %xmm4, %xmm13

  5678. 	addps	 %xmm13, %xmm10

  5679. 	MOVUPS_A1 (-18 * SIZE, A2, %xmm13)

  5680. 	movss	 %xmm3,  %xmm14

  5681. 	shufps	 $0x39,  %xmm14, %xmm14

  5682. 	mulps	 %xmm4,  %xmm14

  5683. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  5684. 	addps	 %xmm14, %xmm11

  5685. 	MOVUPS_A2 (-17 * SIZE, A2, LDA, 1, %xmm14)

  5686. 

  5687. 	mulps	 %xmm5, %xmm0

  5688. 	addps	 %xmm0, %xmm8

  5689. 	movss	 %xmm12,  %xmm1

  5690. 	shufps	 $0x93, %xmm12, %xmm1

  5691. 	mulps	 %xmm5, %xmm1

  5692. 	addps	 %xmm1, %xmm9

  5693. 

  5694. 	shufps	 $0x4e, %xmm13, %xmm2

  5695. 	mulps	 %xmm5, %xmm2

  5696. 	addps	 %xmm2, %xmm10

  5697. 	movss	 %xmm14,  %xmm3

  5698. 	shufps	 $0x39,  %xmm3, %xmm3

  5699. 	mulps	 %xmm5,  %xmm3

  5700. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  5701. 	addps	 %xmm3, %xmm11

  5702. 

  5703. 	addq	$16 * SIZE, A1

  5704. 	addq	$16 * SIZE, A2

  5705. 	addq	$16 * SIZE, X1

  5706. 	ALIGN_4

  5707. 

  5708. .L315:

  5709. 	testq	$8, MM

  5710. 	jle	.L316

  5711. 

  5712. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  5713. 	MOVUPS_A2 (-31 * SIZE, A1, LDA, 1, %xmm1)

  5714. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  5715. 

  5716. 	mulps	 %xmm4, %xmm0

  5717. 	addps	 %xmm0, %xmm8

  5718. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  5719. 	movss	 %xmm1,  %xmm12

  5720. 	shufps	 $0x93, %xmm1, %xmm12

  5721. 	mulps	 %xmm4, %xmm12

  5722. 	addps	 %xmm12, %xmm9

  5723. 	MOVUPS_A2 (-27 * SIZE, A1, LDA, 1, %xmm12)

  5724. 

  5725. 	shufps	 $0x4e, %xmm2, %xmm13

  5726. 	mulps	 %xmm4, %xmm13

  5727. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  5728. 	addps	 %xmm13, %xmm10

  5729. 	MOVUPS_A1 (-26 * SIZE, A2, %xmm13)

  5730. 

  5731. 	mulps	 %xmm5, %xmm0

  5732. 	addps	 %xmm0, %xmm8

  5733. 	movss	 %xmm12,  %xmm1

  5734. 	shufps	 $0x93, %xmm12, %xmm1

  5735. 	mulps	 %xmm5, %xmm1

  5736. 	addps	 %xmm1, %xmm9

  5737. 

  5738. 	shufps	 $0x4e, %xmm13, %xmm2

  5739. 	mulps	 %xmm5, %xmm2

  5740. 	addps	 %xmm2, %xmm10

  5741. 

  5742. 	addq	$8 * SIZE, A1

  5743. 	addq	$8 * SIZE, A2

  5744. 	addq	$8 * SIZE, X1

  5745. 	ALIGN_4

  5746. 

  5747. .L316:

  5748. 	testq	$4, MM

  5749. 	jle	.L317

  5750. 

  5751. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  5752. 	MOVUPS_A2 (-31 * SIZE, A1, LDA, 1, %xmm1)

  5753. 	MOVUPS_A1 (-30 * SIZE, A2, %xmm2)

  5754. 

  5755. 	mulps	 %xmm4, %xmm0

  5756. 	addps	 %xmm0, %xmm8

  5757. 	movss	 %xmm1,  %xmm12

  5758. 	shufps	 $0x93, %xmm1, %xmm12

  5759. 	mulps	 %xmm4, %xmm12

  5760. 	addps	 %xmm12, %xmm9

  5761. 

  5762. 	shufps	 $0x4e, %xmm2, %xmm13

  5763. 	mulps	 %xmm4, %xmm13

  5764. 	addps	 %xmm13, %xmm10

  5765. 

  5766. 	addq	$4 * SIZE, A1

  5767. 	addq	$4 * SIZE, A2

  5768. 	addq	$4 * SIZE, X1

  5769. 	ALIGN_4

  5770. 

  5771. .L317:

  5772. 	testq	$2, MM

  5773. 	jle	.L318

  5774. 

  5775. #ifdef movsd

  5776. 	xorps	%xmm0, %xmm0

  5777. #endif

  5778. 	movsd	-32 * SIZE(A1), %xmm0

  5779. #ifdef movsd

  5780. 	xorps	%xmm4, %xmm4

  5781. #endif

  5782. 	movsd	-32 * SIZE(X1), %xmm4

  5783. 	mulps	%xmm4, %xmm0

  5784. 	addps	%xmm0, %xmm8

  5785. #ifdef movsd

  5786. 	xorps	%xmm1, %xmm1

  5787. #endif

  5788. 	movsd	-32 * SIZE(A1, LDA), %xmm1

  5789. 	mulps	%xmm4, %xmm1

  5790. 	addps	%xmm1, %xmm9

  5791. #ifdef movsd

  5792. 	xorps	%xmm2, %xmm2

  5793. #endif

  5794. 	movsd	-32 * SIZE(A2), %xmm2

  5795. 	mulps	%xmm4, %xmm2

  5796. 	addps	%xmm2, %xmm10

  5797. 

  5798. 	addq	$2 * SIZE, A1

  5799. 	addq	$2 * SIZE, A2

  5800. 	addq	$2 * SIZE, X1

  5801. 	ALIGN_4

  5802. 

  5803. .L318:

  5804. 	testq	$1, MM

  5805. 	jle	.L319

  5806. 

  5807. 	movss	-32 * SIZE(A1), %xmm0

  5808. 	movss	-32 * SIZE(X1), %xmm4

  5809. 	mulss	%xmm4, %xmm0

  5810. 	addss	%xmm0, %xmm8

  5811. 	movss	-32 * SIZE(A1, LDA), %xmm1

  5812. 	mulss	%xmm4, %xmm1

  5813. 	addss	%xmm1, %xmm9

  5814. 	movss	-32 * SIZE(A2), %xmm2

  5815. 	mulss	%xmm4, %xmm2

  5816. 	addss	%xmm2, %xmm10

  5817. 	ALIGN_4

  5818. 

  5819. .L319:

  5820. #ifdef HAVE_SSE3

  5821. 	haddps	%xmm9, %xmm8

  5822. 	haddps	%xmm11, %xmm10

  5823. 	haddps	%xmm10, %xmm8

  5824. 

  5825. 	pshufd	$0x1, %xmm8, %xmm9

  5826. 	pshufd	$0x2, %xmm8, %xmm10

  5827. #else

  5828. 	movaps	%xmm8, %xmm0

  5829. 	unpcklps %xmm9, %xmm8

  5830. 	unpckhps %xmm9, %xmm0

  5831. 

  5832. 	movaps	%xmm10, %xmm1

  5833. 	unpcklps %xmm11, %xmm10

  5834. 	unpckhps %xmm11, %xmm1

  5835. 

  5836. 	movaps	%xmm8, %xmm9

  5837. 	unpcklps %xmm10, %xmm8

  5838. 	unpckhps %xmm10, %xmm9

  5839. 

  5840. 	movaps	%xmm0, %xmm10

  5841. 	unpcklps %xmm1, %xmm0

  5842. 	unpckhps %xmm1, %xmm10

  5843. 

  5844. 	addps	%xmm9, %xmm8

  5845. 	addps	%xmm0, %xmm10

  5846. 	addps	%xmm10, %xmm8

  5847. 

  5848. 	pshufd	$0x2, %xmm8, %xmm9

  5849. 	pshufd	$0x1, %xmm8, %xmm10

  5850. #endif

  5851. 

  5852. 	mulss	ALPHA, %xmm8

  5853. 	mulss	ALPHA, %xmm9

  5854. 	mulss	ALPHA, %xmm10

  5855. 

  5856. 	addss	(Y), %xmm8

  5857. 	addq	INCY, Y

  5858. 	addss	(Y), %xmm9

  5859. 	addq	INCY, Y

  5860. 	addss	(Y), %xmm10

  5861. 

  5862. 	movss	%xmm8, (Y1)

  5863. 	addq	INCY, Y1

  5864. 	movss	%xmm9, (Y1)

  5865. 	addq	INCY, Y1

  5866. 	movss	%xmm10, (Y1)

  5867. 	jmp	.L999

  5868. 	ALIGN_3

  5869. 

  5870. .L320:

  5871. 	cmpq	$2, N

  5872. 	jne	.L330

  5873. 

  5874. 	leaq	32 * SIZE(BUFFER), X1

  5875. 

  5876. 	movq	A, A1

  5877. 	leaq	(A1, LDA), A2

  5878. 

  5879. 	xorps	%xmm8, %xmm8

  5880. 	xorps	%xmm9, %xmm9

  5881. 

  5882. 	cmpq	$3, M

  5883. 	jle	.L327

  5884. 

  5885. 	testq	$SIZE, A1

  5886. 	je	.L32X

  5887. 

  5888. 	movss	-32 * SIZE(A1), %xmm0

  5889. 	movss	-32 * SIZE(X1), %xmm4

  5890. 	mulss	%xmm4, %xmm0

  5891. 	addss	%xmm0, %xmm8

  5892. 	movss	-32 * SIZE(A2), %xmm1

  5893. 	mulss	%xmm4, %xmm1

  5894. 	addss	%xmm1, %xmm9

  5895. 

  5896. 	addq	 $1 * SIZE, A1

  5897. 	addq	 $1 * SIZE, A2

  5898. 	addq	 $1 * SIZE, X1

  5899. 	ALIGN_3

  5900. 

  5901. .L32X:

  5902. 	testq	$2 * SIZE, A1

  5903. 	je	.L32XX

  5904. 

  5905. #ifdef movsd

  5906. 	xorps	%xmm0, %xmm0

  5907. 	xorps	%xmm4, %xmm4

  5908. #endif

  5909. 	movsd	-32 * SIZE(A1), %xmm0

  5910. 	movsd	-32 * SIZE(X1), %xmm4

  5911. 	mulps	%xmm4, %xmm0

  5912. 	addps	%xmm0, %xmm8

  5913. #ifdef movsd

  5914. 	xorps	%xmm1, %xmm1

  5915. #endif

  5916. 	movsd	-32 * SIZE(A2), %xmm1

  5917. 	mulps	%xmm4, %xmm1

  5918. 	addps	%xmm1, %xmm9

  5919. 

  5920. 	addq	 $2 * SIZE, A1

  5921. 	addq	 $2 * SIZE, A2

  5922. 	addq	 $2 * SIZE, X1

  5923. 	ALIGN_3

  5924. 

  5925. .L32XX:

  5926. 	movaps	-35 * SIZE(A2), %xmm12

  5927. 

  5928. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  5929. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  5930. 

  5931. 	movq	MM,  I

  5932. 	sarq	$4,  I

  5933. 	jle	.L325

  5934. 

  5935. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  5936. 	MOVUPS_A1 (-31 * SIZE, A2, %xmm1)

  5937. 

  5938. 	decq	I

  5939. 	jle	.L323

  5940. 	ALIGN_4

  5941. 

  5942. .L322:

  5943. #ifdef PREFETCH

  5944. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  5945. #endif

  5946. 

  5947. 	mulps	%xmm4, %xmm0

  5948. 	addps	%xmm0, %xmm8

  5949. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  5950. 	movss	 %xmm1,  %xmm12

  5951. 	shufps	 $0x93, %xmm1, %xmm12

  5952. 	mulps	 %xmm4, %xmm12

  5953. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  5954. 	addps	 %xmm12, %xmm9

  5955. 	MOVUPS_A1 (-27 * SIZE, A2, %xmm12)

  5956. 

  5957. 	mulps	%xmm5, %xmm0

  5958. 	addps	%xmm0, %xmm8

  5959. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  5960. 	movss	 %xmm12,  %xmm1

  5961. 	shufps	 $0x93, %xmm12, %xmm1

  5962. 	mulps	 %xmm5, %xmm1

  5963. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  5964. 	addps	 %xmm1, %xmm9

  5965. 	MOVUPS_A1 (-23 * SIZE, A2, %xmm1)

  5966. 

  5967. #ifdef PREFETCH

  5968. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A2)

  5969. #endif

  5970. 

  5971. 	mulps	%xmm4, %xmm0

  5972. 	addps	%xmm0, %xmm8

  5973. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  5974. 	movss	 %xmm1,  %xmm12

  5975. 	shufps	 $0x93, %xmm1, %xmm12

  5976. 	mulps	 %xmm4, %xmm12

  5977. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  5978. 	addps	 %xmm12, %xmm9

  5979. 	MOVUPS_A1 (-19 * SIZE, A2, %xmm12)

  5980. 

  5981. #ifdef PREFETCHW

  5982. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(X1)

  5983. #endif

  5984. 

  5985. 	mulps	%xmm5, %xmm0

  5986. 	addps	%xmm0, %xmm8

  5987. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  5988. 	movss	 %xmm12,  %xmm1

  5989. 	shufps	 $0x93, %xmm12, %xmm1

  5990. 	mulps	 %xmm5, %xmm1

  5991. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  5992. 	addps	 %xmm1, %xmm9

  5993. 	MOVUPS_A1 (-15 * SIZE, A2, %xmm1)

  5994. 

  5995. 	addq	$16 * SIZE, A1

  5996. 	addq	$16 * SIZE, A2

  5997. 	addq	$16 * SIZE, X1

  5998. 

  5999. 	decq	I

  6000. 	jg	.L322

  6001. 	ALIGN_4

  6002. 

  6003. .L323:

  6004. 	mulps	%xmm4, %xmm0

  6005. 	addps	%xmm0, %xmm8

  6006. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  6007. 	movss	 %xmm1,  %xmm12

  6008. 	shufps	 $0x93, %xmm1, %xmm12

  6009. 	mulps	 %xmm4, %xmm12

  6010. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  6011. 	addps	 %xmm12, %xmm9

  6012. 	MOVUPS_A1 (-27 * SIZE, A2, %xmm12)

  6013. 

  6014. 	mulps	%xmm5, %xmm0

  6015. 	addps	%xmm0, %xmm8

  6016. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  6017. 	movss	 %xmm12,  %xmm1

  6018. 	shufps	 $0x93, %xmm12, %xmm1

  6019. 	mulps	 %xmm5, %xmm1

  6020. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  6021. 	addps	 %xmm1, %xmm9

  6022. 	MOVUPS_A1 (-23 * SIZE, A2, %xmm1)

  6023. 

  6024. 	mulps	%xmm4, %xmm0

  6025. 	addps	%xmm0, %xmm8

  6026. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm0)

  6027. 	movss	 %xmm1,  %xmm12

  6028. 	shufps	 $0x93, %xmm1, %xmm12

  6029. 	mulps	 %xmm4, %xmm12

  6030. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  6031. 	addps	 %xmm12, %xmm9

  6032. 	MOVUPS_A1 (-19 * SIZE, A2, %xmm12)

  6033. 

  6034. 	mulps	%xmm5, %xmm0

  6035. 	addps	%xmm0, %xmm8

  6036. 	movss	 %xmm12,  %xmm1

  6037. 	shufps	 $0x93, %xmm12, %xmm1

  6038. 	mulps	 %xmm5, %xmm1

  6039. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  6040. 	addps	 %xmm1, %xmm9

  6041. 

  6042. 	addq	$16 * SIZE, A1

  6043. 	addq	$16 * SIZE, A2

  6044. 	addq	$16 * SIZE, X1

  6045. 	ALIGN_4

  6046. 

  6047. .L325:

  6048. 	testq	$8, MM

  6049. 	jle	.L326

  6050. 

  6051. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  6052. 	MOVUPS_A1 (-31 * SIZE, A2, %xmm1)

  6053. 

  6054. 	mulps	%xmm4, %xmm0

  6055. 	addps	%xmm0, %xmm8

  6056. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm0)

  6057. 	movss	 %xmm1,  %xmm12

  6058. 	shufps	 $0x93, %xmm1, %xmm12

  6059. 	mulps	 %xmm4, %xmm12

  6060. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  6061. 	addps	 %xmm12, %xmm9

  6062. 	MOVUPS_A1 (-27 * SIZE, A2, %xmm12)

  6063. 

  6064. 	mulps	%xmm5, %xmm0

  6065. 	addps	%xmm0, %xmm8

  6066. 	movss	 %xmm12,  %xmm1

  6067. 	shufps	 $0x93, %xmm12, %xmm1

  6068. 	mulps	 %xmm5, %xmm1

  6069. 	addps	 %xmm1, %xmm9

  6070. 

  6071. 	addq	$8 * SIZE, A1

  6072. 	addq	$8 * SIZE, A2

  6073. 	addq	$8 * SIZE, X1

  6074. 	ALIGN_4

  6075. 

  6076. .L326:

  6077. 	testq	$4, MM

  6078. 	jle	.L327

  6079. 

  6080. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  6081. 	MOVUPS_A1 (-31 * SIZE, A2, %xmm1)

  6082. 

  6083. 	mulps	%xmm4, %xmm0

  6084. 	addps	%xmm0, %xmm8

  6085. 	movss	 %xmm1,  %xmm12

  6086. 	shufps	 $0x93, %xmm1, %xmm12

  6087. 	mulps	 %xmm4, %xmm12

  6088. 	addps	 %xmm12, %xmm9

  6089. 

  6090. 	addq	$4 * SIZE, A1

  6091. 	addq	$4 * SIZE, A2

  6092. 	addq	$4 * SIZE, X1

  6093. 	ALIGN_4

  6094. 

  6095. .L327:

  6096. 	testq	$2, MM

  6097. 	jle	.L328

  6098. 

  6099. #ifdef movsd

  6100. 	xorps	%xmm0, %xmm0

  6101. #endif

  6102. 	movsd	-32 * SIZE(A1), %xmm0

  6103. #ifdef movsd

  6104. 	xorps	%xmm4, %xmm4

  6105. #endif

  6106. 	movsd	-32 * SIZE(X1), %xmm4

  6107. 	mulps	%xmm4, %xmm0

  6108. 	addps	%xmm0, %xmm8

  6109. #ifdef movsd

  6110. 	xorps	%xmm1, %xmm1

  6111. #endif

  6112. 	movsd	-32 * SIZE(A2), %xmm1

  6113. 	mulps	%xmm4, %xmm1

  6114. 	addps	%xmm1, %xmm9

  6115. 	shufps	$0xe, %xmm4, %xmm4

  6116. 

  6117. 	addq	$2 * SIZE, A1

  6118. 	addq	$2 * SIZE, A2

  6119. 	addq	$2 * SIZE, X1

  6120. 	ALIGN_4

  6121. 

  6122. .L328:

  6123. 	testq	$1, MM

  6124. 	jle	.L329

  6125. 

  6126. 	movss	-32 * SIZE(A1), %xmm0

  6127. 	movss	-32 * SIZE(X1), %xmm4

  6128. 	mulss	%xmm4, %xmm0

  6129. 	addss	%xmm0, %xmm8

  6130. 	movss	-32 * SIZE(A2), %xmm1

  6131. 	mulss	%xmm4, %xmm1

  6132. 	addss	%xmm1, %xmm9

  6133. 	ALIGN_4

  6134. 

  6135. .L329:

  6136. #ifdef HAVE_SSE3

  6137. 	haddps	%xmm9, %xmm8

  6138. 	haddps	%xmm8, %xmm8

  6139. #else

  6140. 	movaps	%xmm8, %xmm10

  6141. 	unpcklps %xmm9, %xmm8

  6142. 	unpckhps %xmm9, %xmm10

  6143. 

  6144. 	addps	%xmm10, %xmm8

  6145. 	movhlps %xmm8, %xmm9

  6146. 	addps	%xmm9, %xmm8

  6147. #endif

  6148. 

  6149. 	pshufd	$0x1, %xmm8, %xmm9

  6150. 

  6151. 	mulss	ALPHA, %xmm8

  6152. 	mulss	ALPHA, %xmm9

  6153. 

  6154. 	addss	(Y), %xmm8

  6155. 	addq	INCY, Y

  6156. 	addss	(Y), %xmm9

  6157. 	addq	INCY, Y

  6158. 

  6159. 	movss	%xmm8, (Y1)

  6160. 	addq	INCY, Y1

  6161. 	movss	%xmm9, (Y1)

  6162. 	addq	INCY, Y1

  6163. 	jmp	.L999

  6164. 	ALIGN_4

  6165. 

  6166. .L330:

  6167. 	cmpq	$1, N

  6168. 	jne	.L999

  6169. 

  6170. 	leaq	32 * SIZE(BUFFER), X1

  6171. 

  6172. 	movq	A, A1

  6173. 

  6174. 	xorps	%xmm8, %xmm8

  6175. 	xorps	%xmm9, %xmm9

  6176. 

  6177. 	cmpq	$3, M

  6178. 	jle	.L337

  6179. 

  6180. 	testq	$SIZE, A1

  6181. 	je	.L33X

  6182. 

  6183. 	movss	-32 * SIZE(A1), %xmm0

  6184. 	movss	-32 * SIZE(X1), %xmm4

  6185. 	mulss	%xmm4, %xmm0

  6186. 	addss	%xmm0, %xmm8

  6187. 

  6188. 	addq	 $1 * SIZE, A1

  6189. 	addq	 $1 * SIZE, X1

  6190. 	ALIGN_3

  6191. 

  6192. .L33X:

  6193. 	testq	$2 * SIZE, A1

  6194. 	je	.L33XX

  6195. 

  6196. #ifdef movsd

  6197. 	xorps	%xmm0, %xmm0

  6198. 	xorps	%xmm4, %xmm4

  6199. #endif

  6200. 	movsd	-32 * SIZE(A1), %xmm0

  6201. 	movsd	-32 * SIZE(X1), %xmm4

  6202. 	mulps	%xmm4, %xmm0

  6203. 	addps	%xmm0, %xmm8

  6204. 	shufps	$0xe, %xmm4, %xmm4

  6205. 

  6206. 	addq	 $2 * SIZE, A1

  6207. 	addq	 $2 * SIZE, X1

  6208. 	ALIGN_3

  6209. 

  6210. .L33XX:

  6211. 

  6212. 	MOVUPS_XL1 (-32 * SIZE, X1, %xmm4)

  6213. 	MOVUPS_XL1 (-28 * SIZE, X1, %xmm5)

  6214. 

  6215. 	movq	MM,  I

  6216. 	sarq	$4,  I

  6217. 	jle	.L335

  6218. 

  6219. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  6220. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  6221. 

  6222. 	decq	I

  6223. 	jle	.L333

  6224. 	ALIGN_4

  6225. 

  6226. .L332:

  6227. #ifdef PREFETCH

  6228. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(A1)

  6229. #endif

  6230. 

  6231. 	mulps	%xmm4, %xmm0

  6232. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  6233. 	addps	%xmm0, %xmm8

  6234. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  6235. 

  6236. 	mulps	%xmm5, %xmm12

  6237. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  6238. 	addps	%xmm12, %xmm9

  6239. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  6240. 

  6241. #ifdef PREFETCHW

  6242. 	PREFETCH	(PREFETCHSIZE) * 8 - 128 + PREOFFSET(X1)

  6243. #endif

  6244. 

  6245. 	mulps	%xmm4, %xmm0

  6246. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  6247. 	addps	%xmm0, %xmm8

  6248. 	MOVUPS_A1 (-16 * SIZE, A1, %xmm0)

  6249. 

  6250. 	mulps	%xmm5, %xmm12

  6251. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  6252. 	addps	%xmm12, %xmm9

  6253. 	MOVUPS_A1 (-12 * SIZE, A1, %xmm12)

  6254. 

  6255. 	addq	$16 * SIZE, A1

  6256. 	addq	$16 * SIZE, X1

  6257. 

  6258. 	decq	I

  6259. 	jg	.L332

  6260. 	ALIGN_4

  6261. 

  6262. .L333:

  6263. 	mulps	%xmm4, %xmm0

  6264. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  6265. 	addps	%xmm0, %xmm8

  6266. 	MOVUPS_A1 (-24 * SIZE, A1, %xmm0)

  6267. 

  6268. 	mulps	%xmm5, %xmm12

  6269. 	MOVUPS_XL1 (-20 * SIZE, X1, %xmm5)

  6270. 	addps	%xmm12, %xmm9

  6271. 	MOVUPS_A1 (-20 * SIZE, A1, %xmm12)

  6272. 

  6273. 	mulps	%xmm4, %xmm0

  6274. 	MOVUPS_XL1 (-16 * SIZE, X1, %xmm4)

  6275. 	addps	%xmm0, %xmm8

  6276. 

  6277. 	mulps	%xmm5, %xmm12

  6278. 	MOVUPS_XL1 (-12 * SIZE, X1, %xmm5)

  6279. 	addps	%xmm12, %xmm9

  6280. 

  6281. 	addq	$16 * SIZE, A1

  6282. 	addq	$16 * SIZE, X1

  6283. 	ALIGN_4

  6284. 

  6285. .L335:

  6286. 	testq	$8, MM

  6287. 	jle	.L336

  6288. 

  6289. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  6290. 	mulps	%xmm4, %xmm0

  6291. 	MOVUPS_XL1 (-24 * SIZE, X1, %xmm4)

  6292. 	addps	%xmm0, %xmm8

  6293. 

  6294. 	MOVUPS_A1 (-28 * SIZE, A1, %xmm12)

  6295. 	mulps	%xmm5, %xmm12

  6296. 	addps	%xmm12, %xmm9

  6297. 

  6298. 	addq	$8 * SIZE, A1

  6299. 	addq	$8 * SIZE, X1

  6300. 	ALIGN_4

  6301. 

  6302. .L336:

  6303. 	testq	$4, MM

  6304. 	jle	.L337

  6305. 

  6306. 	MOVUPS_A1 (-32 * SIZE, A1, %xmm0)

  6307. 	mulps	%xmm4, %xmm0

  6308. 	addps	%xmm0, %xmm8

  6309. 

  6310. 	addq	$4 * SIZE, A1

  6311. 	addq	$4 * SIZE, X1

  6312. 	ALIGN_4

  6313. 

  6314. .L337:

  6315. 	testq	$2, MM

  6316. 	jle	.L338

  6317. 

  6318. #ifdef movsd

  6319. 	xorps	%xmm0, %xmm0

  6320. #endif

  6321. 	movsd	-32 * SIZE(A1), %xmm0

  6322. #ifdef movsd

  6323. 	xorps	%xmm4, %xmm4

  6324. #endif

  6325. 	movsd	-32 * SIZE(X1), %xmm4

  6326. 	mulps	%xmm4, %xmm0

  6327. 	addps	%xmm0, %xmm8

  6328. 	shufps	$0xe, %xmm4, %xmm4

  6329. 

  6330. 	addq	$2 * SIZE, A1

  6331. 	addq	$2 * SIZE, X1

  6332. 	ALIGN_4

  6333. 

  6334. .L338:

  6335. 	testq	$1, MM

  6336. 	jle	.L339

  6337. 

  6338. 	movss	-32 * SIZE(A1), %xmm0

  6339. 	movss	-32 * SIZE(X1), %xmm4

  6340. 	mulss	%xmm4, %xmm0

  6341. 	addss	%xmm0, %xmm8

  6342. 	ALIGN_4

  6343. 

  6344. .L339:

  6345. 	addps	%xmm9, %xmm8

  6346. 

  6347. #ifdef HAVE_SSE3

  6348. 	haddps	%xmm8, %xmm8

  6349. 	haddps	%xmm8, %xmm8

  6350. #else

  6351. 	pshufd	$1, %xmm8, %xmm9

  6352. 	pshufd	$2, %xmm8, %xmm10

  6353. 	pshufd	$3, %xmm8, %xmm11

  6354. 

  6355. 	addss	%xmm9, %xmm8

  6356. 	addss	%xmm11, %xmm10

  6357. 	addss	%xmm10, %xmm8

  6358. #endif

  6359. 

  6360. 	mulss	ALPHA, %xmm8

  6361. 

  6362. 	addss	(Y), %xmm8

  6363. 	movss	%xmm8, (Y1)

  6364. 

  6365. 	jmp	.L999

  6366. #endif

  6367. 	ALIGN_4

  6368. 

  6369. .L999:

  6370. 	leaq	(,M,SIZE),%rax

  6371. 	addq	%rax,AA

  6372. 	jmp		.L0t

  6373. 	ALIGN_4

  6374. 

  6375. .L999x:

  6376. 	movq	  0(%rsp), %rbx

  6377. 	movq	  8(%rsp), %rbp

  6378. 	movq	 16(%rsp), %r12

  6379. 	movq	 24(%rsp), %r13

  6380. 	movq	 32(%rsp), %r14

  6381. 	movq	 40(%rsp), %r15

  6382. 

  6383. #ifdef WINDOWS_ABI

  6384. 	movq	 48(%rsp), %rdi

  6385. 	movq	 56(%rsp), %rsi

  6386. 	movups	 64(%rsp), %xmm6

  6387. 	movups	 80(%rsp), %xmm7

  6388. 	movups	 96(%rsp), %xmm8

  6389. 	movups	112(%rsp), %xmm9

  6390. 	movups	128(%rsp), %xmm10

  6391. 	movups	144(%rsp), %xmm11

  6392. 	movups	160(%rsp), %xmm12

  6393. 	movups	176(%rsp), %xmm13

  6394. 	movups	192(%rsp), %xmm14

  6395. 	movups	208(%rsp), %xmm15

  6396. #endif

  6397. 

  6398. 	addq	$STACKSIZE, %rsp

  6399. 	ret

  6400. 	ALIGN_4

  6401. 

  6402. 	EPILOGUE