OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: 5e1a429eab
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from '5e1a429eab'
${ noResults }
OpenBLAS/kernel/x86_64/dtrsm_kernel_LT_8x2_bulldoz...

1282 lines
27 kB
Raw Blame History 

  1. /*********************************************************************/

  2. /* Copyright 2009, 2010 The University of Texas at Austin.           */

  3. /* All rights reserved.                                              */

  4. /*                                                                   */

  5. /* Redistribution and use in source and binary forms, with or        */

  6. /* without modification, are permitted provided that the following   */

  7. /* conditions are met:                                               */

  8. /*                                                                   */

  9. /*   1. Redistributions of source code must retain the above         */

  10. /*      copyright notice, this list of conditions and the following  */

  11. /*      disclaimer.                                                  */

  12. /*                                                                   */

  13. /*   2. Redistributions in binary form must reproduce the above      */

  14. /*      copyright notice, this list of conditions and the following  */

  15. /*      disclaimer in the documentation and/or other materials       */

  16. /*      provided with the distribution.                              */

  17. /*                                                                   */

  18. /*    THIS  SOFTWARE IS PROVIDED  BY THE  UNIVERSITY OF  TEXAS AT    */

  19. /*    AUSTIN  ``AS IS''  AND ANY  EXPRESS OR  IMPLIED WARRANTIES,    */

  20. /*    INCLUDING, BUT  NOT LIMITED  TO, THE IMPLIED  WARRANTIES OF    */

  21. /*    MERCHANTABILITY  AND FITNESS FOR  A PARTICULAR  PURPOSE ARE    */

  22. /*    DISCLAIMED.  IN  NO EVENT SHALL THE UNIVERSITY  OF TEXAS AT    */

  23. /*    AUSTIN OR CONTRIBUTORS BE  LIABLE FOR ANY DIRECT, INDIRECT,    */

  24. /*    INCIDENTAL,  SPECIAL, EXEMPLARY,  OR  CONSEQUENTIAL DAMAGES    */

  25. /*    (INCLUDING, BUT  NOT LIMITED TO,  PROCUREMENT OF SUBSTITUTE    */

  26. /*    GOODS  OR  SERVICES; LOSS  OF  USE,  DATA,  OR PROFITS;  OR    */

  27. /*    BUSINESS INTERRUPTION) HOWEVER CAUSED  AND ON ANY THEORY OF    */

  28. /*    LIABILITY, WHETHER  IN CONTRACT, STRICT  LIABILITY, OR TORT    */

  29. /*    (INCLUDING NEGLIGENCE OR OTHERWISE)  ARISING IN ANY WAY OUT    */

  30. /*    OF  THE  USE OF  THIS  SOFTWARE,  EVEN  IF ADVISED  OF  THE    */

  31. /*    POSSIBILITY OF SUCH DAMAGE.                                    */

  32. /*                                                                   */

  33. /* The views and conclusions contained in the software and           */

  34. /* documentation are those of the authors and should not be          */

  35. /* interpreted as representing official policies, either expressed   */

  36. /* or implied, of The University of Texas at Austin.                 */

  37. /*********************************************************************/

  38. 

  39. #define ASSEMBLER

  40. #include "common.h"

  41. 

  42. #define OLD_M	%rdi

  43. #define OLD_N	%rsi

  44. #define M	%r13

  45. #define N	%r14

  46. #define K	%rdx

  47. 

  48. #define A	%rcx

  49. #define B	%r8

  50. #define C	%r9

  51. #define LDC	%r10

  52. 

  53. #define I	%r11

  54. #define AO	%rdi

  55. #define BO	%rsi

  56. #define	CO1	%r15

  57. #define CO2	%r12

  58. #define BB	%rbp

  59. #define	J	%rbx

  60. 

  61. #ifndef WINDOWS_ABI

  62. 

  63. #define STACKSIZE 96

  64. 

  65. #define OFFSET	 48(%rsp)

  66. #define AORIG	 56(%rsp)

  67. #define KK	 64(%rsp)

  68. #define KKK	 72(%rsp)

  69. 

  70. #else

  71. 

  72. #define STACKSIZE 256

  73. 

  74. #define OLD_A		40 + STACKSIZE(%rsp)

  75. #define OLD_B		48 + STACKSIZE(%rsp)

  76. #define OLD_C		56 + STACKSIZE(%rsp)

  77. #define OLD_LDC		64 + STACKSIZE(%rsp)

  78. #define OLD_OFFSET	72 + STACKSIZE(%rsp)

  79. 

  80. #define OFFSET	224(%rsp)

  81. #define AORIG	232(%rsp)

  82. #define KK	240(%rsp)

  83. #define KKK	248(%rsp)

  84. 

  85. #endif

  86. 

  87. #define A_PR1   384

  88. #define B_PR1   192

  89. 

  90. 

  91. .macro KERNEL8x2_SUB

  92. 	vmovddup	-16*SIZE(BO,%rax,2), %xmm1

  93. 	vmovddup	-15*SIZE(BO,%rax,2), %xmm2

  94. 	vmovups		-16*SIZE(AO,%rax,8), %xmm0

  95. 	vfmaddpd	%xmm8 , %xmm0 , %xmm1 , %xmm8

  96. 	vfmaddpd	%xmm9 , %xmm0 , %xmm2 , %xmm9

  97. 	vmovups		-14*SIZE(AO,%rax,8), %xmm4

  98. 	vfmaddpd	%xmm10, %xmm4 , %xmm1 , %xmm10

  99. 	vfmaddpd	%xmm11, %xmm4 , %xmm2 , %xmm11

  100. 	vmovups		-12*SIZE(AO,%rax,8), %xmm5

  101. 	vfmaddpd	%xmm12, %xmm5 , %xmm1 , %xmm12

  102. 	vfmaddpd	%xmm13, %xmm5 , %xmm2 , %xmm13

  103. 	vmovups		-10*SIZE(AO,%rax,8), %xmm6

  104. 	vfmaddpd	%xmm14, %xmm6 , %xmm1 , %xmm14

  105. 	vfmaddpd	%xmm15, %xmm6 , %xmm2 , %xmm15

  106. 	addq    $ SIZE, %rax

  107. .endm

  108. 

  109. .macro SOLVE_8x2

  110. 

  111.         vmovups   %xmm8 , %xmm1

  112.         vunpcklpd %xmm9 , %xmm8 , %xmm8

  113.         vunpckhpd %xmm9 , %xmm1 , %xmm1

  114. 

  115. 	vmovups		-16 * SIZE(BO), %xmm0

  116.         vsubpd  	%xmm8 , %xmm0 , %xmm0

  117. 	vmovups		-14 * SIZE(BO), %xmm8

  118.         vsubpd  	%xmm1 , %xmm8 , %xmm1

  119. 

  120.         vmovups   %xmm10, %xmm3

  121.         vunpcklpd %xmm11, %xmm10 , %xmm10

  122.         vunpckhpd %xmm11, %xmm3  , %xmm3

  123. 

  124. 	vmovups		-12 * SIZE(BO), %xmm8

  125. 	vmovups		-10 * SIZE(BO), %xmm9

  126.         vsubpd  	%xmm10, %xmm8 , %xmm2

  127.         vsubpd  	%xmm3 , %xmm9 , %xmm3

  128. 

  129.         vmovups   %xmm12, %xmm5

  130.         vunpcklpd %xmm13, %xmm12 , %xmm12

  131.         vunpckhpd %xmm13, %xmm5  , %xmm5

  132. 

  133. 	vmovups		 -8 * SIZE(BO), %xmm8

  134. 	vmovups		 -6 * SIZE(BO), %xmm9

  135.         vsubpd  	%xmm12, %xmm8 , %xmm4

  136.         vsubpd  	%xmm5 , %xmm9 , %xmm5

  137. 

  138.         vmovups  %xmm14, %xmm7

  139.         vunpcklpd %xmm15, %xmm14 , %xmm14

  140.         vunpckhpd %xmm15, %xmm7  , %xmm7

  141. 

  142. 	vmovups		 -4 * SIZE(BO), %xmm8

  143. 	vmovups		 -2 * SIZE(BO), %xmm9

  144.         vsubpd  	%xmm14, %xmm8 , %xmm6

  145.         vsubpd  	%xmm7 , %xmm9 , %xmm7

  146. 

  147. 	vmovddup        -16 * SIZE(AO), %xmm8

  148.         vmulpd                  %xmm0 , %xmm8 , %xmm0

  149.         vmovddup        -15 * SIZE(AO), %xmm9

  150.         vfnmaddpd       %xmm1 , %xmm0 , %xmm9 , %xmm1

  151.         vmovddup        -14 * SIZE(AO), %xmm10

  152.         vfnmaddpd       %xmm2 , %xmm0 , %xmm10, %xmm2

  153.         vmovddup        -13 * SIZE(AO), %xmm11

  154.         vfnmaddpd       %xmm3 , %xmm0 , %xmm11, %xmm3

  155. 	vmovddup        -12 * SIZE(AO), %xmm8

  156.         vfnmaddpd       %xmm4 , %xmm0 , %xmm8 , %xmm4

  157.         vmovddup        -11 * SIZE(AO), %xmm9

  158.         vfnmaddpd       %xmm5 , %xmm0 , %xmm9 , %xmm5

  159.         vmovddup        -10 * SIZE(AO), %xmm10

  160.         vfnmaddpd       %xmm6 , %xmm0 , %xmm10, %xmm6

  161.         vmovddup         -9 * SIZE(AO), %xmm11

  162.         vfnmaddpd       %xmm7 , %xmm0 , %xmm11, %xmm7

  163. 

  164. 	vmovddup         -7 * SIZE(AO), %xmm8

  165. 	vmulpd                  %xmm1 , %xmm8 , %xmm1

  166.         vmovddup         -6 * SIZE(AO), %xmm10

  167.         vfnmaddpd       %xmm2 , %xmm1 , %xmm10, %xmm2

  168.         vmovddup         -5 * SIZE(AO), %xmm11

  169.         vfnmaddpd       %xmm3 , %xmm1 , %xmm11, %xmm3

  170. 	vmovddup         -4 * SIZE(AO), %xmm8

  171.         vfnmaddpd       %xmm4 , %xmm1 , %xmm8 , %xmm4

  172.         vmovddup         -3 * SIZE(AO), %xmm9

  173.         vfnmaddpd       %xmm5 , %xmm1 , %xmm9 , %xmm5

  174.         vmovddup         -2 * SIZE(AO), %xmm10

  175.         vfnmaddpd       %xmm6 , %xmm1 , %xmm10, %xmm6

  176.         vmovddup         -1 * SIZE(AO), %xmm11

  177.         vfnmaddpd       %xmm7 , %xmm1 , %xmm11, %xmm7

  178. 

  179. 	vmovddup          2 * SIZE(AO), %xmm8

  180. 	vmulpd                  %xmm2 , %xmm8 , %xmm2

  181.         vmovddup          3 * SIZE(AO), %xmm11

  182.         vfnmaddpd       %xmm3 , %xmm2 , %xmm11, %xmm3

  183. 	vmovddup          4 * SIZE(AO), %xmm8

  184.         vfnmaddpd       %xmm4 , %xmm2 , %xmm8 , %xmm4

  185.         vmovddup          5 * SIZE(AO), %xmm9

  186.         vfnmaddpd       %xmm5 , %xmm2 , %xmm9 , %xmm5

  187.         vmovddup          6 * SIZE(AO), %xmm10

  188.         vfnmaddpd       %xmm6 , %xmm2 , %xmm10, %xmm6

  189.         vmovddup          7 * SIZE(AO), %xmm11

  190.         vfnmaddpd       %xmm7 , %xmm2 , %xmm11, %xmm7

  191. 

  192. 	vmovddup         11 * SIZE(AO), %xmm8

  193. 	vmulpd                  %xmm3 , %xmm8 , %xmm3

  194.         vmovddup         12 * SIZE(AO), %xmm11

  195.         vfnmaddpd       %xmm4 , %xmm3 , %xmm11, %xmm4

  196.         vmovddup         13 * SIZE(AO), %xmm9

  197.         vfnmaddpd       %xmm5 , %xmm3 , %xmm9 , %xmm5

  198.         vmovddup         14 * SIZE(AO), %xmm10

  199.         vfnmaddpd       %xmm6 , %xmm3 , %xmm10, %xmm6

  200.         vmovddup         15 * SIZE(AO), %xmm11

  201.         vfnmaddpd       %xmm7 , %xmm3 , %xmm11, %xmm7

  202. 

  203. 	vmovddup         20 * SIZE(AO), %xmm8

  204. 	vmulpd                  %xmm4 , %xmm8 , %xmm4

  205.         vmovddup         21 * SIZE(AO), %xmm9

  206.         vfnmaddpd       %xmm5 , %xmm4 , %xmm9 , %xmm5

  207.         vmovddup         22 * SIZE(AO), %xmm10

  208.         vfnmaddpd       %xmm6 , %xmm4 , %xmm10, %xmm6

  209.         vmovddup         23 * SIZE(AO), %xmm11

  210.         vfnmaddpd       %xmm7 , %xmm4 , %xmm11, %xmm7

  211. 

  212. 	vmovddup         29 * SIZE(AO), %xmm8

  213. 	vmulpd                  %xmm5 , %xmm8 , %xmm5

  214.         vmovddup         30 * SIZE(AO), %xmm10

  215.         vfnmaddpd       %xmm6 , %xmm5 , %xmm10, %xmm6

  216.         vmovddup         31 * SIZE(AO), %xmm11

  217.         vfnmaddpd       %xmm7 , %xmm5 , %xmm11, %xmm7

  218. 

  219. 	vmovddup         38 * SIZE(AO), %xmm8

  220. 	vmulpd                  %xmm6 , %xmm8 , %xmm6

  221.         vmovddup         39 * SIZE(AO), %xmm11

  222.         vfnmaddpd       %xmm7 , %xmm6 , %xmm11, %xmm7

  223. 

  224. 	vmovddup         47 * SIZE(AO), %xmm8

  225. 	vmulpd                  %xmm7 , %xmm8 , %xmm7

  226. 

  227. 

  228. 	vmovsd	%xmm0 ,  0 * SIZE(CO1)

  229. 	vmovsd	%xmm1 ,  1 * SIZE(CO1)

  230. 	vmovsd	%xmm2 ,  2 * SIZE(CO1)

  231. 	vmovsd	%xmm3 ,  3 * SIZE(CO1)

  232. 	vmovsd	%xmm4 ,  4 * SIZE(CO1)

  233. 	vmovsd	%xmm5 ,  5 * SIZE(CO1)

  234. 	vmovsd	%xmm6 ,  6 * SIZE(CO1)

  235. 	vmovsd	%xmm7 ,  7 * SIZE(CO1)

  236. 

  237. 	vmovhpd	%xmm0 ,  0 * SIZE(CO2)

  238. 	vmovhpd	%xmm1 ,  1 * SIZE(CO2)

  239. 	vmovhpd	%xmm2 ,  2 * SIZE(CO2)

  240. 	vmovhpd	%xmm3 ,  3 * SIZE(CO2)

  241. 	vmovhpd	%xmm4 ,  4 * SIZE(CO2)

  242. 	vmovhpd	%xmm5 ,  5 * SIZE(CO2)

  243. 	vmovhpd	%xmm6 ,  6 * SIZE(CO2)

  244. 	vmovhpd	%xmm7 ,  7 * SIZE(CO2)

  245. 

  246. 	vmovups	%xmm0 , -16 * SIZE(BO)

  247. 	vmovups	%xmm1 , -14 * SIZE(BO)

  248. 	vmovups	%xmm2 , -12 * SIZE(BO)

  249. 	vmovups	%xmm3 , -10 * SIZE(BO)

  250. 	vmovups	%xmm4 ,  -8 * SIZE(BO)

  251. 	vmovups	%xmm5 ,  -6 * SIZE(BO)

  252. 	vmovups	%xmm6 ,  -4 * SIZE(BO)

  253. 	vmovups	%xmm7 ,  -2 * SIZE(BO)

  254. 

  255. .endm

  256. 

  257. 

  258. 

  259. .macro KERNEL4x2_SUB

  260. 	vmovddup	-16*SIZE(BO,%rax,2), %xmm1

  261. 	vmovddup	-15*SIZE(BO,%rax,2), %xmm2

  262. 	vmovups		-16*SIZE(AO,%rax,4), %xmm0

  263. 	vfmaddpd	%xmm8 , %xmm0 , %xmm1 , %xmm8

  264. 	vfmaddpd	%xmm9 , %xmm0 , %xmm2 , %xmm9

  265. 	vmovups		-14*SIZE(AO,%rax,4), %xmm0

  266. 	vfmaddpd	%xmm10, %xmm0 , %xmm1 , %xmm10

  267. 	vfmaddpd	%xmm11, %xmm0 , %xmm2 , %xmm11

  268. 	addq    $ SIZE, %rax

  269. .endm

  270. 

  271. 

  272. .macro SOLVE_4x2

  273. 

  274.         vmovups   %xmm8 , %xmm1

  275.         vunpcklpd %xmm9 , %xmm8  , %xmm8

  276.         vunpckhpd %xmm9 , %xmm1  , %xmm1

  277. 

  278. 	vmovups		-16 * SIZE(BO), %xmm0

  279.         vsubpd  	%xmm8 , %xmm0 , %xmm0

  280. 	vmovups		-14 * SIZE(BO), %xmm8

  281.         vsubpd  	%xmm1 , %xmm8 , %xmm1

  282. 

  283.         vmovups  %xmm10, %xmm3

  284.         vunpcklpd %xmm11, %xmm10 , %xmm10

  285.         vunpckhpd %xmm11, %xmm3  , %xmm3

  286. 

  287. 	vmovups		-12 * SIZE(BO), %xmm8

  288. 	vmovups		-10 * SIZE(BO), %xmm9

  289.         vsubpd  	%xmm10, %xmm8 , %xmm2

  290.         vsubpd  	%xmm3 , %xmm9 , %xmm3

  291. 

  292. 	vmovddup        -16 * SIZE(AO), %xmm8

  293.         vmulpd                  %xmm0 , %xmm8 , %xmm0

  294.         vmovddup        -15 * SIZE(AO), %xmm9

  295.         vfnmaddpd       %xmm1 , %xmm0 , %xmm9 , %xmm1

  296.         vmovddup        -14 * SIZE(AO), %xmm10

  297.         vfnmaddpd       %xmm2 , %xmm0 , %xmm10, %xmm2

  298.         vmovddup        -13 * SIZE(AO), %xmm11

  299.         vfnmaddpd       %xmm3 , %xmm0 , %xmm11, %xmm3

  300. 

  301. 	vmovddup        -11 * SIZE(AO), %xmm8

  302. 	vmulpd                  %xmm1 , %xmm8 , %xmm1

  303.         vmovddup        -10 * SIZE(AO), %xmm10

  304.         vfnmaddpd       %xmm2 , %xmm1 , %xmm10, %xmm2

  305.         vmovddup         -9 * SIZE(AO), %xmm11

  306.         vfnmaddpd       %xmm3 , %xmm1 , %xmm11, %xmm3

  307. 

  308. 	vmovddup         -6 * SIZE(AO), %xmm8

  309. 	vmulpd                  %xmm2 , %xmm8 , %xmm2

  310.         vmovddup         -5 * SIZE(AO), %xmm11

  311.         vfnmaddpd       %xmm3 , %xmm2 , %xmm11, %xmm3

  312. 

  313. 	vmovddup         -1 * SIZE(AO), %xmm8

  314. 	vmulpd                  %xmm3 , %xmm8 , %xmm3

  315. 

  316. 	vmovsd	%xmm0 ,  0 * SIZE(CO1)

  317. 	vmovsd	%xmm1 ,  1 * SIZE(CO1)

  318. 	vmovsd	%xmm2 ,  2 * SIZE(CO1)

  319. 	vmovsd	%xmm3 ,  3 * SIZE(CO1)

  320. 

  321. 	vmovhpd	%xmm0 ,  0 * SIZE(CO2)

  322. 	vmovhpd	%xmm1 ,  1 * SIZE(CO2)

  323. 	vmovhpd	%xmm2 ,  2 * SIZE(CO2)

  324. 	vmovhpd	%xmm3 ,  3 * SIZE(CO2)

  325. 

  326. 	vmovups	%xmm0 , -16 * SIZE(BO)

  327. 	vmovups	%xmm1 , -14 * SIZE(BO)

  328. 	vmovups	%xmm2 , -12 * SIZE(BO)

  329. 	vmovups	%xmm3 , -10 * SIZE(BO)

  330. 

  331. .endm

  332. 

  333. 

  334. 

  335. .macro KERNEL2x2_SUB

  336. 	vmovddup	-16*SIZE(BO,%rax,2), %xmm1

  337. 	vmovddup	-15*SIZE(BO,%rax,2), %xmm2

  338. 	vmovups		-16*SIZE(AO,%rax,2), %xmm0

  339. 	vfmaddpd	%xmm8 , %xmm0 , %xmm1 , %xmm8

  340. 	vfmaddpd	%xmm9 , %xmm0 , %xmm2 , %xmm9

  341. 	addq    $ SIZE, %rax

  342. .endm

  343. 

  344. 

  345. .macro SOLVE_2x2

  346. 

  347.         vmovups   %xmm8 , %xmm1

  348.         vunpcklpd %xmm9 , %xmm8 , %xmm8

  349.         vunpckhpd %xmm9 , %xmm1 , %xmm1

  350. 

  351. 	vmovups		-16 * SIZE(BO), %xmm0

  352.         vsubpd  	%xmm8 , %xmm0 , %xmm0

  353. 	vmovups		-14 * SIZE(BO), %xmm8

  354.         vsubpd  	%xmm1 , %xmm8 , %xmm1

  355. 

  356. 	vmovddup        -16 * SIZE(AO), %xmm8

  357.         vmulpd                  %xmm0 , %xmm8 , %xmm0

  358.         vmovddup        -15 * SIZE(AO), %xmm9

  359.         vfnmaddpd       %xmm1 , %xmm0 , %xmm9 , %xmm1

  360. 

  361. 	vmovddup        -13 * SIZE(AO), %xmm8

  362. 	vmulpd                  %xmm1 , %xmm8 , %xmm1

  363. 

  364. 	vmovsd	%xmm0 ,  0 * SIZE(CO1)

  365. 	vmovsd	%xmm1 ,  1 * SIZE(CO1)

  366. 

  367. 	vmovhpd	%xmm0 ,  0 * SIZE(CO2)

  368. 	vmovhpd	%xmm1 ,  1 * SIZE(CO2)

  369. 

  370. 	vmovups	%xmm0 , -16 * SIZE(BO)

  371. 	vmovups	%xmm1 , -14 * SIZE(BO)

  372. 

  373. .endm

  374. 

  375. 

  376. 

  377. .macro KERNEL1x2_SUB

  378. 	vmovups 	-16*SIZE(BO,%rax,2), %xmm1

  379. 	vmovddup	-16*SIZE(AO,%rax,1), %xmm0

  380. 	vfmaddpd	%xmm8 , %xmm0 , %xmm1 , %xmm8

  381. 	addq    $ SIZE, %rax

  382. .endm

  383. 

  384. .macro SOLVE_1x2

  385. 

  386. 	vmovups		-16 * SIZE(BO), %xmm0

  387.         vsubpd  	%xmm8 , %xmm0 , %xmm0

  388. 

  389. 	vmovddup        -16 * SIZE(AO), %xmm8

  390. 	vmulpd                  %xmm0 , %xmm8 , %xmm0

  391. 

  392. 	vmovsd	%xmm0 ,  0 * SIZE(CO1)

  393. 

  394. 	vmovhpd	%xmm0 ,  0 * SIZE(CO2)

  395. 

  396. 	vmovups	%xmm0 , -16 * SIZE(BO)

  397. 

  398. .endm

  399. 

  400. 

  401. /******************************************************************************************/

  402. 

  403. 

  404. .macro KERNEL8x1_SUB

  405. 	vmovddup	-16*SIZE(BO,%rax,1), %xmm1

  406. 	vmovups		-16*SIZE(AO,%rax,8), %xmm0

  407. 	vfmaddpd	%xmm8 , %xmm0 , %xmm1 , %xmm8

  408. 	vmovups		-14*SIZE(AO,%rax,8), %xmm0

  409. 	vfmaddpd	%xmm9 , %xmm0 , %xmm1 , %xmm9

  410. 	vmovups		-12*SIZE(AO,%rax,8), %xmm0

  411. 	vfmaddpd	%xmm10, %xmm0 , %xmm1 , %xmm10

  412. 	vmovups		-10*SIZE(AO,%rax,8), %xmm0

  413. 	vfmaddpd	%xmm11, %xmm0 , %xmm1 , %xmm11

  414. 	addq    $ SIZE, %rax

  415. .endm

  416. 

  417. .macro SOLVE_8x1

  418. 

  419. 	vmovups	-16 * SIZE(BO), %xmm1

  420. 	vmovups	-14 * SIZE(BO), %xmm3

  421. 	vmovups	-12 * SIZE(BO), %xmm5

  422. 	vmovups	-10 * SIZE(BO), %xmm7

  423. 

  424. 	vsubpd	%xmm8 ,  %xmm1 , %xmm1

  425. 	vsubpd	%xmm9 ,  %xmm3 , %xmm3

  426. 	vsubpd	%xmm10,  %xmm5 , %xmm5

  427. 	vsubpd	%xmm11,  %xmm7 , %xmm7

  428. 

  429. 	vmovups	  %xmm1 , %xmm0

  430.         vunpckhpd %xmm1 , %xmm1 , %xmm1

  431. 

  432. 	vmovups	  %xmm3 , %xmm2

  433.         vunpckhpd %xmm3 , %xmm3 , %xmm3

  434. 

  435. 	vmovups	  %xmm5 , %xmm4

  436.         vunpckhpd %xmm5 , %xmm5 , %xmm5

  437. 

  438. 	vmovups	  %xmm7 , %xmm6

  439.         vunpckhpd %xmm7 , %xmm7 , %xmm7

  440. 

  441. 	vmulsd		 -16 * SIZE(AO), %xmm0 , %xmm0

  442. 	vfnmaddsd %xmm1 ,-15 * SIZE(AO), %xmm0 , %xmm1

  443. 	vfnmaddsd %xmm2 ,-14 * SIZE(AO), %xmm0 , %xmm2

  444. 	vfnmaddsd %xmm3 ,-13 * SIZE(AO), %xmm0 , %xmm3

  445. 	vfnmaddsd %xmm4 ,-12 * SIZE(AO), %xmm0 , %xmm4

  446. 	vfnmaddsd %xmm5 ,-11 * SIZE(AO), %xmm0 , %xmm5

  447. 	vfnmaddsd %xmm6 ,-10 * SIZE(AO), %xmm0 , %xmm6

  448. 	vfnmaddsd %xmm7 , -9 * SIZE(AO), %xmm0 , %xmm7

  449. 

  450. 	vmulsd		  -7 * SIZE(AO), %xmm1 , %xmm1

  451. 	vfnmaddsd %xmm2 , -6 * SIZE(AO), %xmm1 , %xmm2

  452. 	vfnmaddsd %xmm3 , -5 * SIZE(AO), %xmm1 , %xmm3

  453. 	vfnmaddsd %xmm4 , -4 * SIZE(AO), %xmm1 , %xmm4

  454. 	vfnmaddsd %xmm5 , -3 * SIZE(AO), %xmm1 , %xmm5

  455. 	vfnmaddsd %xmm6 , -2 * SIZE(AO), %xmm1 , %xmm6

  456. 	vfnmaddsd %xmm7 , -1 * SIZE(AO), %xmm1 , %xmm7

  457. 

  458. 	vmulsd		   2 * SIZE(AO), %xmm2 , %xmm2

  459. 	vfnmaddsd %xmm3 ,  3 * SIZE(AO), %xmm2 , %xmm3

  460. 	vfnmaddsd %xmm4 ,  4 * SIZE(AO), %xmm2 , %xmm4

  461. 	vfnmaddsd %xmm5 ,  5 * SIZE(AO), %xmm2 , %xmm5

  462. 	vfnmaddsd %xmm6 ,  6 * SIZE(AO), %xmm2 , %xmm6

  463. 	vfnmaddsd %xmm7 ,  7 * SIZE(AO), %xmm2 , %xmm7

  464. 

  465. 	vmulsd		  11 * SIZE(AO), %xmm3 , %xmm3

  466. 	vfnmaddsd %xmm4 , 12 * SIZE(AO), %xmm3 , %xmm4

  467. 	vfnmaddsd %xmm5 , 13 * SIZE(AO), %xmm3 , %xmm5

  468. 	vfnmaddsd %xmm6 , 14 * SIZE(AO), %xmm3 , %xmm6

  469. 	vfnmaddsd %xmm7 , 15 * SIZE(AO), %xmm3 , %xmm7

  470. 

  471. 	vmulsd		  20 * SIZE(AO), %xmm4 , %xmm4

  472. 	vfnmaddsd %xmm5 , 21 * SIZE(AO), %xmm4 , %xmm5

  473. 	vfnmaddsd %xmm6 , 22 * SIZE(AO), %xmm4 , %xmm6

  474. 	vfnmaddsd %xmm7 , 23 * SIZE(AO), %xmm4 , %xmm7

  475. 

  476. 	vmulsd		  29 * SIZE(AO), %xmm5 , %xmm5

  477. 	vfnmaddsd %xmm6 , 30 * SIZE(AO), %xmm5 , %xmm6

  478. 	vfnmaddsd %xmm7 , 31 * SIZE(AO), %xmm5 , %xmm7

  479. 

  480. 	vmulsd		  38 * SIZE(AO), %xmm6 , %xmm6

  481. 	vfnmaddsd %xmm7 , 39 * SIZE(AO), %xmm6 , %xmm7

  482. 

  483. 	vmulsd		  47 * SIZE(AO), %xmm7 , %xmm7

  484. 

  485. 	vmovsd	%xmm0 ,  0 * SIZE(CO1)

  486. 	vmovsd	%xmm1 ,  1 * SIZE(CO1)

  487. 	vmovsd	%xmm2 ,  2 * SIZE(CO1)

  488. 	vmovsd	%xmm3 ,  3 * SIZE(CO1)

  489. 	vmovsd	%xmm4 ,  4 * SIZE(CO1)

  490. 	vmovsd	%xmm5 ,  5 * SIZE(CO1)

  491. 	vmovsd	%xmm6 ,  6 * SIZE(CO1)

  492. 	vmovsd	%xmm7 ,  7 * SIZE(CO1)

  493. 

  494. 	vmovsd	%xmm0 , -16 * SIZE(BO)

  495. 	vmovsd	%xmm1 , -15 * SIZE(BO)

  496. 	vmovsd	%xmm2 , -14 * SIZE(BO)

  497. 	vmovsd	%xmm3 , -13 * SIZE(BO)

  498. 	vmovsd	%xmm4 , -12 * SIZE(BO)

  499. 	vmovsd	%xmm5 , -11 * SIZE(BO)

  500. 	vmovsd	%xmm6 , -10 * SIZE(BO)

  501. 	vmovsd	%xmm7 ,  -9 * SIZE(BO)

  502. 

  503. .endm

  504. 

  505. 

  506. 

  507. .macro KERNEL4x1_SUB

  508. 	vmovddup	-16*SIZE(BO,%rax,1), %xmm1

  509. 	vmovups		-16*SIZE(AO,%rax,4), %xmm0

  510. 	vfmaddpd	%xmm8 , %xmm0 , %xmm1 , %xmm8

  511. 	vmovups		-14*SIZE(AO,%rax,4), %xmm0

  512. 	vfmaddpd	%xmm9 , %xmm0 , %xmm1 , %xmm9

  513. 	addq    $ SIZE, %rax

  514. .endm

  515. 

  516. 

  517. .macro SOLVE_4x1

  518. 

  519. 	vmovups	-16 * SIZE(BO), %xmm1

  520. 	vmovups	-14 * SIZE(BO), %xmm3

  521. 

  522. 	vsubpd	%xmm8 ,  %xmm1 , %xmm1

  523. 	vsubpd	%xmm9 ,  %xmm3 , %xmm3

  524. 

  525. 	vmovups	  %xmm1 , %xmm0

  526.         vunpckhpd %xmm1 , %xmm1 , %xmm1

  527. 

  528. 	vmovups	  %xmm3 , %xmm2

  529.         vunpckhpd %xmm3 , %xmm3 , %xmm3

  530. 

  531. 	vmulsd		 -16 * SIZE(AO), %xmm0 , %xmm0

  532. 	vfnmaddsd %xmm1 ,-15 * SIZE(AO), %xmm0 , %xmm1

  533. 	vfnmaddsd %xmm2 ,-14 * SIZE(AO), %xmm0 , %xmm2

  534. 	vfnmaddsd %xmm3 ,-13 * SIZE(AO), %xmm0 , %xmm3

  535. 

  536. 	vmulsd		 -11 * SIZE(AO), %xmm1 , %xmm1

  537. 	vfnmaddsd %xmm2 ,-10 * SIZE(AO), %xmm1 , %xmm2

  538. 	vfnmaddsd %xmm3 , -9 * SIZE(AO), %xmm1 , %xmm3

  539. 

  540. 	vmulsd		  -6 * SIZE(AO), %xmm2 , %xmm2

  541. 	vfnmaddsd %xmm3 , -5 * SIZE(AO), %xmm2 , %xmm3

  542. 

  543. 	vmulsd		  -1 * SIZE(AO), %xmm3 , %xmm3

  544. 

  545. 	vmovsd	%xmm0 ,  0 * SIZE(CO1)

  546. 	vmovsd	%xmm1 ,  1 * SIZE(CO1)

  547. 	vmovsd	%xmm2 ,  2 * SIZE(CO1)

  548. 	vmovsd	%xmm3 ,  3 * SIZE(CO1)

  549. 

  550. 	vmovsd	%xmm0 , -16 * SIZE(BO)

  551. 	vmovsd	%xmm1 , -15 * SIZE(BO)

  552. 	vmovsd	%xmm2 , -14 * SIZE(BO)

  553. 	vmovsd	%xmm3 , -13 * SIZE(BO)

  554. 

  555. .endm

  556. 

  557. 

  558. 

  559. .macro KERNEL2x1_SUB

  560. 	vmovddup	-16*SIZE(BO,%rax,1), %xmm1

  561. 	vmovups		-16*SIZE(AO,%rax,2), %xmm0

  562. 	vfmaddpd	%xmm8 , %xmm0 , %xmm1 , %xmm8

  563. 	addq    $ SIZE, %rax

  564. .endm

  565. 

  566. 

  567. .macro SOLVE_2x1

  568. 

  569. 	vmovups	-16 * SIZE(BO), %xmm1

  570. 

  571. 	vsubpd	%xmm8 ,  %xmm1 , %xmm1

  572. 

  573. 	vmovups	  %xmm1 , %xmm0

  574.         vunpckhpd %xmm1 , %xmm1 , %xmm1

  575. 

  576. 	vmulsd		 -16 * SIZE(AO), %xmm0 , %xmm0

  577. 	vfnmaddsd %xmm1 ,-15 * SIZE(AO), %xmm0 , %xmm1

  578. 

  579. 	vmulsd		 -13 * SIZE(AO), %xmm1 , %xmm1

  580. 

  581. 	vmovsd	%xmm0 ,  0 * SIZE(CO1)

  582. 	vmovsd	%xmm1 ,  1 * SIZE(CO1)

  583. 

  584. 	vmovsd	%xmm0 , -16 * SIZE(BO)

  585. 	vmovsd	%xmm1 , -15 * SIZE(BO)

  586. 

  587. .endm

  588. 

  589. 

  590. 

  591. .macro KERNEL1x1_SUB

  592. 	vmovsd  	-16*SIZE(BO,%rax,1), %xmm1

  593. 	vmovsd 		-16*SIZE(AO,%rax,1), %xmm0

  594. 	vfmaddsd	%xmm8 , %xmm0 , %xmm1 , %xmm8

  595. 	addq    $ SIZE, %rax

  596. .endm

  597. 

  598. .macro SOLVE_1x1

  599. 

  600. 	vmovsd	-16 * SIZE(BO), %xmm1

  601. 

  602. 	vsubsd	%xmm8 ,  %xmm1 , %xmm1

  603. 

  604. 	vmulsd		 -16 * SIZE(AO), %xmm1 , %xmm1

  605. 

  606. 	vmovsd	%xmm1 ,  0 * SIZE(CO1)

  607. 

  608. 	vmovsd	%xmm1 , -16 * SIZE(BO)

  609. .endm

  610. 

  611. 

  612. 

  613. 

  614. 

  615. /***************************************************************************************************************/

  616. 

  617. 

  618. 	PROLOGUE

  619. 	PROFCODE

  620. 

  621. 	subq	$STACKSIZE, %rsp

  622. 	movq	%rbx,   (%rsp)

  623. 	movq	%rbp,  8(%rsp)

  624. 	movq	%r12, 16(%rsp)

  625. 	movq	%r13, 24(%rsp)

  626. 	movq	%r14, 32(%rsp)

  627. 	movq	%r15, 40(%rsp)

  628. 

  629. #ifdef WINDOWS_ABI

  630. 	movq	%rdi,    48(%rsp)

  631. 	movq	%rsi,    56(%rsp)

  632. 	movups	%xmm6,   64(%rsp)

  633. 	movups	%xmm7,   80(%rsp)

  634. 	movups	%xmm8,   96(%rsp)

  635. 	movups	%xmm9,  112(%rsp)

  636. 	movups	%xmm10, 128(%rsp)

  637. 	movups	%xmm11, 144(%rsp)

  638. 	movups	%xmm12, 160(%rsp)

  639. 	movups	%xmm13, 176(%rsp)

  640. 	movups	%xmm14, 192(%rsp)

  641. 	movups	%xmm15, 208(%rsp)

  642. 

  643. 	movq	ARG1,      OLD_M

  644. 	movq	ARG2,      OLD_N

  645. 	movq	ARG3,      K

  646. 	movq	OLD_A,     A

  647. 	movq	OLD_B,     B

  648. 	movq	OLD_C,     C

  649. 	movq	OLD_LDC,   LDC

  650. 	movsd	OLD_OFFSET, %xmm12

  651. #else

  652. 	movq	STACKSIZE +  8(%rsp), LDC

  653. 	movsd	STACKSIZE + 16(%rsp), %xmm12

  654. #endif

  655. 

  656. 	movq	OLD_M, M

  657. 	movq	OLD_N, N

  658. 

  659. 	subq	$-16 * SIZE, A

  660. 	subq	$-16 * SIZE, B

  661. 

  662. 	movsd	%xmm12, OFFSET

  663. 	movsd	%xmm12, KK

  664. 

  665. 	leaq	(, LDC, SIZE), LDC

  666. 

  667. 

  668. 	movq	N,  J

  669. 	sarq	$1, J		# j = (n >> 1)

  670. 	jle	.L80

  671. 	ALIGN_4

  672. 

  673. .L01:

  674. 

  675. 	movq	A, AO

  676. 

  677. 	movq	C, CO1			# coffset1 = c

  678. 	leaq	(C, LDC, 1), CO2	# coffset2 = c + ldc

  679. 	leaq    (C, LDC, 2), C

  680. 

  681. 	movq	OFFSET, %rax

  682. 	movq	%rax, KK

  683. 

  684. 	movq	M,  I

  685. 	sarq	$3, I	# i = (m >> 3)

  686. 	jle	.L50_A

  687. 	ALIGN_4

  688. /*********************************************************************************/

  689. .L51:

  690. 

  691. 	movq	B, BO

  692. 

  693. 	vxorpd	%xmm8 , %xmm8 , %xmm8

  694. 	vxorpd	%xmm9 , %xmm9 , %xmm9

  695. 	vxorpd	%xmm10, %xmm10, %xmm10

  696. 	vxorpd	%xmm11, %xmm11, %xmm11

  697. 	vxorpd	%xmm12, %xmm12, %xmm12

  698. 	vxorpd	%xmm13, %xmm13, %xmm13

  699. 	vxorpd	%xmm14, %xmm14, %xmm14

  700. 	vxorpd	%xmm15, %xmm15, %xmm15

  701. 

  702. 

  703. 	movq	KK, %rax

  704. 	andq	$-4, %rax

  705. 	leaq	(, %rax, SIZE), %rax

  706. 	leaq	(AO, %rax, 8), AO

  707. 	leaq	(BO, %rax, 2), BO

  708. 	negq	%rax

  709. 

  710. 	je	.L56

  711. 	ALIGN_4

  712. 

  713. .L52:

  714. 	prefetcht0      A_PR1(AO,%rax,8)

  715. 	prefetcht0      B_PR1(BO,%rax,2)

  716. 	KERNEL8x2_SUB

  717. 	prefetcht0      A_PR1(AO,%rax,8)

  718. 	KERNEL8x2_SUB

  719. 	prefetcht0      A_PR1(AO,%rax,8)

  720. 	KERNEL8x2_SUB

  721. 	prefetcht0      A_PR1(AO,%rax,8)

  722. 	KERNEL8x2_SUB

  723. 

  724. 	jl	.L52

  725. 	ALIGN_4

  726. 

  727. .L56:

  728. 	movq	KK, %rax

  729. 	andq	$3, %rax		# if (k & 1)

  730. 	je .L59

  731. 

  732. 	leaq	(, %rax, SIZE), %rax

  733. 	leaq	(AO, %rax, 8), AO

  734. 	leaq	(BO, %rax, 2), BO

  735. 	negq	%rax

  736. 	ALIGN_4

  737. 

  738. .L57:

  739. 	KERNEL8x2_SUB

  740. 

  741. 	jl	.L57

  742. 	ALIGN_4

  743. 

  744. .L59:

  745. 

  746. 	SOLVE_8x2

  747. 

  748. 	addq	$8 * SIZE, CO1

  749. 	addq	$8 * SIZE, CO2

  750. 

  751. 	movq	K,  %rax

  752. 	subq	KK, %rax

  753. 	leaq	(,%rax, SIZE), %rax

  754. 	leaq	(AO, %rax, 8), AO

  755. 	leaq	(BO, %rax, 2), BO

  756. 

  757. 	addq	$8, KK

  758. 

  759. 	decq	I			# i --

  760. 	jg	.L51

  761. 	ALIGN_4

  762. 

  763. /*********************************************************************************/

  764. 

  765. .L50_A:

  766. 	testq	$4, M

  767. 	je	.L60

  768. 

  769. .L51_A:

  770. 

  771. 	movq	B, BO

  772. 

  773. 	vxorpd	%xmm8 , %xmm8 , %xmm8

  774. 	vxorpd	%xmm9 , %xmm9 , %xmm9

  775. 	vxorpd	%xmm10, %xmm10, %xmm10

  776. 	vxorpd	%xmm11, %xmm11, %xmm11

  777. 

  778. 	movq	KK, %rax

  779. 	andq	$-4, %rax

  780. 	leaq	(, %rax, SIZE), %rax

  781. 	leaq	(AO, %rax, 4), AO

  782. 	leaq	(BO, %rax, 2), BO

  783. 	negq	%rax

  784. 

  785. 	je	.L56_A

  786. 	ALIGN_4

  787. 

  788. .L52_A:

  789. 

  790. 	KERNEL4x2_SUB

  791. 	KERNEL4x2_SUB

  792. 	KERNEL4x2_SUB

  793. 	KERNEL4x2_SUB

  794. 

  795. 	jl	.L52_A

  796. 	ALIGN_4

  797. 

  798. .L56_A:

  799. 	movq	KK, %rax

  800. 	andq	$3, %rax		# if (k & 1)

  801. 	je .L59_A

  802. 

  803. 	leaq	(, %rax, SIZE), %rax

  804. 	leaq	(AO, %rax, 4), AO

  805. 	leaq	(BO, %rax, 2), BO

  806. 	negq	%rax

  807. 	ALIGN_4

  808. 

  809. .L57_A:

  810. 

  811. 	KERNEL4x2_SUB

  812. 

  813. 	jl	.L57_A

  814. 	ALIGN_4

  815. 

  816. .L59_A:

  817. 

  818. 	SOLVE_4x2

  819. 

  820. 	addq	$4 * SIZE, CO1

  821. 	addq	$4 * SIZE, CO2

  822. 

  823. 	movq	K,  %rax

  824. 	subq	KK, %rax

  825. 	leaq	(,%rax, SIZE), %rax

  826. 	leaq	(AO, %rax, 4), AO

  827. 	leaq	(BO, %rax, 2), BO

  828. 

  829. 	addq	$4, KK

  830. 

  831. 	ALIGN_4

  832. 

  833. /*********************************************************************************/

  834. 

  835. 

  836. .L60:

  837. 	testq	$2, M

  838. 	je	.L70

  839. 

  840. .L61:

  841. 	movq	B, BO

  842. 

  843. 	vxorpd	%xmm8, %xmm8 , %xmm8

  844. 	vxorpd	%xmm9, %xmm9 , %xmm9

  845. 

  846. 	movq	KK, %rax

  847. 	andq	$-4, %rax

  848. 	leaq	(, %rax, SIZE), %rax

  849. 	leaq	(AO, %rax, 2), AO

  850. 	leaq	(BO, %rax, 2), BO

  851. 	negq	%rax

  852. 

  853. 	je	.L66

  854. 	ALIGN_4

  855. 

  856. .L62:

  857. 

  858. 	KERNEL2x2_SUB

  859. 	KERNEL2x2_SUB

  860. 	KERNEL2x2_SUB

  861. 	KERNEL2x2_SUB

  862. 

  863. 	jl	.L62

  864. 	ALIGN_4

  865. 

  866. .L66:

  867. 	movq	KK, %rax

  868. 	andq	$3, %rax		# if (k & 1)

  869. 	je .L69

  870. 

  871. 	leaq	(, %rax, SIZE), %rax

  872. 	leaq	(AO, %rax, 2), AO

  873. 	leaq	(BO, %rax, 2), BO

  874. 	negq	%rax

  875. 	ALIGN_4

  876. 

  877. .L67:

  878. 

  879. 	KERNEL2x2_SUB

  880. 

  881. 	jl	.L67

  882. 	ALIGN_4

  883. 

  884. .L69:

  885. 

  886. 	SOLVE_2x2

  887. 

  888. 	addq	$2 * SIZE, CO1

  889. 	addq	$2 * SIZE, CO2

  890. 

  891. 	movq	K,  %rax

  892. 	subq	KK, %rax

  893. 	leaq	(,%rax, SIZE), %rax

  894. 	leaq	(AO, %rax, 2), AO

  895. 	leaq	(BO, %rax, 2), BO

  896. 

  897. 	addq	$2, KK

  898. 

  899. 	ALIGN_4

  900. /********************************************************************************/

  901. .L70:

  902. 	testq	$1, M

  903. 	je	.L79

  904. 	ALIGN_4

  905. 

  906. .L71:

  907. 	movq	B, BO

  908. 

  909. 	vxorpd	%xmm8, %xmm8 , %xmm8

  910. 

  911. 	movq	KK, %rax

  912. 	andq	$-4, %rax

  913. 	leaq	(, %rax, SIZE), %rax

  914. 	leaq	(AO, %rax, 1), AO

  915. 	leaq	(BO, %rax, 2), BO

  916. 	negq	%rax

  917. 

  918. 	je	.L76

  919. 	ALIGN_4

  920. 

  921. .L72:

  922. 

  923. 	KERNEL1x2_SUB

  924. 	KERNEL1x2_SUB

  925. 	KERNEL1x2_SUB

  926. 	KERNEL1x2_SUB

  927. 

  928. 	jl	.L72

  929. 	ALIGN_4

  930. 

  931. .L76:

  932. 	movq	KK, %rax

  933. 	andq	$3, %rax		# if (k & 1)

  934. 	je .L78

  935. 

  936. 	leaq	(, %rax, SIZE), %rax

  937. 	leaq	(AO, %rax, 1), AO

  938. 	leaq	(BO, %rax, 2), BO

  939. 	negq	%rax

  940. 	ALIGN_4

  941. 

  942. .L77:

  943. 

  944. 	KERNEL1x2_SUB

  945. 

  946. 	jl	.L77

  947. 	ALIGN_4

  948. 

  949. .L78:

  950. 

  951. 	SOLVE_1x2

  952. 

  953. 	addq	$1 * SIZE, CO1

  954. 	addq	$1 * SIZE, CO2

  955. 

  956. 	movq	K,  %rax

  957. 	subq	KK, %rax

  958. 	leaq	(,%rax, SIZE), %rax

  959. 	leaq	(AO, %rax, 1), AO

  960. 	leaq	(BO, %rax, 2), BO

  961. 

  962. 	addq	$1, KK

  963. 

  964. 	ALIGN_4

  965. 

  966. .L79:

  967. 

  968. 	movq	BO, B

  969. 

  970. 	decq	J			# j --

  971. 	jg	.L01

  972. 	ALIGN_4

  973. /***************************************************************************************/

  974. .L80:

  975. 	testq	$1, N

  976. 	je	.L999

  977. 

  978. 	movq	A, AO

  979. 	movq	C, CO1			# coffset1 = c

  980. 

  981. 	movq	OFFSET, %rax

  982. 	movq	%rax, KK

  983. 

  984. 	movq	M,  I

  985. 	sarq	$3, I	# i = (m >> 3)

  986. 	jle	.L90_A

  987. 	ALIGN_4

  988. /*************************************************************************************/

  989. .L91:

  990. 

  991. 	movq	B, BO

  992. 

  993. 	vxorpd	%xmm8, %xmm8  , %xmm8

  994. 	vxorpd	%xmm9, %xmm9  , %xmm9

  995. 	vxorpd	%xmm10, %xmm10, %xmm10

  996. 	vxorpd	%xmm11, %xmm11, %xmm11

  997. 

  998. 

  999. 	movq	KK, %rax

  1000. 	andq	$-4, %rax

  1001. 	leaq	(, %rax, SIZE), %rax

  1002. 	leaq	(AO, %rax, 8), AO

  1003. 	leaq	(BO, %rax, 1), BO

  1004. 	negq	%rax

  1005. 

  1006. 	je	.L96

  1007. 	ALIGN_4

  1008. 

  1009. .L92:

  1010. 	KERNEL8x1_SUB

  1011. 	KERNEL8x1_SUB

  1012. 	KERNEL8x1_SUB

  1013. 	KERNEL8x1_SUB

  1014. 

  1015. 	jl	.L92

  1016. 	ALIGN_4

  1017. 

  1018. .L96:

  1019. 	movq	KK, %rax

  1020. 	andq	$3, %rax		# if (k & 1)

  1021. 	je .L99

  1022. 

  1023. 	leaq	(, %rax, SIZE), %rax

  1024. 	leaq	(AO, %rax, 8), AO

  1025. 	leaq	(BO, %rax, 1), BO

  1026. 	negq	%rax

  1027. 	ALIGN_4

  1028. 

  1029. .L97:

  1030. 	KERNEL8x1_SUB

  1031. 

  1032. 	jl	.L97

  1033. 	ALIGN_4

  1034. .L99:

  1035. 

  1036. 	SOLVE_8x1

  1037. 

  1038. 	addq	$8 * SIZE, CO1

  1039. 

  1040. 	movq	K,  %rax

  1041. 	subq	KK, %rax

  1042. 	leaq	(,%rax, SIZE), %rax

  1043. 	leaq	(AO, %rax, 8), AO

  1044. 	addq	%rax, BO

  1045. 

  1046. 	addq	$8, KK

  1047. 

  1048. 

  1049. 	decq	I			# i --

  1050. 	jg	.L91

  1051. 	ALIGN_4

  1052. 

  1053. /*****************************************************************************/

  1054. .L90_A:

  1055. 	testq	$4, M

  1056. 	je	.L100

  1057. 

  1058. .L91_A:

  1059. 	movq	B, BO

  1060. 

  1061. 	vxorpd	%xmm8, %xmm8 , %xmm8

  1062. 	vxorpd	%xmm9, %xmm9 , %xmm9

  1063. 

  1064. 	movq	KK, %rax

  1065. 	andq	$-4, %rax

  1066. 	leaq	(, %rax, SIZE), %rax

  1067. 	leaq	(AO, %rax, 4), AO

  1068. 	leaq	(BO, %rax, 1), BO

  1069. 	negq	%rax

  1070. 

  1071. 	je	.L96_A

  1072. 	ALIGN_4

  1073. 

  1074. .L92_A:

  1075. 

  1076. 	KERNEL4x1_SUB

  1077. 	KERNEL4x1_SUB

  1078. 	KERNEL4x1_SUB

  1079. 	KERNEL4x1_SUB

  1080. 

  1081. 	jl	.L92_A

  1082. 	ALIGN_4

  1083. 

  1084. .L96_A:

  1085. 	movq	KK, %rax

  1086. 	andq	$3, %rax		# if (k & 1)

  1087. 	je .L99_A

  1088. 

  1089. 	leaq	(, %rax, SIZE), %rax

  1090. 	leaq	(AO, %rax, 4), AO

  1091. 	leaq	(BO, %rax, 1), BO

  1092. 	negq	%rax

  1093. 	ALIGN_4

  1094. 

  1095. .L97_A:

  1096. 

  1097. 	KERNEL4x1_SUB

  1098. 

  1099. 	jl	.L97_A

  1100. 	ALIGN_4

  1101. .L99_A:

  1102. 

  1103. 	SOLVE_4x1

  1104. 

  1105. 	addq	$4 * SIZE, CO1

  1106. 

  1107. 	movq	K,  %rax

  1108. 	subq	KK, %rax

  1109. 	leaq	(,%rax, SIZE), %rax

  1110. 	leaq	(AO, %rax, 4), AO

  1111. 	addq	%rax, BO

  1112. 

  1113. 	addq	$4, KK

  1114. 

  1115. 

  1116. 	ALIGN_4

  1117. 

  1118. /*************************************************************************************/

  1119. .L100:

  1120. 	testq	$2, M

  1121. 	je	.L110

  1122. 

  1123. 

  1124. 

  1125. 	movq	B, BO

  1126. 

  1127. 	vxorpd	%xmm8, %xmm8 , %xmm8

  1128. 

  1129. 	movq	KK, %rax

  1130. 	andq	$-4, %rax

  1131. 	leaq	(, %rax, SIZE), %rax

  1132. 	leaq	(AO, %rax, 2), AO

  1133. 	leaq	(BO, %rax, 1), BO

  1134. 	negq	%rax

  1135. 

  1136. 	je	.L106

  1137. 	ALIGN_4

  1138. 

  1139. .L102:

  1140. 

  1141. 	KERNEL2x1_SUB

  1142. 	KERNEL2x1_SUB

  1143. 	KERNEL2x1_SUB

  1144. 	KERNEL2x1_SUB

  1145. 

  1146. 	jl	.L102

  1147. 	ALIGN_4

  1148. 

  1149. .L106:

  1150. 	movq	KK, %rax

  1151. 	andq	$3, %rax		# if (k & 1)

  1152. 	je .L109

  1153. 

  1154. 	leaq	(, %rax, SIZE), %rax

  1155. 	leaq	(AO, %rax, 2), AO

  1156. 	leaq	(BO, %rax, 1), BO

  1157. 	negq	%rax

  1158. 	ALIGN_4

  1159. 

  1160. .L107:

  1161. 

  1162. 	KERNEL2x1_SUB

  1163. 

  1164. 	jl	.L107

  1165. 	ALIGN_4

  1166. 

  1167. .L109:

  1168. 

  1169. 	SOLVE_2x1

  1170. 

  1171. 	addq	$2 * SIZE, CO1

  1172. 

  1173. 	movq	K,  %rax

  1174. 	subq	KK, %rax

  1175. 	leaq	(,%rax, SIZE), %rax

  1176. 	leaq	(AO, %rax, 2), AO

  1177. 	addq	%rax, BO

  1178. 

  1179. 	addq	$2, KK

  1180. 

  1181. 	ALIGN_4

  1182. 

  1183. .L110:

  1184. 	testq	$1, M

  1185. 	je	.L119

  1186. 	ALIGN_4

  1187. 

  1188. .L111:

  1189. 	movq	B, BO

  1190. 

  1191. 	vxorpd	%xmm8, %xmm8 , %xmm8

  1192. 

  1193. 	movq	KK, %rax

  1194. 	andq	$-4, %rax

  1195. 	leaq	(, %rax, SIZE), %rax

  1196. 	leaq	(AO, %rax, 1), AO

  1197. 	leaq	(BO, %rax, 1), BO

  1198. 	negq	%rax

  1199. 

  1200. 	je	.L116

  1201. 	ALIGN_4

  1202. 

  1203. .L112:

  1204. 

  1205. 	KERNEL1x1_SUB

  1206. 	KERNEL1x1_SUB

  1207. 	KERNEL1x1_SUB

  1208. 	KERNEL1x1_SUB

  1209. 

  1210. 	jl	.L112

  1211. 	ALIGN_4

  1212. 

  1213. .L116:

  1214. 	movq	KK, %rax

  1215. 	andq	$3, %rax		# if (k & 1)

  1216. 	je .L118

  1217. 

  1218. 	leaq	(, %rax, SIZE), %rax

  1219. 	leaq	(AO, %rax, 1), AO

  1220. 	leaq	(BO, %rax, 1), BO

  1221. 	negq	%rax

  1222. 	ALIGN_4

  1223. 

  1224. .L117:

  1225. 

  1226. 	KERNEL1x1_SUB

  1227. 

  1228. 	jl	.L117

  1229. 	ALIGN_4

  1230. 

  1231. .L118:

  1232. 

  1233. 	SOLVE_1x1

  1234. 

  1235. 	addq	$1 * SIZE, CO1

  1236. 

  1237. 	movq	K,  %rax

  1238. 	subq	KK, %rax

  1239. 	leaq	(,%rax, SIZE), %rax

  1240. 	addq	%rax, AO

  1241. 	addq	%rax, BO

  1242. 

  1243. 	addq	$1, KK

  1244. 

  1245. 	ALIGN_4

  1246. 

  1247. .L119:

  1248. 

  1249. 	movq	BO, B

  1250. 

  1251. 

  1252. 	ALIGN_4

  1253. 

  1254. 

  1255. .L999:

  1256. 	movq	   (%rsp), %rbx

  1257. 	movq	  8(%rsp), %rbp

  1258. 	movq	 16(%rsp), %r12

  1259. 	movq	 24(%rsp), %r13

  1260. 	movq	 32(%rsp), %r14

  1261. 	movq	 40(%rsp), %r15

  1262. 

  1263. #ifdef WINDOWS_ABI

  1264. 	movq	 48(%rsp), %rdi

  1265. 	movq	 56(%rsp), %rsi

  1266. 	movups	 64(%rsp), %xmm6

  1267. 	movups	 80(%rsp), %xmm7

  1268. 	movups	 96(%rsp), %xmm8

  1269. 	movups	112(%rsp), %xmm9

  1270. 	movups	128(%rsp), %xmm10

  1271. 	movups	144(%rsp), %xmm11

  1272. 	movups	160(%rsp), %xmm12

  1273. 	movups	176(%rsp), %xmm13

  1274. 	movups	192(%rsp), %xmm14

  1275. 	movups	208(%rsp), %xmm15

  1276. #endif

  1277. 

  1278. 	addq	$STACKSIZE, %rsp

  1279. 	ret

  1280. 

  1281. 	EPILOGUE