OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: 5e1a429eab
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from '5e1a429eab'
${ noResults }
OpenBLAS/kernel/arm/zgemm_kernel_2x2_vfpv3.S

1368 lines
23 kB
Raw Blame History 

  1. /***************************************************************************

  2. Copyright (c) 2013, The OpenBLAS Project

  3. All rights reserved.

  4. Redistribution and use in source and binary forms, with or without

  5. modification, are permitted provided that the following conditions are

  6. met:

  7. 1. Redistributions of source code must retain the above copyright

  8. notice, this list of conditions and the following disclaimer.

  9. 2. Redistributions in binary form must reproduce the above copyright

  10. notice, this list of conditions and the following disclaimer in

  11. the documentation and/or other materials provided with the

  12. distribution.

  13. 3. Neither the name of the OpenBLAS project nor the names of

  14. its contributors may be used to endorse or promote products

  15. derived from this software without specific prior written permission.

  16. THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"

  17. AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE

  18. IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE

  19. ARE DISCLAIMED. IN NO EVENT SHALL THE OPENBLAS PROJECT OR CONTRIBUTORS BE

  20. LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL

  21. DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR

  22. SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER

  23. CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,

  24. OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE

  25. USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

  26. *****************************************************************************/

  27. 

  28. /**************************************************************************************

  29. * 2013/11/05 Saar

  30. * 	 BLASTEST 		: OK

  31. * 	 CTEST			: OK

  32. * 	 TEST			: OK

  33. *

  34. * 2013/11/02 Saar

  35. *       UNROLL_N                2

  36. *       UNROLL_M                2

  37. *       ZGEMM_P                 64

  38. *       ZGEMM_Q                 120

  39. *       ZGEMM_R                 4096

  40. *       A_PRE                   96

  41. *       B_PRE                   96

  42. *       C_PRE                   64

  43. *

  44. *       Performance on Odroid U2:

  45. *

  46. *               1 Core:         1.62 GFLOPS     ATLAS: 1.39     GFLOPS

  47. *               2 Cores:        3.20 GFLOPS     ATLAS: 2.54     GFLOPS

  48. *               3 Cores:        4.72 GFLOPS     ATLAS: 3.76     GFLOPS

  49. *               4 Cores:        5.93 GFLOPS     ATLAS: 4.88     GFLOPS

  50. **************************************************************************************/

  51. 

  52. #define ASSEMBLER

  53. #include "common.h"

  54. 

  55. #define STACKSIZE 256

  56. 

  57. #define	OLD_M	r0

  58. #define	OLD_N	r1

  59. #define	OLD_K	r2

  60. #define	OLD_A	r3

  61. #define OLD_ALPHA_R d0

  62. #define OLD_ALPHA_I d1

  63. 

  64. /******************************************************

  65. * [fp, #-128] - [fp, #-64] is reserved

  66. * for store and restore of floating point

  67. * registers

  68. *******************************************************/

  69. 

  70. #define A	[fp, #-248 ]

  71. #define LDC	[fp, #-252 ]

  72. #define M	[fp, #-256 ]

  73. #define N	[fp, #-260 ]

  74. #define K	[fp, #-264 ]

  75. 

  76. #define FP_ZERO [fp, #-240]

  77. #define FP_ZERO_0 [fp, # -240]

  78. #define FP_ZERO_1 [fp, # -236]

  79. 

  80. #define ALPHA_I	[fp, #-272]

  81. #define ALPHA_R	[fp, #-280]

  82. 

  83. #if !defined(__ARM_PCS_VFP)

  84. #define OLD_ALPHAR_SOFTFP	[fp, #4]

  85. #define OLD_ALPHAI_SOFTFP	[fp, #12]

  86. #define OLD_A_SOFTFP	[fp, #20 ]

  87. #define B	[fp, #24 ]

  88. #define C	[fp, #28 ]

  89. #define OLD_LDC	[fp, #32 ]

  90. #else

  91. #define B	[fp, #4 ]

  92. #define C	[fp, #8 ]

  93. #define OLD_LDC	[fp, #12 ]

  94. #endif

  95. 

  96. #define I	r0

  97. #define J	r1

  98. #define L	r2

  99. 

  100. #define	AO	r5

  101. #define	BO	r6

  102. 

  103. #define	CO1	r8

  104. #define	CO2	r9

  105. 

  106. #define K1	r7

  107. #define BC	r12

  108. 

  109. #define A_PRE	96

  110. #define B_PRE	96

  111. #define C_PRE	64

  112. 

  113. #if defined(NN) || defined(NT) || defined(TN) || defined(TT)

  114. 

  115. 	#define	FADD_R	fsubd

  116. 	#define	FADD_I	faddd

  117. 

  118. 	#define	FMAC_R1	vmls.f64

  119. 	#define	FMAC_R2	vmls.f64

  120. 	#define	FMAC_I1	fmacd

  121. 	#define	FMAC_I2	vmls.f64

  122. 

  123. #elif defined(CN) || defined(CT)

  124. 

  125. 	#define	FADD_R	faddd

  126. 	#define	FADD_I	fsubd

  127. 

  128. 	#define	FMAC_R1	fmacd

  129. 	#define	FMAC_R2	fmacd

  130. 	#define	FMAC_I1	vmls.f64

  131. 	#define	FMAC_I2	fmacd

  132. 

  133. #elif defined(NC) || defined(TC)

  134. 

  135. 	#define	FADD_R	faddd

  136. 	#define	FADD_I	fsubd

  137. 

  138. 	#define	FMAC_R1	fmacd

  139. 	#define	FMAC_R2	vmls.f64

  140. 	#define	FMAC_I1	fmacd

  141. 	#define	FMAC_I2	fmacd

  142. 

  143. #else

  144. 

  145. 	#define	FADD_R  fsubd

  146. 	#define	FADD_I	faddd

  147. 

  148. 	#define	FMAC_R1	vmls.f64

  149. 	#define	FMAC_R2	fmacd

  150. 	#define	FMAC_I1	vmls.f64

  151. 	#define	FMAC_I2	vmls.f64

  152. 

  153. #endif

  154. 

  155. 

  156. 

  157. /**************************************************************************************

  158. * Macro definitions

  159. **************************************************************************************/

  160. 

  161. .macro INIT2x2

  162. 

  163. 	fldd			d16, FP_ZERO

  164. 	vmov.f64		d17, d16

  165. 	vmov.f64		d18, d16

  166. 	vmov.f64		d19, d16

  167. 	vmov.f64		d20, d16

  168. 	vmov.f64		d21, d16

  169. 	vmov.f64		d22, d16

  170. 	vmov.f64		d23, d16

  171. 	vmov.f64		d24, d16

  172. 	vmov.f64		d25, d16

  173. 	vmov.f64		d26, d16

  174. 	vmov.f64		d27, d16

  175. 	vmov.f64		d28, d16

  176. 	vmov.f64		d29, d16

  177. 	vmov.f64		d30, d16

  178. 	vmov.f64		d31, d16

  179. 

  180. .endm

  181. 

  182. .macro KERNEL2x2_I

  183. 	pld	[ AO , #A_PRE ]

  184. 	pld	[ BO , #B_PRE ]

  185. 	fldd	d0 , [ AO ]

  186. 	fldd	d1 , [ AO, #8 ]

  187. 	fldd	d8 , [ BO ]

  188. 	fldd	d9 , [ BO, #8 ]

  189. 

  190. 	fmuld	d16  , d0,  d8

  191. 	fldd	d2 , [ AO, #16 ]

  192. 	fmuld	d24  , d1,  d9

  193. 	fldd	d3 , [ AO, #24 ]

  194. 	fmuld	d17  , d0,  d9

  195. 	fldd	d10, [ BO, #16 ]

  196. 	fmuld	d25  , d1,  d8

  197. 

  198. 	fldd	d11, [ BO, #24 ]

  199. 	fmuld	d18  , d2,  d8

  200. 	add	BO , BO, #32

  201. 	fmuld	d26  , d3,  d9

  202. 	add	AO , AO, #32

  203. 	fmuld	d19  , d2,  d9

  204. 	pld	[ BO , #B_PRE ]

  205. 	fmuld	d27  , d3,  d8

  206. 

  207. 	pld	[ AO , #A_PRE ]

  208. 	fmuld	d20  , d0,  d10

  209. 	fldd	d4 , [ AO, #0 ]

  210. 	fmuld	d28  , d1,  d11

  211. 	fldd	d5 , [ AO, #8 ]

  212. 	fmuld	d21  , d0,  d11

  213. 	fldd	d12, [ BO ]

  214. 	fmuld	d29  , d1,  d10

  215. 

  216. 	fldd	d13, [ BO, #8 ]

  217. 	fmuld	d22  , d2,  d10

  218. 	fldd	d6 , [ AO, #16 ]

  219. 	fmuld	d30  , d3,  d11

  220. 	fldd	d7 , [ AO, #24 ]

  221. 	fmuld	d23  , d2,  d11

  222. 	fldd	d14, [ BO, #16 ]

  223. 	fmuld	d31  , d3,  d10

  224. 	fldd	d15, [ BO, #24 ]

  225. 

  226. 	add	BO , BO, #32

  227. 	add	AO , AO, #32

  228. .endm

  229. 

  230. 

  231. 

  232. .macro KERNEL2x2_M1

  233. 	pld	[ AO , #A_PRE ]

  234. 

  235. 	fmacd	d16  , d0,  d8

  236. 	pld	[ BO , #B_PRE ]

  237. 	fmacd	d24  , d1,  d9

  238. 	fldd	d4 , [ AO, #0 ]

  239. 	fmacd	d17  , d0,  d9

  240. 	fldd	d5 , [ AO, #8 ]

  241. 	fmacd	d25  , d1,  d8

  242. 

  243. 	fldd	d12, [ BO ]

  244. 	fmacd	d18  , d2,  d8

  245. 	fldd	d13, [ BO, #8 ]

  246. 	fmacd	d26  , d3,  d9

  247. 	fldd	d6 , [ AO, #16 ]

  248. 	fmacd	d19  , d2,  d9

  249. 	fldd	d7 , [ AO, #24 ]

  250. 	fmacd	d27  , d3,  d8

  251. 

  252. 	fmacd	d20  , d0,  d10

  253. 	fldd	d14, [ BO, #16 ]

  254. 	fmacd	d28  , d1,  d11

  255. 	fmacd	d21  , d0,  d11

  256. 	fldd	d15, [ BO, #24 ]

  257. 	fmacd	d29  , d1,  d10

  258. 

  259. 	fmacd	d22  , d2,  d10

  260. 	add	BO , BO, #32

  261. 	fmacd	d30  , d3,  d11

  262. 	fmacd	d23  , d2,  d11

  263. 	add	AO , AO, #32

  264. 	fmacd	d31  , d3,  d10

  265. 

  266. .endm

  267. 

  268. .macro KERNEL2x2_M2

  269. 	pld	[ AO , #A_PRE ]

  270. 

  271. 	fmacd	d16  , d4,  d12

  272. 	pld	[ BO , #B_PRE ]

  273. 	fmacd	d24  , d5,  d13

  274. 	fldd	d0 , [ AO, #0 ]

  275. 	fmacd	d17  , d4,  d13

  276. 	fldd	d1 , [ AO, #8 ]

  277. 	fmacd	d25  , d5,  d12

  278. 

  279. 	fmacd	d18  , d6,  d12

  280. 	fldd	d8 , [ BO ]

  281. 	fmacd	d26  , d7,  d13

  282. 	fldd	d9 , [ BO, #8 ]

  283. 	fmacd	d19  , d6,  d13

  284. 	fmacd	d27  , d7,  d12

  285. 

  286. 	fldd	d2 , [ AO, #16 ]

  287. 	fmacd	d20  , d4,  d14

  288. 	fldd	d3 , [ AO, #24 ]

  289. 	fmacd	d28  , d5,  d15

  290. 	fmacd	d21  , d4,  d15

  291. 	fldd	d10, [ BO, #16 ]

  292. 	fmacd	d29  , d5,  d14

  293. 

  294. 	fldd	d11, [ BO, #24 ]

  295. 	fmacd	d22  , d6,  d14

  296. 	fmacd	d30  , d7,  d15

  297. 	add	BO , BO, #32

  298. 	fmacd	d23  , d6,  d15

  299. 	add	AO , AO, #32

  300. 	fmacd	d31  , d7,  d14

  301. 

  302. .endm

  303. 

  304. 

  305. .macro KERNEL2x2_E

  306. 

  307. 	fmacd	d16  , d4,  d12

  308. 	fmacd	d24  , d5,  d13

  309. 	fmacd	d17  , d4,  d13

  310. 	fmacd	d25  , d5,  d12

  311. 

  312. 	fmacd	d18  , d6,  d12

  313. 	fmacd	d26  , d7,  d13

  314. 	fmacd	d19  , d6,  d13

  315. 	fmacd	d27  , d7,  d12

  316. 

  317. 	fmacd	d20  , d4,  d14

  318. 	fmacd	d28  , d5,  d15

  319. 	fmacd	d21  , d4,  d15

  320. 	fmacd	d29  , d5,  d14

  321. 

  322. 	fmacd	d22  , d6,  d14

  323. 	fmacd	d30  , d7,  d15

  324. 	fmacd	d23  , d6,  d15

  325. 	fmacd	d31  , d7,  d14

  326. 

  327. .endm

  328. 

  329. .macro KERNEL2x2_SUB

  330. 

  331. 	pld	[ AO , #A_PRE ]

  332. 	pld	[ BO , #B_PRE ]

  333. 	fldd	d0 , [ AO ]

  334. 	fldd	d1 , [ AO, #8 ]

  335. 	fldd	d8 , [ BO ]

  336. 	fldd	d9 , [ BO, #8 ]

  337. 

  338. 	fmacd	d16  , d0,  d8

  339. 	fldd	d2 , [ AO, #16 ]

  340. 	fmacd	d24  , d1,  d9

  341. 	fldd	d3 , [ AO, #24 ]

  342. 	fmacd	d17  , d0,  d9

  343. 	fldd	d10, [ BO, #16 ]

  344. 	fmacd	d25  , d1,  d8

  345. 

  346. 	fldd	d11, [ BO, #24 ]

  347. 	fmacd	d18  , d2,  d8

  348. 	fmacd	d26  , d3,  d9

  349. 	fmacd	d19  , d2,  d9

  350. 	fmacd	d27  , d3,  d8

  351. 

  352. 	fmacd	d20  , d0,  d10

  353. 	fmacd	d28  , d1,  d11

  354. 	fmacd	d21  , d0,  d11

  355. 	fmacd	d29  , d1,  d10

  356. 

  357. 	fmacd	d22  , d2,  d10

  358. 	add	BO , BO, #32

  359. 	fmacd	d30  , d3,  d11

  360. 	fmacd	d23  , d2,  d11

  361. 	add	AO , AO, #32

  362. 	fmacd	d31  , d3,  d10

  363. 

  364. .endm

  365. 

  366. 

  367. 

  368. 

  369. .macro SAVE2x2

  370. 	pld	[ CO1 , #C_PRE ]

  371. 

  372. 	ldr	r3  , LDC

  373. 	add	CO2 , CO1, r3

  374. 	fldd		d0, ALPHA_R

  375. 	fldd		d1, ALPHA_I

  376. 

  377. 	vldmia.f64 CO1, { d4 - d7 }

  378. 	vldmia.f64 CO2, { d8 - d11 }

  379. 

  380. 	FADD_R	d16, d24 , d16

  381. 	FADD_I  d17, d25 , d17

  382. 	FADD_R	d18, d26 , d18

  383. 	FADD_I  d19, d27 , d19

  384. 	FADD_R	d20, d28 , d20

  385. 	FADD_I  d21, d29 , d21

  386. 	FADD_R	d22, d30 , d22

  387. 	FADD_I  d23, d31 , d23

  388. 

  389. 	FMAC_R1 d4 , d0 , d16

  390. 	FMAC_I1 d5 , d0 , d17

  391. 	FMAC_R2 d4 , d1 , d17

  392. 	FMAC_I2	d5 , d1 , d16

  393. 

  394. 	FMAC_R1 d6 , d0 , d18

  395. 	FMAC_I1 d7 , d0 , d19

  396. 	FMAC_R2 d6 , d1 , d19

  397. 	FMAC_I2	d7 , d1 , d18

  398. 

  399. 	FMAC_R1 d8 , d0 , d20

  400. 	FMAC_I1 d9 , d0 , d21

  401. 	FMAC_R2 d8 , d1 , d21

  402. 	FMAC_I2	d9 , d1 , d20

  403. 

  404. 	FMAC_R1 d10, d0 , d22

  405. 	FMAC_I1 d11, d0 , d23

  406. 	FMAC_R2 d10, d1 , d23

  407. 	FMAC_I2	d11, d1 , d22

  408. 

  409. 	vstmia.f64 CO1, { d4 - d7 }

  410. 	vstmia.f64 CO2, { d8 - d11 }

  411. 

  412. 	add	CO1, CO1, #32

  413. 

  414. .endm

  415. 

  416. /******************************************************************************/

  417. 

  418. .macro INIT1x2

  419. 

  420. 	fldd			d16, FP_ZERO

  421. 	vmov.f64		d17, d16

  422. 	vmov.f64		d20, d16

  423. 	vmov.f64		d21, d16

  424. 	vmov.f64		d24, d16

  425. 	vmov.f64		d25, d16

  426. 	vmov.f64		d28, d16

  427. 	vmov.f64		d29, d16

  428. 

  429. .endm

  430. 

  431. .macro KERNEL1x2_I

  432. 	pld	[ AO , #A_PRE ]

  433. 	pld	[ BO , #B_PRE ]

  434. 	fldd	d0 , [ AO ]

  435. 	fldd	d1 , [ AO, #8 ]

  436. 	fldd	d8 , [ BO ]

  437. 	fldd	d9 , [ BO, #8 ]

  438. 	fldd	d10, [ BO, #16 ]

  439. 	fldd	d11, [ BO, #24 ]

  440. 

  441. 	fmuld	d16  , d0,  d8

  442. 	fmuld	d24  , d1,  d9

  443. 	fmuld	d17  , d0,  d9

  444. 	fmuld	d25  , d1,  d8

  445. 

  446. 	fmuld	d20  , d0,  d10

  447. 	fmuld	d28  , d1,  d11

  448. 	fmuld	d21  , d0,  d11

  449. 	fmuld	d29  , d1,  d10

  450. 

  451. 	add	BO , BO, #32

  452. 	add	AO , AO, #16

  453. 

  454. 	pld	[ BO , #B_PRE ]

  455. 

  456. 	fldd	d4 , [ AO, #0 ]

  457. 	fldd	d5 , [ AO, #8 ]

  458. 

  459. 	fldd	d12, [ BO ]

  460. 	fldd	d13, [ BO, #8 ]

  461. 	fldd	d14, [ BO, #16 ]

  462. 	fldd	d15, [ BO, #24 ]

  463. 

  464. 	add	BO , BO, #32

  465. 	add	AO , AO, #16

  466. .endm

  467. 

  468. 

  469. 

  470. .macro KERNEL1x2_M1

  471. 	pld	[ BO , #B_PRE ]

  472. 

  473. 	fmacd	d16  , d0,  d8

  474. 	fmacd	d24  , d1,  d9

  475. 	fmacd	d17  , d0,  d9

  476. 	fmacd	d25  , d1,  d8

  477. 

  478. 	fmacd	d20  , d0,  d10

  479. 	fmacd	d28  , d1,  d11

  480. 	fmacd	d21  , d0,  d11

  481. 	fmacd	d29  , d1,  d10

  482. 

  483. 	fldd	d4 , [ AO, #0 ]

  484. 	fldd	d5 , [ AO, #8 ]

  485. 

  486. 	fldd	d12, [ BO ]

  487. 	fldd	d13, [ BO, #8 ]

  488. 	fldd	d14, [ BO, #16 ]

  489. 	fldd	d15, [ BO, #24 ]

  490. 

  491. 	add	BO , BO, #32

  492. 	add	AO , AO, #16

  493. .endm

  494. 

  495. .macro KERNEL1x2_M2

  496. 	pld	[ AO , #A_PRE ]

  497. 	pld	[ BO , #B_PRE ]

  498. 

  499. 	fmacd	d16  , d4,  d12

  500. 	fmacd	d24  , d5,  d13

  501. 	fmacd	d17  , d4,  d13

  502. 	fmacd	d25  , d5,  d12

  503. 

  504. 	fmacd	d20  , d4,  d14

  505. 	fmacd	d28  , d5,  d15

  506. 	fmacd	d21  , d4,  d15

  507. 	fmacd	d29  , d5,  d14

  508. 

  509. 	fldd	d0 , [ AO, #0 ]

  510. 	fldd	d1 , [ AO, #8 ]

  511. 

  512. 	fldd	d8 , [ BO ]

  513. 	fldd	d9 , [ BO, #8 ]

  514. 	fldd	d10, [ BO, #16 ]

  515. 	fldd	d11, [ BO, #24 ]

  516. 

  517. 	add	BO , BO, #32

  518. 	add	AO , AO, #16

  519. .endm

  520. 

  521. 

  522. .macro KERNEL1x2_E

  523. 

  524. 	fmacd	d16  , d4,  d12

  525. 	fmacd	d24  , d5,  d13

  526. 	fmacd	d17  , d4,  d13

  527. 	fmacd	d25  , d5,  d12

  528. 

  529. 	fmacd	d20  , d4,  d14

  530. 	fmacd	d28  , d5,  d15

  531. 	fmacd	d21  , d4,  d15

  532. 	fmacd	d29  , d5,  d14

  533. 

  534. .endm

  535. 

  536. .macro KERNEL1x2_SUB

  537. 

  538. 	pld	[ AO , #A_PRE ]

  539. 	pld	[ BO , #B_PRE ]

  540. 	fldd	d0 , [ AO ]

  541. 	fldd	d1 , [ AO, #8 ]

  542. 	fldd	d8 , [ BO ]

  543. 	fldd	d9 , [ BO, #8 ]

  544. 	fldd	d10, [ BO, #16 ]

  545. 	fldd	d11, [ BO, #24 ]

  546. 

  547. 	fmacd	d16  , d0,  d8

  548. 	fmacd	d24  , d1,  d9

  549. 	fmacd	d17  , d0,  d9

  550. 	fmacd	d25  , d1,  d8

  551. 

  552. 	fmacd	d20  , d0,  d10

  553. 	fmacd	d28  , d1,  d11

  554. 	fmacd	d21  , d0,  d11

  555. 	fmacd	d29  , d1,  d10

  556. 

  557. 	add	BO , BO, #32

  558. 	add	AO , AO, #16

  559. 

  560. .endm

  561. 

  562. 

  563. 

  564. 

  565. .macro SAVE1x2

  566. 	pld	[ CO1 , #C_PRE ]

  567. 

  568. 	ldr	r3  , LDC

  569. 	add	CO2 , CO1, r3

  570. 	fldd		d0, ALPHA_R

  571. 	fldd		d1, ALPHA_I

  572. 

  573. 	vldmia.f64 CO1, { d4 - d5 }

  574. 	vldmia.f64 CO2, { d8 - d9  }

  575. 

  576. 	FADD_R	d16, d24 , d16

  577. 	FADD_I  d17, d25 , d17

  578. 	FADD_R	d20, d28 , d20

  579. 	FADD_I  d21, d29 , d21

  580. 

  581. 	FMAC_R1 d4 , d0 , d16

  582. 	FMAC_I1 d5 , d0 , d17

  583. 	FMAC_R2 d4 , d1 , d17

  584. 	FMAC_I2	d5 , d1 , d16

  585. 

  586. 	FMAC_R1 d8 , d0 , d20

  587. 	FMAC_I1 d9 , d0 , d21

  588. 	FMAC_R2 d8 , d1 , d21

  589. 	FMAC_I2	d9 , d1 , d20

  590. 

  591. 	vstmia.f64 CO1, { d4 - d5 }

  592. 	vstmia.f64 CO2, { d8 - d9  }

  593. 

  594. 	add	CO1, CO1, #16

  595. 

  596. .endm

  597. 

  598. /******************************************************************************/

  599. 

  600. .macro INIT2x1

  601. 

  602. 	fldd			d16, FP_ZERO

  603. 	vmov.f64		d17, d16

  604. 	vmov.f64		d18, d16

  605. 	vmov.f64		d19, d16

  606. 	vmov.f64		d24, d16

  607. 	vmov.f64		d25, d16

  608. 	vmov.f64		d26, d16

  609. 	vmov.f64		d27, d16

  610. 

  611. .endm

  612. 

  613. .macro KERNEL2x1_I

  614. 	pld	[ AO , #A_PRE ]

  615. 	pld	[ BO , #B_PRE ]

  616. 	fldd	d0 , [ AO ]

  617. 	fldd	d1 , [ AO, #8 ]

  618. 	fldd	d2 , [ AO, #16 ]

  619. 	fldd	d3 , [ AO, #24 ]

  620. 	fldd	d8 , [ BO ]

  621. 	fldd	d9 , [ BO, #8 ]

  622. 

  623. 	fmuld	d16  , d0,  d8

  624. 	fmuld	d24  , d1,  d9

  625. 	fmuld	d17  , d0,  d9

  626. 	fmuld	d25  , d1,  d8

  627. 

  628. 	fmuld	d18  , d2,  d8

  629. 	fmuld	d26  , d3,  d9

  630. 	fmuld	d19  , d2,  d9

  631. 	fmuld	d27  , d3,  d8

  632. 

  633. 	add	BO , BO, #16

  634. 	add	AO , AO, #32

  635. 

  636. 	pld	[ BO , #B_PRE ]

  637. 	pld	[ AO , #A_PRE ]

  638. 

  639. 	fldd	d4 , [ AO, #0 ]

  640. 	fldd	d5 , [ AO, #8 ]

  641. 	fldd	d6 , [ AO, #16 ]

  642. 	fldd	d7 , [ AO, #24 ]

  643. 

  644. 	fldd	d12, [ BO ]

  645. 	fldd	d13, [ BO, #8 ]

  646. 

  647. 	add	BO , BO, #16

  648. 	add	AO , AO, #32

  649. .endm

  650. 

  651. 

  652. 

  653. .macro KERNEL2x1_M1

  654. 	pld	[ AO , #A_PRE ]

  655. 	pld	[ BO , #B_PRE ]

  656. 

  657. 	fmacd	d16  , d0,  d8

  658. 	fmacd	d24  , d1,  d9

  659. 	fmacd	d17  , d0,  d9

  660. 	fmacd	d25  , d1,  d8

  661. 

  662. 	fmacd	d18  , d2,  d8

  663. 	fmacd	d26  , d3,  d9

  664. 	fmacd	d19  , d2,  d9

  665. 	fmacd	d27  , d3,  d8

  666. 

  667. 	fldd	d4 , [ AO, #0 ]

  668. 	fldd	d5 , [ AO, #8 ]

  669. 	fldd	d6 , [ AO, #16 ]

  670. 	fldd	d7 , [ AO, #24 ]

  671. 

  672. 	fldd	d12, [ BO ]

  673. 	fldd	d13, [ BO, #8 ]

  674. 

  675. 	add	BO , BO, #16

  676. 	add	AO , AO, #32

  677. .endm

  678. 

  679. .macro KERNEL2x1_M2

  680. 	pld	[ AO , #A_PRE ]

  681. 	pld	[ BO , #B_PRE ]

  682. 

  683. 	fmacd	d16  , d4,  d12

  684. 	fmacd	d24  , d5,  d13

  685. 	fmacd	d17  , d4,  d13

  686. 	fmacd	d25  , d5,  d12

  687. 

  688. 	fmacd	d18  , d6,  d12

  689. 	fmacd	d26  , d7,  d13

  690. 	fmacd	d19  , d6,  d13

  691. 	fmacd	d27  , d7,  d12

  692. 

  693. 	fldd	d0 , [ AO, #0 ]

  694. 	fldd	d1 , [ AO, #8 ]

  695. 	fldd	d2 , [ AO, #16 ]

  696. 	fldd	d3 , [ AO, #24 ]

  697. 

  698. 	fldd	d8 , [ BO ]

  699. 	fldd	d9 , [ BO, #8 ]

  700. 

  701. 	add	BO , BO, #16

  702. 	add	AO , AO, #32

  703. .endm

  704. 

  705. 

  706. .macro KERNEL2x1_E

  707. 

  708. 	fmacd	d16  , d4,  d12

  709. 	fmacd	d24  , d5,  d13

  710. 	fmacd	d17  , d4,  d13

  711. 	fmacd	d25  , d5,  d12

  712. 

  713. 	fmacd	d18  , d6,  d12

  714. 	fmacd	d26  , d7,  d13

  715. 	fmacd	d19  , d6,  d13

  716. 	fmacd	d27  , d7,  d12

  717. 

  718. .endm

  719. 

  720. .macro KERNEL2x1_SUB

  721. 

  722. 	pld	[ AO , #A_PRE ]

  723. 	pld	[ BO , #B_PRE ]

  724. 	fldd	d0 , [ AO ]

  725. 	fldd	d1 , [ AO, #8 ]

  726. 	fldd	d2 , [ AO, #16 ]

  727. 	fldd	d3 , [ AO, #24 ]

  728. 	fldd	d8 , [ BO ]

  729. 	fldd	d9 , [ BO, #8 ]

  730. 

  731. 	fmacd	d16  , d0,  d8

  732. 	fmacd	d24  , d1,  d9

  733. 	fmacd	d17  , d0,  d9

  734. 	fmacd	d25  , d1,  d8

  735. 

  736. 	fmacd	d18  , d2,  d8

  737. 	fmacd	d26  , d3,  d9

  738. 	fmacd	d19  , d2,  d9

  739. 	fmacd	d27  , d3,  d8

  740. 

  741. 	add	BO , BO, #16

  742. 	add	AO , AO, #32

  743. 

  744. .endm

  745. 

  746. 

  747. 

  748. 

  749. .macro SAVE2x1

  750. 	pld	[ CO1 , #C_PRE ]

  751. 

  752. 	fldd		d0, ALPHA_R

  753. 	fldd		d1, ALPHA_I

  754. 

  755. 	vldmia.f64 CO1, { d4 - d7 }

  756. 

  757. 	FADD_R	d16, d24 , d16

  758. 	FADD_I  d17, d25 , d17

  759. 	FADD_R	d18, d26 , d18

  760. 	FADD_I  d19, d27 , d19

  761. 

  762. 	FMAC_R1 d4 , d0 , d16

  763. 	FMAC_I1 d5 , d0 , d17

  764. 	FMAC_R2 d4 , d1 , d17

  765. 	FMAC_I2	d5 , d1 , d16

  766. 

  767. 	FMAC_R1 d6 , d0 , d18

  768. 	FMAC_I1 d7 , d0 , d19

  769. 	FMAC_R2 d6 , d1 , d19

  770. 	FMAC_I2	d7 , d1 , d18

  771. 

  772. 	vstmia.f64 CO1, { d4 - d7 }

  773. 

  774. 	add	CO1, CO1, #32

  775. 

  776. .endm

  777. 

  778. /******************************************************************************/

  779. 

  780. .macro INIT1x1

  781. 

  782. 	fldd			d16, FP_ZERO

  783. 	vmov.f64		d17, d16

  784. 	vmov.f64		d24, d16

  785. 	vmov.f64		d25, d16

  786. 

  787. .endm

  788. 

  789. .macro KERNEL1x1_I

  790. 	pld	[ AO , #A_PRE ]

  791. 	pld	[ BO , #B_PRE ]

  792. 	fldd	d0 , [ AO ]

  793. 	fldd	d1 , [ AO, #8 ]

  794. 	fldd	d8 , [ BO ]

  795. 	fldd	d9 , [ BO, #8 ]

  796. 

  797. 	fmuld	d16  , d0,  d8

  798. 	fmuld	d24  , d1,  d9

  799. 	fmuld	d17  , d0,  d9

  800. 	fmuld	d25  , d1,  d8

  801. 

  802. 	add	BO , BO, #16

  803. 	add	AO , AO, #16

  804. 

  805. 	pld	[ BO , #B_PRE ]

  806. 	pld	[ AO , #A_PRE ]

  807. 

  808. 	fldd	d4 , [ AO, #0 ]

  809. 	fldd	d5 , [ AO, #8 ]

  810. 

  811. 	fldd	d12, [ BO ]

  812. 	fldd	d13, [ BO, #8 ]

  813. 

  814. 	add	BO , BO, #16

  815. 	add	AO , AO, #16

  816. .endm

  817. 

  818. 

  819. 

  820. .macro KERNEL1x1_M1

  821. 

  822. 	fmacd	d16  , d0,  d8

  823. 	fmacd	d24  , d1,  d9

  824. 	fmacd	d17  , d0,  d9

  825. 	fmacd	d25  , d1,  d8

  826. 

  827. 	fldd	d4 , [ AO, #0 ]

  828. 	fldd	d5 , [ AO, #8 ]

  829. 

  830. 	fldd	d12, [ BO ]

  831. 	fldd	d13, [ BO, #8 ]

  832. 

  833. 	add	BO , BO, #16

  834. 	add	AO , AO, #16

  835. .endm

  836. 

  837. .macro KERNEL1x1_M2

  838. 

  839. 	fmacd	d16  , d4,  d12

  840. 	fmacd	d24  , d5,  d13

  841. 	fmacd	d17  , d4,  d13

  842. 	fmacd	d25  , d5,  d12

  843. 

  844. 	fldd	d0 , [ AO, #0 ]

  845. 	fldd	d1 , [ AO, #8 ]

  846. 

  847. 	fldd	d8 , [ BO ]

  848. 	fldd	d9 , [ BO, #8 ]

  849. 

  850. 	add	BO , BO, #16

  851. 	add	AO , AO, #16

  852. .endm

  853. 

  854. 

  855. .macro KERNEL1x1_E

  856. 

  857. 	fmacd	d16  , d4,  d12

  858. 	fmacd	d24  , d5,  d13

  859. 	fmacd	d17  , d4,  d13

  860. 	fmacd	d25  , d5,  d12

  861. 

  862. .endm

  863. 

  864. .macro KERNEL1x1_SUB

  865. 

  866. 	fldd	d0 , [ AO ]

  867. 	fldd	d1 , [ AO, #8 ]

  868. 	fldd	d8 , [ BO ]

  869. 	fldd	d9 , [ BO, #8 ]

  870. 

  871. 	fmacd	d16  , d0,  d8

  872. 	fmacd	d24  , d1,  d9

  873. 	fmacd	d17  , d0,  d9

  874. 	fmacd	d25  , d1,  d8

  875. 

  876. 	add	BO , BO, #16

  877. 	add	AO , AO, #16

  878. 

  879. .endm

  880. 

  881. 

  882. 

  883. 

  884. .macro SAVE1x1

  885. 	pld	[ CO1 , #C_PRE ]

  886. 

  887. 	fldd		d0, ALPHA_R

  888. 	fldd		d1, ALPHA_I

  889. 

  890. 	vldmia.f64 CO1, { d4 - d5 }

  891. 

  892. 	FADD_R	d16, d24 , d16

  893. 	FADD_I  d17, d25 , d17

  894. 

  895. 	FMAC_R1 d4 , d0 , d16

  896. 	FMAC_I1 d5 , d0 , d17

  897. 	FMAC_R2 d4 , d1 , d17

  898. 	FMAC_I2	d5 , d1 , d16

  899. 

  900. 	vstmia.f64 CO1, { d4 - d5 }

  901. 

  902. 	add	CO1, CO1, #16

  903. 

  904. .endm

  905. 

  906. /******************************************************************************/

  907. 

  908. 

  909. /**************************************************************************************

  910. * End of macro definitions

  911. **************************************************************************************/

  912. 

  913. 	PROLOGUE

  914. 

  915. 	.align 5

  916. 

  917. 	push	{r4 - r9, fp}

  918. 	add	fp, sp, #24

  919. 	sub	sp, sp, #STACKSIZE				// reserve stack

  920. 

  921. #if !defined(__ARM_PCS_VFP)

  922. 	vldr	OLD_ALPHA_R, OLD_ALPHAR_SOFTFP

  923. 	vldr	OLD_ALPHA_I, OLD_ALPHAI_SOFTFP

  924. 	ldr	OLD_A, OLD_A_SOFTFP

  925. #endif

  926. 	str	OLD_M, M

  927. 	str	OLD_N, N

  928. 	str	OLD_K, K

  929. 	str	OLD_A, A

  930. 	vstr	OLD_ALPHA_R, ALPHA_R

  931. 	vstr	OLD_ALPHA_I, ALPHA_I

  932. 

  933. 	sub	r3, fp, #128

  934. 	vstm	r3, { d8 - d15} 				// store floating point registers

  935. 

  936.         movs    r4, #0

  937.         str     r4, FP_ZERO

  938.         str     r4, FP_ZERO_1

  939. 

  940. 	ldr	r3, OLD_LDC

  941. 	lsl	r3, r3, #4					// ldc = ldc * 8 * 2

  942. 	str	r3, LDC

  943. 

  944. 	ldr	K1, K

  945. 	ldr	BC, B

  946. 

  947. 	ldr	J, N

  948. 	asrs	J, J, #1					// J = J / 2

  949. 	ble	zgemm_kernel_L1_BEGIN

  950. 

  951. zgemm_kernel_L2_BEGIN:

  952. 

  953. 	ldr	CO1, C						// CO1 = C

  954. 	ldr	r4 , LDC

  955. 	lsl	r4 , r4 , #1					// LDC * 2

  956. 	add	r3 , r4, CO1

  957. 	str	r3 , C						// store C

  958. 

  959. 	ldr	AO, A						// AO = A

  960.         pld     [AO , #A_PRE-64]

  961.         pld     [AO , #A_PRE-32]

  962. 

  963. 

  964. 

  965. zgemm_kernel_L2_M2_BEGIN:

  966. 

  967. 	ldr	I, M

  968. 	asrs	I, I, #1					// I = I / 2

  969. 	ble	zgemm_kernel_L2_M1_BEGIN

  970. 

  971. zgemm_kernel_L2_M2_20:

  972. 

  973. 

  974. 	mov	BO, BC

  975. 	asrs	L , K1, #3					// L = L / 8

  976. 	cmp	L , #3

  977. 	blt	zgemm_kernel_L2_M2_30

  978. 	.align 5

  979. 

  980. 

  981. 

  982. 	KERNEL2x2_I

  983. 	KERNEL2x2_M2

  984. 	KERNEL2x2_M1

  985. 	KERNEL2x2_M2

  986. 

  987. 	KERNEL2x2_M1

  988. 	KERNEL2x2_M2

  989. 	KERNEL2x2_M1

  990. 	KERNEL2x2_M2

  991. 

  992. 	sub	L, L, #2

  993. 

  994. zgemm_kernel_L2_M2_22:

  995. 

  996. 	KERNEL2x2_M1

  997. 	KERNEL2x2_M2

  998. 	KERNEL2x2_M1

  999. 	KERNEL2x2_M2

  1000. 

  1001. 	KERNEL2x2_M1

  1002. 	KERNEL2x2_M2

  1003. 	KERNEL2x2_M1

  1004. 	KERNEL2x2_M2

  1005. 

  1006. 	subs	L, L, #1

  1007. 	bgt	zgemm_kernel_L2_M2_22

  1008. 

  1009. 	KERNEL2x2_M1

  1010. 	KERNEL2x2_M2

  1011. 	KERNEL2x2_M1

  1012. 	KERNEL2x2_M2

  1013. 

  1014. 	KERNEL2x2_M1

  1015. 	KERNEL2x2_M2

  1016. 	KERNEL2x2_M1

  1017. 	KERNEL2x2_E

  1018. 

  1019. 	b	 zgemm_kernel_L2_M2_44

  1020. 

  1021. 

  1022. zgemm_kernel_L2_M2_30:

  1023. 	tst	L, #3

  1024. 	ble	zgemm_kernel_L2_M2_40

  1025. 

  1026. 	tst	L, #2

  1027. 	ble	zgemm_kernel_L2_M2_32

  1028. 

  1029. 	KERNEL2x2_I

  1030. 	KERNEL2x2_M2

  1031. 	KERNEL2x2_M1

  1032. 	KERNEL2x2_M2

  1033. 

  1034. 	KERNEL2x2_M1

  1035. 	KERNEL2x2_M2

  1036. 	KERNEL2x2_M1

  1037. 	KERNEL2x2_M2

  1038. 

  1039. 	KERNEL2x2_M1

  1040. 	KERNEL2x2_M2

  1041. 	KERNEL2x2_M1

  1042. 	KERNEL2x2_M2

  1043. 

  1044. 

  1045. 	KERNEL2x2_M1

  1046. 	KERNEL2x2_M2

  1047. 	KERNEL2x2_M1

  1048. 	KERNEL2x2_E

  1049. 

  1050. 	b	 zgemm_kernel_L2_M2_44

  1051. 

  1052. zgemm_kernel_L2_M2_32:

  1053. 

  1054. 	tst	L, #1

  1055. 	ble	zgemm_kernel_L2_M2_40

  1056. 

  1057. 	KERNEL2x2_I

  1058. 	KERNEL2x2_M2

  1059. 	KERNEL2x2_M1

  1060. 	KERNEL2x2_M2

  1061. 

  1062. 	KERNEL2x2_M1

  1063. 	KERNEL2x2_M2

  1064. 	KERNEL2x2_M1

  1065. 	KERNEL2x2_E

  1066. 

  1067. 	b	 zgemm_kernel_L2_M2_44

  1068. 

  1069. 

  1070. zgemm_kernel_L2_M2_40:

  1071. 

  1072. 	INIT2x2

  1073. 

  1074. 

  1075. zgemm_kernel_L2_M2_44:

  1076. 

  1077. 	ands	L , K1, #7					// L = L % 8

  1078. 	ble	zgemm_kernel_L2_M2_100

  1079. 

  1080. zgemm_kernel_L2_M2_46:

  1081. 

  1082. 	KERNEL2x2_SUB

  1083. 

  1084. 	subs	L, L, #1

  1085. 	bne	zgemm_kernel_L2_M2_46

  1086. 

  1087. zgemm_kernel_L2_M2_100:

  1088. 

  1089. 	SAVE2x2

  1090. 

  1091. zgemm_kernel_L2_M2_END:

  1092. 

  1093. 	subs	I, I, #1

  1094. 	bne	zgemm_kernel_L2_M2_20

  1095. 

  1096. 

  1097. zgemm_kernel_L2_M1_BEGIN:

  1098. 

  1099. 	ldr	I, M

  1100. 	tst	I, #1					// I = I % 2

  1101. 	ble	zgemm_kernel_L2_END

  1102. 

  1103. zgemm_kernel_L2_M1_20:

  1104. 

  1105. 	INIT1x2

  1106. 

  1107. 	mov	BO, BC

  1108. 	asrs	L , K1, #3					// L = L / 8

  1109. 	ble	zgemm_kernel_L2_M1_40

  1110. 

  1111. zgemm_kernel_L2_M1_22:

  1112. 

  1113. 	KERNEL1x2_SUB

  1114. 	KERNEL1x2_SUB

  1115. 	KERNEL1x2_SUB

  1116. 	KERNEL1x2_SUB

  1117. 

  1118. 	KERNEL1x2_SUB

  1119. 	KERNEL1x2_SUB

  1120. 	KERNEL1x2_SUB

  1121. 	KERNEL1x2_SUB

  1122. 

  1123. 	subs	L, L, #1

  1124. 	bgt	zgemm_kernel_L2_M1_22

  1125. 

  1126. 

  1127. zgemm_kernel_L2_M1_40:

  1128. 

  1129. 	ands	L , K1, #7					// L = L % 8

  1130. 	ble	zgemm_kernel_L2_M1_100

  1131. 

  1132. zgemm_kernel_L2_M1_42:

  1133. 

  1134. 	KERNEL1x2_SUB

  1135. 

  1136. 	subs	L, L, #1

  1137. 	bgt	zgemm_kernel_L2_M1_42

  1138. 

  1139. zgemm_kernel_L2_M1_100:

  1140. 

  1141. 	SAVE1x2

  1142. 

  1143. 

  1144. zgemm_kernel_L2_END:

  1145. 

  1146. 	mov	r3, BC

  1147. 	mov	r4, K1

  1148. 	lsl	r4, r4, #5					// k * 2 * 8 * 2

  1149. 	add	r3, r3, r4					// B = B + K * 4 * 8

  1150. 	mov	BC, r3

  1151. 

  1152. 	subs	J , #1						// j--

  1153. 	bgt	zgemm_kernel_L2_BEGIN

  1154. 

  1155. 

  1156. 

  1157. /*********************************************************************************************/

  1158. 

  1159. zgemm_kernel_L1_BEGIN:

  1160. 

  1161. 	ldr	J , N

  1162. 	tst	J , #1

  1163. 	ble	zgemm_kernel_L999

  1164. 

  1165. 

  1166. 	ldr	CO1, C						// CO1 = C

  1167. 	ldr	r4 , LDC

  1168. 	add	r3 , r4, CO1

  1169. 	str	r3 , C						// store C

  1170. 

  1171. 	ldr	AO, A						// AO = A

  1172. 

  1173. zgemm_kernel_L1_M2_BEGIN:

  1174. 

  1175. 	ldr	I, M

  1176. 	asrs	I, I, #1					// I = I / 2

  1177. 	ble	zgemm_kernel_L1_M1_BEGIN

  1178. 

  1179. zgemm_kernel_L1_M2_20:

  1180. 

  1181. 

  1182. 	mov	BO, BC

  1183. 	asrs	L , K1, #3					// L = L / 8

  1184. 	cmp	L , #3

  1185. 	blt	zgemm_kernel_L1_M2_30

  1186. 	.align 5

  1187. 

  1188. 

  1189. 

  1190. 	KERNEL2x1_I

  1191. 	KERNEL2x1_M2

  1192. 	KERNEL2x1_M1

  1193. 	KERNEL2x1_M2

  1194. 

  1195. 	KERNEL2x1_M1

  1196. 	KERNEL2x1_M2

  1197. 	KERNEL2x1_M1

  1198. 	KERNEL2x1_M2

  1199. 

  1200. 	sub	L, L, #2

  1201. 

  1202. zgemm_kernel_L1_M2_22:

  1203. 

  1204. 	KERNEL2x1_M1

  1205. 	KERNEL2x1_M2

  1206. 	KERNEL2x1_M1

  1207. 	KERNEL2x1_M2

  1208. 

  1209. 	KERNEL2x1_M1

  1210. 	KERNEL2x1_M2

  1211. 	KERNEL2x1_M1

  1212. 	KERNEL2x1_M2

  1213. 

  1214. 	subs	L, L, #1

  1215. 	bgt	zgemm_kernel_L1_M2_22

  1216. 

  1217. 	KERNEL2x1_M1

  1218. 	KERNEL2x1_M2

  1219. 	KERNEL2x1_M1

  1220. 	KERNEL2x1_M2

  1221. 

  1222. 	KERNEL2x1_M1

  1223. 	KERNEL2x1_M2

  1224. 	KERNEL2x1_M1

  1225. 	KERNEL2x1_E

  1226. 

  1227. 	b	 zgemm_kernel_L1_M2_44

  1228. 

  1229. 

  1230. zgemm_kernel_L1_M2_30:

  1231. 	tst	L, #3

  1232. 	ble	zgemm_kernel_L1_M2_40

  1233. 

  1234. 	tst	L, #2

  1235. 	ble	zgemm_kernel_L1_M2_32

  1236. 

  1237. 	KERNEL2x1_I

  1238. 	KERNEL2x1_M2

  1239. 	KERNEL2x1_M1

  1240. 	KERNEL2x1_M2

  1241. 

  1242. 	KERNEL2x1_M1

  1243. 	KERNEL2x1_M2

  1244. 	KERNEL2x1_M1

  1245. 	KERNEL2x1_M2

  1246. 

  1247. 	KERNEL2x1_M1

  1248. 	KERNEL2x1_M2

  1249. 	KERNEL2x1_M1

  1250. 	KERNEL2x1_M2

  1251. 

  1252. 

  1253. 	KERNEL2x1_M1

  1254. 	KERNEL2x1_M2

  1255. 	KERNEL2x1_M1

  1256. 	KERNEL2x1_E

  1257. 

  1258. 	b	 zgemm_kernel_L1_M2_44

  1259. 

  1260. zgemm_kernel_L1_M2_32:

  1261. 

  1262. 	tst	L, #1

  1263. 	ble	zgemm_kernel_L1_M2_40

  1264. 

  1265. 	KERNEL2x1_I

  1266. 	KERNEL2x1_M2

  1267. 	KERNEL2x1_M1

  1268. 	KERNEL2x1_M2

  1269. 

  1270. 	KERNEL2x1_M1

  1271. 	KERNEL2x1_M2

  1272. 	KERNEL2x1_M1

  1273. 	KERNEL2x1_E

  1274. 

  1275. 	b	 zgemm_kernel_L1_M2_44

  1276. 

  1277. 

  1278. zgemm_kernel_L1_M2_40:

  1279. 

  1280. 	INIT2x1

  1281. 

  1282. 

  1283. zgemm_kernel_L1_M2_44:

  1284. 

  1285. 	ands	L , K1, #7					// L = L % 8

  1286. 	ble	zgemm_kernel_L1_M2_100

  1287. 

  1288. zgemm_kernel_L1_M2_46:

  1289. 

  1290. 	KERNEL2x1_SUB

  1291. 

  1292. 	subs	L, L, #1

  1293. 	bne	zgemm_kernel_L1_M2_46

  1294. 

  1295. zgemm_kernel_L1_M2_100:

  1296. 

  1297. 	SAVE2x1

  1298. 

  1299. zgemm_kernel_L1_M2_END:

  1300. 

  1301. 	subs	I, I, #1

  1302. 	bne	zgemm_kernel_L1_M2_20

  1303. 

  1304. 

  1305. zgemm_kernel_L1_M1_BEGIN:

  1306. 

  1307. 	ldr	I, M

  1308. 	tst	I, #1					// I = I % 2

  1309. 	ble	zgemm_kernel_L1_END

  1310. 

  1311. zgemm_kernel_L1_M1_20:

  1312. 

  1313. 	INIT1x1

  1314. 

  1315. 	mov	BO, BC

  1316. 	asrs	L , K1, #3					// L = L / 8

  1317. 	ble	zgemm_kernel_L1_M1_40

  1318. 

  1319. zgemm_kernel_L1_M1_22:

  1320. 

  1321. 	KERNEL1x1_SUB

  1322. 	KERNEL1x1_SUB

  1323. 	KERNEL1x1_SUB

  1324. 	KERNEL1x1_SUB

  1325. 

  1326. 	KERNEL1x1_SUB

  1327. 	KERNEL1x1_SUB

  1328. 	KERNEL1x1_SUB

  1329. 	KERNEL1x1_SUB

  1330. 

  1331. 	subs	L, L, #1

  1332. 	bgt	zgemm_kernel_L1_M1_22

  1333. 

  1334. 

  1335. zgemm_kernel_L1_M1_40:

  1336. 

  1337. 	ands	L , K1, #7					// L = L % 8

  1338. 	ble	zgemm_kernel_L1_M1_100

  1339. 

  1340. zgemm_kernel_L1_M1_42:

  1341. 

  1342. 	KERNEL1x1_SUB

  1343. 

  1344. 	subs	L, L, #1

  1345. 	bgt	zgemm_kernel_L1_M1_42

  1346. 

  1347. zgemm_kernel_L1_M1_100:

  1348. 

  1349. 	SAVE1x1

  1350. 

  1351. 

  1352. zgemm_kernel_L1_END:

  1353. 

  1354. 

  1355. 

  1356. zgemm_kernel_L999:

  1357. 

  1358. 	sub	r3, fp, #128

  1359. 	vldm	r3, { d8 - d15}					// restore floating point registers

  1360. 

  1361. 	movs	r0, #0						// set return value

  1362. 	sub	sp, fp, #24

  1363. 	pop	{r4 - r9, fp}

  1364. 	bx	lr

  1365. 

  1366. 	EPILOGUE