OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: d49fd33885
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from 'd49fd33885'
${ noResults }
OpenBLAS/kernel/arm/dtrmm_kernel_4x4_vfpv3.S

1954 lines
33 kB
Raw Blame History 

  1. /***************************************************************************

  2. Copyright (c) 2013, The OpenBLAS Project

  3. All rights reserved.

  4. Redistribution and use in source and binary forms, with or without

  5. modification, are permitted provided that the following conditions are

  6. met:

  7. 1. Redistributions of source code must retain the above copyright

  8. notice, this list of conditions and the following disclaimer.

  9. 2. Redistributions in binary form must reproduce the above copyright

  10. notice, this list of conditions and the following disclaimer in

  11. the documentation and/or other materials provided with the

  12. distribution.

  13. 3. Neither the name of the OpenBLAS project nor the names of

  14. its contributors may be used to endorse or promote products

  15. derived from this software without specific prior written permission.

  16. THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"

  17. AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE

  18. IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE

  19. ARE DISCLAIMED. IN NO EVENT SHALL THE OPENBLAS PROJECT OR CONTRIBUTORS BE

  20. LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL

  21. DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR

  22. SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER

  23. CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,

  24. OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE

  25. USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

  26. *****************************************************************************/

  27. 

  28. /**************************************************************************************

  29. * 2013/11/23 Saar

  30. * 	 BLASTEST 		: OK

  31. * 	 CTEST			: OK

  32. * 	 TEST			: OK

  33. *

  34. **************************************************************************************/

  35. 

  36. #define ASSEMBLER

  37. #include "common.h"

  38. 

  39. #define STACKSIZE 252

  40. 

  41. #define	OLD_M	r0

  42. #define	OLD_N	r1

  43. #define	OLD_K	r2

  44. #define	OLD_A	r3

  45. #define OLD_ALPHA d0

  46. 

  47. /******************************************************

  48. * [fp, #-128] - [fp, #-64] is reserved

  49. * for store and restore of floating point

  50. * registers

  51. *******************************************************/

  52. 

  53. #define KK      [fp, #-240 ]

  54. #define KKK     [fp, #-244]

  55. #define C	[fp, #-248 ]

  56. #define LDC	[fp, #-252 ]

  57. #define M	[fp, #-256 ]

  58. #define N	[fp, #-260 ]

  59. #define K	[fp, #-264 ]

  60. #define A	[fp, #-268 ]

  61. 

  62. #define ALPHA	[fp, #-276 ]

  63. 

  64. #define B	[fp, #4 ]

  65. #define OLD_C	[fp, #8 ]

  66. #define OLD_LDC	[fp, #12 ]

  67. #define OFFSET  [fp, #16 ]

  68. 

  69. #define I	r0

  70. #define J	r1

  71. #define L	r2

  72. 

  73. #define	AO	r5

  74. #define	BO	r6

  75. 

  76. #define	CO1	r8

  77. #define	CO2	r9

  78. 

  79. #define K1	r7

  80. #define BC	r12

  81. 

  82. #define A_PRE	64

  83. #define B_PRE	64

  84. #define C_PRE	64

  85. 

  86. /**************************************************************************************

  87. * Macro definitions

  88. **************************************************************************************/

  89. 

  90. .macro INIT4x4

  91. 

  92. 	vsub.f64		d16 , d16 , d16

  93. 	vmov.f64		d17, d16

  94. 	vmov.f64		d18, d16

  95. 	vmov.f64		d19, d16

  96. 	vmov.f64		d20, d16

  97. 	vmov.f64		d21, d16

  98. 	vmov.f64		d22, d16

  99. 	vmov.f64		d23, d16

  100. 	vmov.f64		d24, d16

  101. 	vmov.f64		d25, d16

  102. 	vmov.f64		d26, d16

  103. 	vmov.f64		d27, d16

  104. 	vmov.f64		d28, d16

  105. 	vmov.f64		d29, d16

  106. 	vmov.f64		d30, d16

  107. 	vmov.f64		d31, d16

  108. 

  109. .endm

  110. 

  111. .macro KERNEL4x4_I

  112. 	pld	[ BO , #B_PRE ]

  113. 

  114. 	fldd	d8 , [ BO ]

  115. 

  116. 	pld	[ AO , #A_PRE ]

  117. 	fldmiad AO!, { d0 - d1}

  118. 

  119. 	fmuld	d16  , d0,  d8

  120. 	fldmiad AO!, { d2 - d3}

  121. 	fmuld	d17  , d1,  d8

  122. 	fldd	d9 , [ BO, #8 ]

  123. 	fmuld	d18  , d2,  d8

  124. 	fldd	d10, [ BO, #16 ]

  125. 	fmuld	d19  , d3,  d8

  126. 

  127. 	fldd	d11, [ BO, #24 ]

  128. 	fmuld	d20  , d0,  d9

  129. 	fmuld	d21  , d1,  d9

  130. 	add	BO , BO, #32

  131. 	fmuld	d22  , d2,  d9

  132. 

  133. 	fldd	d12, [ BO ]

  134. 	fmuld	d23  , d3,  d9

  135. 

  136. 	fmuld	d24  , d0,  d10

  137. 	fldmiad AO!, { d4 - d5 }

  138. 	fmuld	d25  , d1,  d10

  139. 	fmuld	d26  , d2,  d10

  140. 	fldmiad AO!, { d6 - d7 }

  141. 	fmuld	d27  , d3,  d10

  142. 

  143. 	fldd	d13, [ BO, #8 ]

  144. 	fmuld	d28  , d0,  d11

  145. 	fldd	d14, [ BO, #16 ]

  146. 	fmuld	d29  , d1,  d11

  147. 	fldd	d15, [ BO, #24 ]

  148. 	fmuld	d30  , d2,  d11

  149. 	fmuld	d31  , d3,  d11

  150. 	add	BO , BO, #32

  151. 

  152. .endm

  153. 

  154. 

  155. 

  156. .macro KERNEL4x4_S

  157. 	pld	[ BO , #B_PRE ]

  158. 

  159. 	fldd	d8 , [ BO ]

  160. 

  161. 	pld	[ AO , #A_PRE ]

  162. 	fldmiad AO!, { d0 - d1}

  163. 

  164. 	fmacd	d16  , d0,  d8

  165. 	fldmiad AO!, { d2 - d3}

  166. 	fmacd	d17  , d1,  d8

  167. 	fldd	d9 , [ BO, #8 ]

  168. 	fmacd	d18  , d2,  d8

  169. 	fldd	d10, [ BO, #16 ]

  170. 	fmacd	d19  , d3,  d8

  171. 

  172. 	fldd	d11, [ BO, #24 ]

  173. 	fmacd	d20  , d0,  d9

  174. 	fmacd	d21  , d1,  d9

  175. 	add	BO , BO, #32

  176. 	fmacd	d22  , d2,  d9

  177. 

  178. 	fldd	d12, [ BO ]

  179. 	fmacd	d23  , d3,  d9

  180. 

  181. 	fmacd	d24  , d0,  d10

  182. 	fldmiad AO!, { d4 - d5 }

  183. 	fmacd	d25  , d1,  d10

  184. 	fmacd	d26  , d2,  d10

  185. 	fldmiad AO!, { d6 - d7 }

  186. 	fmacd	d27  , d3,  d10

  187. 

  188. 	fldd	d13, [ BO, #8 ]

  189. 	fmacd	d28  , d0,  d11

  190. 	fldd	d14, [ BO, #16 ]

  191. 	fmacd	d29  , d1,  d11

  192. 	fldd	d15, [ BO, #24 ]

  193. 	fmacd	d30  , d2,  d11

  194. 	fmacd	d31  , d3,  d11

  195. 	add	BO , BO, #32

  196. 

  197. .endm

  198. 

  199. 

  200. 

  201. .macro KERNEL4x4_M1

  202. 

  203. 	fmacd	d16  , d4,  d12

  204. 	pld	[ AO , #A_PRE ]

  205. 	fmacd	d17  , d5,  d12

  206. 	fmacd	d18  , d6,  d12

  207. 	pld	[ BO , #B_PRE ]

  208. 	fmacd	d19  , d7,  d12

  209. 

  210. 	fmacd	d20  , d4,  d13

  211. 	fldd	d8 , [ BO ]

  212. 	fmacd	d21  , d5,  d13

  213. 	fmacd	d22  , d6,  d13

  214. 	fldmiad AO!, { d0 - d1 }

  215. 	fmacd	d23  , d7,  d13

  216. 

  217. 	fmacd	d24  , d4,  d14

  218. 	fldmiad AO!, { d2 - d3 }

  219. 	fmacd	d25  , d5,  d14

  220. 	fldd	d9 , [ BO, #8 ]

  221. 	fmacd	d26  , d6,  d14

  222. 	fldd	d10, [ BO, #16 ]

  223. 	fmacd	d27  , d7,  d14

  224. 

  225. 	fldd	d11, [ BO, #24 ]

  226. 	fmacd	d28  , d4,  d15

  227. 	fmacd	d29  , d5,  d15

  228. 	fmacd	d30  , d6,  d15

  229. 	add	BO , BO, #32

  230. 	fmacd	d31  , d7,  d15

  231. 

  232. .endm

  233. 

  234. .macro KERNEL4x4_M2

  235. 

  236. 

  237. 	fmacd	d16  , d0,  d8

  238. 	pld	[ AO , #A_PRE ]

  239. 	fmacd	d17  , d1,  d8

  240. 	pld	[ BO , #B_PRE ]

  241. 	fmacd	d18  , d2,  d8

  242. 	fldd	d12, [ BO ]

  243. 	fmacd	d19  , d3,  d8

  244. 

  245. 	fmacd	d20  , d0,  d9

  246. 	fldmiad AO!, { d4 - d5 }

  247. 	fmacd	d21  , d1,  d9

  248. 	fmacd	d22  , d2,  d9

  249. 	fldmiad AO!, { d6 - d7 }

  250. 	fmacd	d23  , d3,  d9

  251. 

  252. 	fmacd	d24  , d0,  d10

  253. 	fmacd	d25  , d1,  d10

  254. 	fmacd	d26  , d2,  d10

  255. 	fmacd	d27  , d3,  d10

  256. 

  257. 	fldd	d13, [ BO, #8 ]

  258. 	fmacd	d28  , d0,  d11

  259. 	fldd	d14, [ BO, #16 ]

  260. 	fmacd	d29  , d1,  d11

  261. 	fldd	d15, [ BO, #24 ]

  262. 	fmacd	d30  , d2,  d11

  263. 	fmacd	d31  , d3,  d11

  264. 	add	BO , BO, #32

  265. 

  266. .endm

  267. 

  268. 

  269. .macro KERNEL4x4_E

  270. 

  271. 	fmacd	d16  , d4,  d12

  272. 	pld	[ AO , #A_PRE ]

  273. 	fmacd	d17  , d5,  d12

  274. 	fmacd	d18  , d6,  d12

  275. 	pld	[ BO , #B_PRE ]

  276. 	fmacd	d19  , d7,  d12

  277. 

  278. 	fmacd	d20  , d4,  d13

  279. 	fmacd	d21  , d5,  d13

  280. 	fmacd	d22  , d6,  d13

  281. 	fmacd	d23  , d7,  d13

  282. 

  283. 	fmacd	d24  , d4,  d14

  284. 	fmacd	d25  , d5,  d14

  285. 	fmacd	d26  , d6,  d14

  286. 	fmacd	d27  , d7,  d14

  287. 

  288. 	fmacd	d28  , d4,  d15

  289. 	fmacd	d29  , d5,  d15

  290. 	fmacd	d30  , d6,  d15

  291. 	fmacd	d31  , d7,  d15

  292. 

  293. .endm

  294. 

  295. 

  296. 

  297. 

  298. .macro KERNEL4x4_SUB

  299. 	pld	[ BO , #B_PRE ]

  300. 	pld	[ AO , #A_PRE ]

  301. 

  302. 	fldd	d8 , [ BO ]

  303. 

  304. 	fldd	d0 , [ AO ]

  305. 	fldd	d1 , [ AO, #8 ]

  306. 	fldd	d2 , [ AO, #16 ]

  307. 	fldd	d3 , [ AO, #24 ]

  308. 

  309. 	fmacd	d16  , d0,  d8

  310. 	fldd	d9 , [ BO, #8 ]

  311. 	fmacd	d17  , d1,  d8

  312. 	fldd	d10, [ BO, #16 ]

  313. 	fmacd	d18  , d2,  d8

  314. 	fldd	d11, [ BO, #24 ]

  315. 	fmacd	d19  , d3,  d8

  316. 

  317. 	fmacd	d20  , d0,  d9

  318. 	fmacd	d21  , d1,  d9

  319. 	fmacd	d22  , d2,  d9

  320. 	fmacd	d23  , d3,  d9

  321. 

  322. 	fmacd	d24  , d0,  d10

  323. 	fmacd	d25  , d1,  d10

  324. 	fmacd	d26  , d2,  d10

  325. 	fmacd	d27  , d3,  d10

  326. 

  327. 	fmacd	d28  , d0,  d11

  328. 	fmacd	d29  , d1,  d11

  329. 	add	AO , AO, #32

  330. 	fmacd	d30  , d2,  d11

  331. 	add	BO , BO, #32

  332. 	fmacd	d31  , d3,  d11

  333. 

  334. .endm

  335. 

  336. .macro SAVE4x4

  337. 

  338. 	ldr	r3  , LDC

  339. 	add	CO2 , CO1, r3

  340. 	fldd		d0, ALPHA

  341. 	add	r4  , CO2, r3

  342. 

  343. 

  344. 	fmuld	d8 , d0 , d16

  345. 	fmuld	d9 , d0 , d17

  346. 	fmuld	d10, d0 , d18

  347. 	fmuld	d11, d0 , d19

  348. 

  349. 	fmuld	d12, d0 , d20

  350. 	fstd	d8 , [CO1]

  351. 	fmuld	d13, d0 , d21

  352. 	fstd	d9 , [CO1, #8 ]

  353. 	fmuld	d14, d0 , d22

  354. 	fstd	d10, [CO1, #16 ]

  355. 	fmuld	d15, d0 , d23

  356. 	fstd	d11, [CO1, #24 ]

  357. 

  358. 

  359. 	fmuld	d8 , d0 , d24

  360. 	fstd	d12, [CO2]

  361. 	fmuld	d9 , d0 , d25

  362. 	fstd	d13, [CO2, #8 ]

  363. 	fmuld	d10, d0 , d26

  364. 	fstd	d14, [CO2, #16 ]

  365. 	fmuld	d11, d0 , d27

  366. 	fstd	d15, [CO2, #24 ]

  367. 

  368. 	add	CO2, r4 , r3

  369. 

  370. 	fstd	d8 , [r4 ]

  371. 	fmuld	d12, d0 , d28

  372. 	fstd	d9 , [r4 , #8 ]

  373. 	fmuld	d13, d0 , d29

  374. 	fstd	d10, [r4 , #16 ]

  375. 	fmuld	d14, d0 , d30

  376. 	fstd	d11, [r4 , #24 ]

  377. 	fmuld	d15, d0 , d31

  378. 

  379. 	fstmiad CO2, { d12 - d15 }

  380. 

  381. 	add	CO1, CO1, #32

  382. 

  383. .endm

  384. 

  385. /******************************************************************************/

  386. 

  387. .macro INIT2x4

  388. 

  389. 	vsub.f64		d16 , d16 , d16

  390. 	vmov.f64		d17, d16

  391. 	vmov.f64		d20, d16

  392. 	vmov.f64		d21, d16

  393. 	vmov.f64		d24, d16

  394. 	vmov.f64		d25, d16

  395. 	vmov.f64		d28, d16

  396. 	vmov.f64		d29, d16

  397. 

  398. .endm

  399. 

  400. 

  401. 

  402. .macro KERNEL2x4_SUB

  403. 

  404. 	fldd	d8 , [ BO ]

  405. 	fldd	d9 , [ BO, #8 ]

  406. 	fldd	d10, [ BO, #16 ]

  407. 	fldd	d11, [ BO, #24 ]

  408. 

  409. 	fldd	d0 , [ AO ]

  410. 	fldd	d1 , [ AO, #8 ]

  411. 

  412. 	fmacd	d16  , d0,  d8

  413. 	fmacd	d17  , d1,  d8

  414. 

  415. 	fmacd	d20  , d0,  d9

  416. 	fmacd	d21  , d1,  d9

  417. 

  418. 	fmacd	d24  , d0,  d10

  419. 	fmacd	d25  , d1,  d10

  420. 

  421. 	fmacd	d28  , d0,  d11

  422. 	fmacd	d29  , d1,  d11

  423. 	add	AO , AO, #16

  424. 	add	BO , BO, #32

  425. 

  426. .endm

  427. 

  428. .macro SAVE2x4

  429. 

  430. 	ldr	r3  , LDC

  431. 	add	CO2 , CO1, r3

  432. 	add	r4  , CO2, r3

  433. 

  434. 	fldd		d0, ALPHA

  435. 

  436. 	fmuld	d8 , d0 , d16

  437. 	fmuld	d9 , d0 , d17

  438. 

  439. 	fstd	d8 , [CO1]

  440. 	fstd	d9 , [CO1, #8 ]

  441. 

  442. 	fmuld	d12, d0 , d20

  443. 	fmuld	d13, d0 , d21

  444. 

  445. 	fstd	d12, [CO2]

  446. 	fstd	d13, [CO2, #8 ]

  447. 

  448. 	fmuld	d8 , d0 , d24

  449. 	fmuld	d9 , d0 , d25

  450. 

  451. 	fstd	d8 , [r4 ]

  452. 	fstd	d9 , [r4 , #8 ]

  453. 

  454. 	add	CO2, r4 , r3

  455. 

  456. 	fmuld	d12, d0 , d28

  457. 	fmuld	d13, d0 , d29

  458. 

  459. 	fstd	d12, [CO2]

  460. 	fstd	d13, [CO2, #8 ]

  461. 

  462. 	add	CO1, CO1, #16

  463. 

  464. .endm

  465. 

  466. 

  467. /******************************************************************************/

  468. 

  469. .macro INIT1x4

  470. 

  471. 	vsub.f64		d16 , d16 , d16

  472. 	vmov.f64		d20, d16

  473. 	vmov.f64		d24, d16

  474. 	vmov.f64		d28, d16

  475. 

  476. .endm

  477. 

  478. 

  479. 

  480. .macro KERNEL1x4_SUB

  481. 

  482. 	fldd	d8 , [ BO ]

  483. 	fldd	d9 , [ BO, #8 ]

  484. 	fldd	d10, [ BO, #16 ]

  485. 	fldd	d11, [ BO, #24 ]

  486. 

  487. 	fldd	d0 , [ AO ]

  488. 

  489. 	fmacd	d16  , d0,  d8

  490. 	fmacd	d20  , d0,  d9

  491. 	fmacd	d24  , d0,  d10

  492. 	fmacd	d28  , d0,  d11

  493. 

  494. 	add	AO , AO, #8

  495. 	add	BO , BO, #32

  496. 

  497. .endm

  498. 

  499. .macro SAVE1x4

  500. 

  501. 	ldr	r3  , LDC

  502. 	add	CO2 , CO1, r3

  503. 	add	r4  , CO2, r3

  504. 

  505. 	fldd		d0, ALPHA

  506. 

  507. 	fmuld	d8 , d0 , d16

  508. 	fstd	d8 , [CO1]

  509. 

  510. 	fmuld	d12, d0 , d20

  511. 	fstd	d12, [CO2]

  512. 

  513. 	fmuld	d8 , d0 , d24

  514. 	fstd	d8 , [r4 ]

  515. 

  516. 	add	CO2, r4 , r3

  517. 

  518. 	fmuld	d12, d0 , d28

  519. 	fstd	d12, [CO2]

  520. 

  521. 	add	CO1, CO1, #8

  522. 

  523. .endm

  524. 

  525. /******************************************************************************/

  526. /******************************************************************************/

  527. 

  528. .macro INIT4x2

  529. 

  530. 	vsub.f64		d16 , d16 , d16

  531. 	vmov.f64		d17, d16

  532. 	vmov.f64		d18, d16

  533. 	vmov.f64		d19, d16

  534. 	vmov.f64		d20, d16

  535. 	vmov.f64		d21, d16

  536. 	vmov.f64		d22, d16

  537. 	vmov.f64		d23, d16

  538. 

  539. .endm

  540. 

  541. 

  542. 

  543. .macro KERNEL4x2_SUB

  544. 

  545. 	fldd	d8 , [ BO ]

  546. 	fldd	d9 , [ BO, #8 ]

  547. 

  548. 	fldd	d0 , [ AO ]

  549. 	fldd	d1 , [ AO, #8 ]

  550. 	fldd	d2 , [ AO, #16 ]

  551. 	fldd	d3 , [ AO, #24 ]

  552. 

  553. 	fmacd	d16  , d0,  d8

  554. 	fmacd	d17  , d1,  d8

  555. 	fmacd	d18  , d2,  d8

  556. 	fmacd	d19  , d3,  d8

  557. 

  558. 	fmacd	d20  , d0,  d9

  559. 	fmacd	d21  , d1,  d9

  560. 	fmacd	d22  , d2,  d9

  561. 	fmacd	d23  , d3,  d9

  562. 

  563. 	add	AO , AO, #32

  564. 	add	BO , BO, #16

  565. 

  566. .endm

  567. 

  568. .macro SAVE4x2

  569. 

  570. 	ldr	r3  , LDC

  571. 	add	CO2 , CO1, r3

  572. 

  573. 	fldd		d0, ALPHA

  574. 

  575. 	fmuld	d8 , d0 , d16

  576. 	fmuld	d9 , d0 , d17

  577. 	fmuld	d10, d0 , d18

  578. 	fmuld	d11, d0 , d19

  579. 

  580. 	fstd	d8 , [CO1]

  581. 	fstd	d9 , [CO1, #8 ]

  582. 	fstd	d10, [CO1, #16 ]

  583. 	fstd	d11, [CO1, #24 ]

  584. 

  585. 	fmuld	d12, d0 , d20

  586. 	fmuld	d13, d0 , d21

  587. 	fmuld	d14, d0 , d22

  588. 	fmuld	d15, d0 , d23

  589. 

  590. 	fstd	d12, [CO2]

  591. 	fstd	d13, [CO2, #8 ]

  592. 	fstd	d14, [CO2, #16 ]

  593. 	fstd	d15, [CO2, #24 ]

  594. 

  595. 	add	CO1, CO1, #32

  596. 

  597. .endm

  598. 

  599. 

  600. /******************************************************************************/

  601. 

  602. .macro INIT2x2

  603. 

  604. 	vsub.f64		d16 , d16 , d16

  605. 	vmov.f64		d17, d16

  606. 	vmov.f64		d20, d16

  607. 	vmov.f64		d21, d16

  608. 

  609. .endm

  610. 

  611. 

  612. 

  613. .macro KERNEL2x2_SUB

  614. 

  615. 	fldd	d8 , [ BO ]

  616. 	fldd	d9 , [ BO, #8 ]

  617. 

  618. 	fldd	d0 , [ AO ]

  619. 	fldd	d1 , [ AO, #8 ]

  620. 

  621. 	fmacd	d16  , d0,  d8

  622. 	fmacd	d17  , d1,  d8

  623. 

  624. 	fmacd	d20  , d0,  d9

  625. 	fmacd	d21  , d1,  d9

  626. 

  627. 	add	AO , AO, #16

  628. 	add	BO , BO, #16

  629. 

  630. .endm

  631. 

  632. .macro SAVE2x2

  633. 

  634. 	ldr	r3  , LDC

  635. 	add	CO2 , CO1, r3

  636. 

  637. 	fldd		d0, ALPHA

  638. 

  639. 	fmuld	d8 , d0 , d16

  640. 	fmuld	d9 , d0 , d17

  641. 

  642. 	fstd	d8 , [CO1]

  643. 	fstd	d9 , [CO1, #8 ]

  644. 

  645. 	fmuld	d12, d0 , d20

  646. 	fmuld	d13, d0 , d21

  647. 

  648. 	fstd	d12, [CO2]

  649. 	fstd	d13, [CO2, #8 ]

  650. 

  651. 	add	CO1, CO1, #16

  652. 

  653. .endm

  654. 

  655. /******************************************************************************/

  656. 

  657. .macro INIT1x2

  658. 

  659. 	vsub.f64		d16 , d16 , d16

  660. 	vmov.f64		d20, d16

  661. 

  662. .endm

  663. 

  664. 

  665. 

  666. .macro KERNEL1x2_SUB

  667. 

  668. 	fldd	d8 , [ BO ]

  669. 	fldd	d9 , [ BO, #8 ]

  670. 

  671. 	fldd	d0 , [ AO ]

  672. 	fmacd	d16  , d0,  d8

  673. 	fmacd	d20  , d0,  d9

  674. 

  675. 	add	AO , AO, #8

  676. 	add	BO , BO, #16

  677. 

  678. .endm

  679. 

  680. .macro SAVE1x2

  681. 

  682. 	ldr	r3  , LDC

  683. 	add	CO2 , CO1, r3

  684. 

  685. 	fldd		d0, ALPHA

  686. 

  687. 	fmuld	d8 , d0 , d16

  688. 	fstd	d8 , [CO1]

  689. 

  690. 	fmuld	d12, d0 , d20

  691. 	fstd	d12, [CO2]

  692. 

  693. 	add	CO1, CO1, #8

  694. 

  695. .endm

  696. 

  697. /******************************************************************************/

  698. /******************************************************************************/

  699. 

  700. .macro INIT4x1

  701. 

  702. 	vsub.f64		d16 , d16 , d16

  703. 	vmov.f64		d17, d16

  704. 	vmov.f64		d18, d16

  705. 	vmov.f64		d19, d16

  706. 

  707. .endm

  708. 

  709. 

  710. 

  711. .macro KERNEL4x1_SUB

  712. 

  713. 	fldd	d8 , [ BO ]

  714. 

  715. 	fldd	d0 , [ AO ]

  716. 	fldd	d1 , [ AO, #8 ]

  717. 	fldd	d2 , [ AO, #16 ]

  718. 	fldd	d3 , [ AO, #24 ]

  719. 

  720. 	fmacd	d16  , d0,  d8

  721. 	fmacd	d17  , d1,  d8

  722. 	fmacd	d18  , d2,  d8

  723. 	fmacd	d19  , d3,  d8

  724. 

  725. 	add	AO , AO, #32

  726. 	add	BO , BO, #8

  727. 

  728. .endm

  729. 

  730. .macro SAVE4x1

  731. 

  732. 

  733. 	fldd		d0, ALPHA

  734. 

  735. 	fmuld	d8 , d0 , d16

  736. 	fmuld	d9 , d0 , d17

  737. 	fmuld	d10, d0 , d18

  738. 	fmuld	d11, d0 , d19

  739. 

  740. 	fstd	d8 , [CO1]

  741. 	fstd	d9 , [CO1, #8 ]

  742. 	fstd	d10, [CO1, #16 ]

  743. 	fstd	d11, [CO1, #24 ]

  744. 

  745. 	add	CO1, CO1, #32

  746. 

  747. .endm

  748. 

  749. 

  750. 

  751. 

  752. /******************************************************************************/

  753. 

  754. .macro INIT2x1

  755. 

  756. 	vsub.f64		d16 , d16 , d16

  757. 	vmov.f64		d17, d16

  758. 

  759. .endm

  760. 

  761. 

  762. 

  763. .macro KERNEL2x1_SUB

  764. 

  765. 	fldd	d8 , [ BO ]

  766. 

  767. 	fldd	d0 , [ AO ]

  768. 	fldd	d1 , [ AO, #8 ]

  769. 

  770. 	fmacd	d16  , d0,  d8

  771. 	fmacd	d17  , d1,  d8

  772. 

  773. 	add	AO , AO, #16

  774. 	add	BO , BO, #8

  775. 

  776. .endm

  777. 

  778. .macro SAVE2x1

  779. 

  780. 

  781. 	fldd		d0, ALPHA

  782. 

  783. 	fmuld	d8 , d0 , d16

  784. 	fmuld	d9 , d0 , d17

  785. 

  786. 	fstd	d8 , [CO1]

  787. 	fstd	d9 , [CO1, #8 ]

  788. 

  789. 	add	CO1, CO1, #16

  790. 

  791. .endm

  792. 

  793. /******************************************************************************/

  794. 

  795. .macro INIT1x1

  796. 

  797. 	vsub.f64		d16 , d16 , d16

  798. 

  799. .endm

  800. 

  801. 

  802. 

  803. .macro KERNEL1x1_SUB

  804. 

  805. 	fldd	d8 , [ BO ]

  806. 

  807. 	fldd	d0 , [ AO ]

  808. 

  809. 	fmacd	d16  , d0,  d8

  810. 

  811. 	add	AO , AO, #8

  812. 	add	BO , BO, #8

  813. 

  814. .endm

  815. 

  816. .macro SAVE1x1

  817. 

  818. 

  819. 	fldd		d0, ALPHA

  820. 

  821. 	fmuld	d8 , d0 , d16

  822. 	fstd	d8 , [CO1]

  823. 

  824. 	add	CO1, CO1, #8

  825. 

  826. .endm

  827. 

  828. 

  829. 

  830. 

  831. 

  832. /**************************************************************************************

  833. * End of macro definitions

  834. **************************************************************************************/

  835. 

  836. 	PROLOGUE

  837. 

  838. 	.align 5

  839. 

  840. 	push	{r4 - r9, fp}

  841. 	add	fp, sp, #24

  842. 	sub	sp, sp, #STACKSIZE				// reserve stack

  843. 

  844. 	str	OLD_M, M

  845. 	str	OLD_N, N

  846. 	str	OLD_K, K

  847. 	str	OLD_A, A

  848. 	vstr	OLD_ALPHA, ALPHA

  849. 

  850. 	sub	r3, fp, #128

  851. 	vstm	r3, { d8 - d15} 				// store floating point registers

  852. 

  853. 	ldr	r3, OLD_LDC

  854. 	lsl	r3, r3, #3					// ldc = ldc * 8

  855. 	str	r3, LDC

  856. 

  857. 	ldr	r3, OLD_C

  858. 	str	r3, C

  859. 

  860. 	ldr	BC, B

  861. 

  862.         ldr     r3, OFFSET

  863. #ifndef LEFT

  864.         neg     r3 , r3

  865. #endif

  866.         str     r3 , KK

  867. 

  868. 	ldr	J, N

  869. 	asrs	J, J, #2					// J = J / 4

  870. 	ble	_L2_BEGIN

  871. 

  872. _L4_BEGIN:

  873. 

  874. 	ldr	CO1, C						// CO1 = C

  875. 	ldr	r4 , LDC

  876. 	lsl	r4 , r4 , #2					// LDC * 4

  877. 	add	r3 , r4, CO1

  878. 	str	r3 , C						// store C

  879. 

  880. #if defined(LEFT)

  881.         ldr     r3 , OFFSET

  882.         str     r3 , KK

  883. #endif

  884. 

  885. 

  886. 	ldr	AO, A						// AO = A

  887.         pld     [AO , #A_PRE-64]

  888.         pld     [AO , #A_PRE-32]

  889. 

  890. 

  891. 

  892. _L4_M4_BEGIN:

  893. 

  894. 	ldr	I, M

  895. 	asrs	I, I, #2					// I = I / 4

  896. 	ble	_L4_M2_BEGIN

  897. 

  898. _L4_M4_20:

  899. 

  900. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  901.     (!defined(LEFT) && !defined(TRANSA))

  902. 

  903.         mov     BO, BC

  904. #else

  905.         mov     BO, BC

  906.         ldr     r3 , KK

  907.         lsls    r4 , r3 , #5                                    // 4 double values

  908.         add     BO , BO , r4

  909.         lsls    r4 , r3 , #5                                    // 4 double values

  910.         add     AO , AO , r4

  911. 

  912. #endif

  913. 

  914. #ifndef TRMMKERNEL

  915.         ldr     L , K

  916. #elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))

  917.         ldr     L , K

  918.         ldr     r3, KK

  919.         sub     L , L, r3

  920.         str     L , KKK

  921. #else

  922.         ldr     L , KK

  923. #ifdef LEFT

  924.         add     L , L , #4        // number of values in AO

  925. #else

  926.         add     L , L , #4        // number of values in BO

  927. #endif

  928.         str     L , KKK

  929. #endif

  930. 

  931. 	mov	K1, L

  932. 	asrs	L , K1, #5					// L = L / 8

  933. 	ble	_L4_M4_40

  934. 	.align 5

  935. 

  936. 

  937. 

  938. 	KERNEL4x4_I

  939. 	KERNEL4x4_M1

  940. 	KERNEL4x4_M2

  941. 	KERNEL4x4_M1

  942. 

  943. 	KERNEL4x4_M2

  944. 	KERNEL4x4_M1

  945. 	KERNEL4x4_M2

  946. 	KERNEL4x4_M1

  947. 

  948. 	KERNEL4x4_M2

  949. 	KERNEL4x4_M1

  950. 	KERNEL4x4_M2

  951. 	KERNEL4x4_M1

  952. 

  953. 	KERNEL4x4_M2

  954. 	KERNEL4x4_M1

  955. 	KERNEL4x4_M2

  956. 	KERNEL4x4_M1

  957. 

  958. 

  959. 	KERNEL4x4_M2

  960. 	KERNEL4x4_M1

  961. 	KERNEL4x4_M2

  962. 	KERNEL4x4_M1

  963. 

  964. 	KERNEL4x4_M2

  965. 	KERNEL4x4_M1

  966. 	KERNEL4x4_M2

  967. 	KERNEL4x4_M1

  968. 

  969. 	KERNEL4x4_M2

  970. 	KERNEL4x4_M1

  971. 	KERNEL4x4_M2

  972. 	KERNEL4x4_M1

  973. 

  974. 	KERNEL4x4_M2

  975. 	KERNEL4x4_M1

  976. 	KERNEL4x4_M2

  977. 	KERNEL4x4_E

  978. 

  979. 	subs	L, L, #1

  980. 	ble	_L4_M4_41

  981. 

  982. _L4_M4_22:

  983. 

  984. 	KERNEL4x4_S

  985. 	KERNEL4x4_M1

  986. 	KERNEL4x4_M2

  987. 	KERNEL4x4_M1

  988. 

  989. 	KERNEL4x4_M2

  990. 	KERNEL4x4_M1

  991. 	KERNEL4x4_M2

  992. 	KERNEL4x4_M1

  993. 

  994. 	KERNEL4x4_M2

  995. 	KERNEL4x4_M1

  996. 	KERNEL4x4_M2

  997. 	KERNEL4x4_M1

  998. 

  999. 	KERNEL4x4_M2

  1000. 	KERNEL4x4_M1

  1001. 	KERNEL4x4_M2

  1002. 	KERNEL4x4_M1

  1003. 

  1004. 

  1005. 	KERNEL4x4_M2

  1006. 	KERNEL4x4_M1

  1007. 	KERNEL4x4_M2

  1008. 	KERNEL4x4_M1

  1009. 

  1010. 	KERNEL4x4_M2

  1011. 	KERNEL4x4_M1

  1012. 	KERNEL4x4_M2

  1013. 	KERNEL4x4_M1

  1014. 

  1015. 	KERNEL4x4_M2

  1016. 	KERNEL4x4_M1

  1017. 	KERNEL4x4_M2

  1018. 	KERNEL4x4_M1

  1019. 

  1020. 	KERNEL4x4_M2

  1021. 	KERNEL4x4_M1

  1022. 	KERNEL4x4_M2

  1023. 	KERNEL4x4_E

  1024. 

  1025. 	subs	L, L, #1

  1026. 	ble	_L4_M4_41

  1027. 

  1028. 	b	_L4_M4_22

  1029. 

  1030. 

  1031. _L4_M4_40:

  1032. 

  1033. 	INIT4x4

  1034. 

  1035. _L4_M4_41:

  1036. 

  1037. 	ands	L , K1, #31					// L = L % 8

  1038. 	ble	_L4_M4_100

  1039. 

  1040. _L4_M4_42:

  1041. 

  1042. 	KERNEL4x4_SUB

  1043. 

  1044. 	subs	L, L, #1

  1045. 	bgt	_L4_M4_42

  1046. 

  1047. _L4_M4_100:

  1048. 

  1049. 	SAVE4x4

  1050. 

  1051. 

  1052. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1053.     (!defined(LEFT) && !defined(TRANSA))

  1054.         ldr     r3 , K

  1055.         ldr     r4 , KKK

  1056.         sub     r3 , r3 , r4

  1057.         lsls    r4 , r3 , #5                    // 4 double values

  1058.         add     BO , BO , r4

  1059.         lsls    r4 , r3 , #5                    // 4 double values

  1060.         add     AO , AO , r4

  1061. #endif

  1062. 

  1063. #if defined(LEFT)

  1064.         ldr     r3 , KK

  1065.         add     r3 , r3 , #4                    // number of values in AO

  1066.         str     r3 , KK

  1067. #endif

  1068. 

  1069. 

  1070. _L4_M4_END:

  1071. 

  1072. 	subs	I, I, #1

  1073. 	bgt	_L4_M4_20

  1074. 

  1075. 

  1076. _L4_M2_BEGIN:

  1077. 

  1078. 	ldr	I, M

  1079. 	tst	I , #3

  1080. 	ble	_L4_END

  1081. 

  1082. 	tst	I, #2					// I = I / 2

  1083. 	ble	_L4_M1_BEGIN

  1084. 

  1085. _L4_M2_20:

  1086. 

  1087. 	INIT2x4

  1088. 

  1089. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1090.     (!defined(LEFT) && !defined(TRANSA))

  1091. 

  1092.         mov     BO, BC

  1093. #else

  1094.         mov     BO, BC

  1095.         ldr     r3 , KK

  1096.         lsls    r4 , r3 , #5                                    // 4 double values

  1097.         add     BO , BO , r4

  1098.         lsls    r4 , r3 , #4                                    // 2 double values

  1099.         add     AO , AO , r4

  1100. 

  1101. #endif

  1102. 

  1103. #ifndef TRMMKERNEL

  1104.         ldr     L , K

  1105. #elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))

  1106.         ldr     L , K

  1107.         ldr     r3, KK

  1108.         sub     L , L, r3

  1109.         str     L , KKK

  1110. #else

  1111.         ldr     L , KK

  1112. #ifdef LEFT

  1113.         add     L , L , #2        // number of values in AO

  1114. #else

  1115.         add     L , L , #4        // number of values in BO

  1116. #endif

  1117.         str     L , KKK

  1118. #endif

  1119. 

  1120. 	mov	K1, L

  1121. 	asrs	L , K1, #3					// L = L / 8

  1122. 	ble	_L4_M2_40

  1123. 

  1124. _L4_M2_22:

  1125. 

  1126. 	KERNEL2x4_SUB

  1127. 	KERNEL2x4_SUB

  1128. 	KERNEL2x4_SUB

  1129. 	KERNEL2x4_SUB

  1130. 

  1131. 	KERNEL2x4_SUB

  1132. 	KERNEL2x4_SUB

  1133. 	KERNEL2x4_SUB

  1134. 	KERNEL2x4_SUB

  1135. 

  1136. 	subs	L, L, #1

  1137. 	bgt	_L4_M2_22

  1138. 

  1139. 

  1140. _L4_M2_40:

  1141. 

  1142. 	ands	L , K1, #7					// L = L % 8

  1143. 	ble	_L4_M2_100

  1144. 

  1145. _L4_M2_42:

  1146. 

  1147. 	KERNEL2x4_SUB

  1148. 

  1149. 	subs	L, L, #1

  1150. 	bgt	_L4_M2_42

  1151. 

  1152. _L4_M2_100:

  1153. 

  1154. 	SAVE2x4

  1155. 

  1156. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1157.     (!defined(LEFT) && !defined(TRANSA))

  1158.         ldr     r3 , K

  1159.         ldr     r4 , KKK

  1160.         sub     r3 , r3 , r4

  1161.         lsls    r4 , r3 , #5                    // 4 double values

  1162.         add     BO , BO , r4

  1163.         lsls    r4 , r3 , #4                    // 2 double values

  1164.         add     AO , AO , r4

  1165. #endif

  1166. 

  1167. #if defined(LEFT)

  1168.         ldr     r3 , KK

  1169.         add     r3 , r3 , #2                    // number of values in AO

  1170.         str     r3 , KK

  1171. #endif

  1172. 

  1173. 

  1174. _L4_M2_END:

  1175. 

  1176. 

  1177. _L4_M1_BEGIN:

  1178. 

  1179. 	tst	I, #1					// I = I % 2

  1180. 	ble	_L4_END

  1181. 

  1182. _L4_M1_20:

  1183. 

  1184. 	INIT1x4

  1185. 

  1186. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1187.     (!defined(LEFT) && !defined(TRANSA))

  1188. 

  1189.         mov     BO, BC

  1190. #else

  1191.         mov     BO, BC

  1192.         ldr     r3 , KK

  1193.         lsls    r4 , r3 , #5                                    // 4 double values

  1194.         add     BO , BO , r4

  1195.         lsls    r4 , r3 , #3                                    // 1 double value

  1196.         add     AO , AO , r4

  1197. 

  1198. #endif

  1199. 

  1200. #ifndef TRMMKERNEL

  1201.         ldr     L , K

  1202. #elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))

  1203.         ldr     L , K

  1204.         ldr     r3, KK

  1205.         sub     L , L, r3

  1206.         str     L , KKK

  1207. #else

  1208.         ldr     L , KK

  1209. #ifdef LEFT

  1210.         add     L , L , #1        // number of values in AO

  1211. #else

  1212.         add     L , L , #4        // number of values in BO

  1213. #endif

  1214.         str     L , KKK

  1215. #endif

  1216. 

  1217. 	mov	K1, L

  1218. 	asrs	L , K1, #3					// L = L / 8

  1219. 	ble	_L4_M1_40

  1220. 

  1221. _L4_M1_22:

  1222. 	KERNEL1x4_SUB

  1223. 	KERNEL1x4_SUB

  1224. 	KERNEL1x4_SUB

  1225. 	KERNEL1x4_SUB

  1226. 

  1227. 	KERNEL1x4_SUB

  1228. 	KERNEL1x4_SUB

  1229. 	KERNEL1x4_SUB

  1230. 	KERNEL1x4_SUB

  1231. 

  1232. 	subs	L, L, #1

  1233. 	bgt	_L4_M1_22

  1234. 

  1235. 

  1236. _L4_M1_40:

  1237. 

  1238. 	ands	L , K1, #7					// L = L % 8

  1239. 	ble	_L4_M1_100

  1240. 

  1241. _L4_M1_42:

  1242. 

  1243. 	KERNEL1x4_SUB

  1244. 

  1245. 	subs	L, L, #1

  1246. 	bgt	_L4_M1_42

  1247. 

  1248. _L4_M1_100:

  1249. 

  1250. 	SAVE1x4

  1251. 

  1252. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1253.     (!defined(LEFT) && !defined(TRANSA))

  1254.         ldr     r3 , K

  1255.         ldr     r4 , KKK

  1256.         sub     r3 , r3 , r4

  1257.         lsls    r4 , r3 , #5                    // 4 double values

  1258.         add     BO , BO , r4

  1259.         lsls    r4 , r3 , #3                    // 1 double value

  1260.         add     AO , AO , r4

  1261. #endif

  1262. 

  1263. #if defined(LEFT)

  1264.         ldr     r3 , KK

  1265.         add     r3 , r3 , #1                    // number of values in AO

  1266.         str     r3 , KK

  1267. #endif

  1268. 

  1269. 

  1270. 

  1271. _L4_END:

  1272. 

  1273. 	mov	r3, BC

  1274. 	ldr	r4, K

  1275. 	lsl	r4, r4, #5					// k * 4 * 8

  1276. 	add	r3, r3, r4					// B = B + K * 4 * 8

  1277. 	mov	BC, r3

  1278. 

  1279. #if !defined(LEFT)

  1280.         ldr     r3 , KK

  1281.         add     r3 , r3 , #4                                    // number of values in BO

  1282.         str     r3 , KK

  1283. #endif

  1284. 

  1285. 	subs	J , #1						// j--

  1286. 	bgt	_L4_BEGIN

  1287. 

  1288. 

  1289. 

  1290. /*********************************************************************************************/

  1291. 

  1292. _L2_BEGIN:

  1293. 

  1294. 	ldr	J , N

  1295. 	tst	J , #3

  1296. 	ble	_L999

  1297. 

  1298. 	tst	J , #2

  1299. 	ble	_L1_BEGIN

  1300. 

  1301. 	ldr	CO1, C						// CO1 = C

  1302. 	ldr	r4 , LDC

  1303. 	lsl	r4 , r4 , #1					// LDC * 2

  1304. 	add	r3 , r4, CO1

  1305. 	str	r3 , C						// store C

  1306. 

  1307. #if defined(LEFT)

  1308.         ldr     r3 , OFFSET

  1309.         str     r3 , KK

  1310. #endif

  1311. 

  1312. 	ldr	AO, A						// AO = A

  1313.         //pld     [AO , #A_PRE-96]

  1314.         //pld     [AO , #A_PRE-64]

  1315.         //pld     [AO , #A_PRE-32]

  1316. 

  1317. 

  1318. 

  1319. _L2_M4_BEGIN:

  1320. 

  1321. 	ldr	I, M

  1322. 	asrs	I, I, #2					// I = I / 4

  1323. 	ble	_L2_M2_BEGIN

  1324. 

  1325. _L2_M4_20:

  1326. 

  1327. 	INIT4x2

  1328. 

  1329. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1330.     (!defined(LEFT) && !defined(TRANSA))

  1331. 

  1332.         mov     BO, BC

  1333. #else

  1334.         mov     BO, BC

  1335.         ldr     r3 , KK

  1336.         lsls    r4 , r3 , #4                                    // 2 double values

  1337.         add     BO , BO , r4

  1338.         lsls    r4 , r3 , #5                                    // 4 double values

  1339.         add     AO , AO , r4

  1340. 

  1341. #endif

  1342. 

  1343. #ifndef TRMMKERNEL

  1344.         ldr     L , K

  1345. #elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))

  1346.         ldr     L , K

  1347.         ldr     r3, KK

  1348.         sub     L , L, r3

  1349.         str     L , KKK

  1350. #else

  1351.         ldr     L , KK

  1352. #ifdef LEFT

  1353.         add     L , L , #4        // number of values in AO

  1354. #else

  1355.         add     L , L , #2        // number of values in BO

  1356. #endif

  1357.         str     L , KKK

  1358. #endif

  1359. 

  1360. 	mov	K1, L

  1361. 	asrs	L , K1, #3					// L = L / 8

  1362. 	ble	_L2_M4_40

  1363. 	.align 5

  1364. 

  1365. _L2_M4_22:

  1366. 	KERNEL4x2_SUB

  1367. 	KERNEL4x2_SUB

  1368. 	KERNEL4x2_SUB

  1369. 	KERNEL4x2_SUB

  1370. 

  1371. 	KERNEL4x2_SUB

  1372. 	KERNEL4x2_SUB

  1373. 	KERNEL4x2_SUB

  1374. 	KERNEL4x2_SUB

  1375. 

  1376. 	subs	L, L, #1

  1377. 	bgt	_L2_M4_22

  1378. 

  1379. 

  1380. _L2_M4_40:

  1381. 

  1382. 	ands	L , K1, #7					// L = L % 8

  1383. 	ble	_L2_M4_100

  1384. 

  1385. _L2_M4_42:

  1386. 

  1387. 	KERNEL4x2_SUB

  1388. 

  1389. 	subs	L, L, #1

  1390. 	bgt	_L2_M4_42

  1391. 

  1392. _L2_M4_100:

  1393. 

  1394. 	SAVE4x2

  1395. 

  1396. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1397.     (!defined(LEFT) && !defined(TRANSA))

  1398.         ldr     r3 , K

  1399.         ldr     r4 , KKK

  1400.         sub     r3 , r3 , r4

  1401.         lsls    r4 , r3 , #4                    // 2 double values

  1402.         add     BO , BO , r4

  1403.         lsls    r4 , r3 , #5                    // 4 double values

  1404.         add     AO , AO , r4

  1405. #endif

  1406. 

  1407. #if defined(LEFT)

  1408.         ldr     r3 , KK

  1409.         add     r3 , r3 , #4                    // number of values in AO

  1410.         str     r3 , KK

  1411. #endif

  1412. 

  1413. 

  1414. 

  1415. _L2_M4_END:

  1416. 

  1417. 	subs	I, I, #1

  1418. 	bgt	_L2_M4_20

  1419. 

  1420. 

  1421. _L2_M2_BEGIN:

  1422. 

  1423. 	ldr	I, M

  1424. 	tst	I , #3

  1425. 	ble	_L2_END

  1426. 

  1427. 	tst	I, #2					// I = I / 2

  1428. 	ble	_L2_M1_BEGIN

  1429. 

  1430. _L2_M2_20:

  1431. 

  1432. 	INIT2x2

  1433. 

  1434. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1435.     (!defined(LEFT) && !defined(TRANSA))

  1436. 

  1437.         mov     BO, BC

  1438. #else

  1439.         mov     BO, BC

  1440.         ldr     r3 , KK

  1441.         lsls    r4 , r3 , #4                                    // 2 double values

  1442.         add     BO , BO , r4

  1443.         lsls    r4 , r3 , #4                                    // 2 double values

  1444.         add     AO , AO , r4

  1445. 

  1446. #endif

  1447. 

  1448. #ifndef TRMMKERNEL

  1449.         ldr     L , K

  1450. #elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))

  1451.         ldr     L , K

  1452.         ldr     r3, KK

  1453.         sub     L , L, r3

  1454.         str     L , KKK

  1455. #else

  1456.         ldr     L , KK

  1457. #ifdef LEFT

  1458.         add     L , L , #2        // number of values in AO

  1459. #else

  1460.         add     L , L , #2        // number of values in BO

  1461. #endif

  1462.         str     L , KKK

  1463. #endif

  1464. 

  1465. 	mov	K1, L

  1466. 	asrs	L , K1, #3					// L = L / 8

  1467. 	ble	_L2_M2_40

  1468. 

  1469. _L2_M2_22:

  1470. 

  1471. 	KERNEL2x2_SUB

  1472. 	KERNEL2x2_SUB

  1473. 	KERNEL2x2_SUB

  1474. 	KERNEL2x2_SUB

  1475. 

  1476. 	KERNEL2x2_SUB

  1477. 	KERNEL2x2_SUB

  1478. 	KERNEL2x2_SUB

  1479. 	KERNEL2x2_SUB

  1480. 

  1481. 	subs	L, L, #1

  1482. 	bgt	_L2_M2_22

  1483. 

  1484. 

  1485. _L2_M2_40:

  1486. 

  1487. 	ands	L , K1, #7					// L = L % 8

  1488. 	ble	_L2_M2_100

  1489. 

  1490. _L2_M2_42:

  1491. 

  1492. 	KERNEL2x2_SUB

  1493. 

  1494. 	subs	L, L, #1

  1495. 	bgt	_L2_M2_42

  1496. 

  1497. _L2_M2_100:

  1498. 

  1499. 	SAVE2x2

  1500. 

  1501. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1502.     (!defined(LEFT) && !defined(TRANSA))

  1503.         ldr     r3 , K

  1504.         ldr     r4 , KKK

  1505.         sub     r3 , r3 , r4

  1506.         lsls    r4 , r3 , #4                    // 2 double values

  1507.         add     BO , BO , r4

  1508.         lsls    r4 , r3 , #4                    // 2 double values

  1509.         add     AO , AO , r4

  1510. #endif

  1511. 

  1512. #if defined(LEFT)

  1513.         ldr     r3 , KK

  1514.         add     r3 , r3 , #2                    // number of values in AO

  1515.         str     r3 , KK

  1516. #endif

  1517. 

  1518. 

  1519. 

  1520. _L2_M2_END:

  1521. 

  1522. 

  1523. _L2_M1_BEGIN:

  1524. 

  1525. 	tst	I, #1					// I = I % 2

  1526. 	ble	_L2_END

  1527. 

  1528. _L2_M1_20:

  1529. 

  1530. 	INIT1x2

  1531. 

  1532. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1533.     (!defined(LEFT) && !defined(TRANSA))

  1534. 

  1535.         mov     BO, BC

  1536. #else

  1537.         mov     BO, BC

  1538.         ldr     r3 , KK

  1539.         lsls    r4 , r3 , #4                                    // 2 double values

  1540.         add     BO , BO , r4

  1541.         lsls    r4 , r3 , #3                                    // 1 double value

  1542.         add     AO , AO , r4

  1543. 

  1544. #endif

  1545. 

  1546. #ifndef TRMMKERNEL

  1547.         ldr     L , K

  1548. #elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))

  1549.         ldr     L , K

  1550.         ldr     r3, KK

  1551.         sub     L , L, r3

  1552.         str     L , KKK

  1553. #else

  1554.         ldr     L , KK

  1555. #ifdef LEFT

  1556.         add     L , L , #1        // number of values in AO

  1557. #else

  1558.         add     L , L , #2        // number of values in BO

  1559. #endif

  1560.         str     L , KKK

  1561. #endif

  1562. 

  1563. 	mov	K1, L

  1564. 	asrs	L , K1, #3					// L = L / 8

  1565. 	ble	_L2_M1_40

  1566. 

  1567. _L2_M1_22:

  1568. 	KERNEL1x2_SUB

  1569. 	KERNEL1x2_SUB

  1570. 	KERNEL1x2_SUB

  1571. 	KERNEL1x2_SUB

  1572. 

  1573. 	KERNEL1x2_SUB

  1574. 	KERNEL1x2_SUB

  1575. 	KERNEL1x2_SUB

  1576. 	KERNEL1x2_SUB

  1577. 

  1578. 	subs	L, L, #1

  1579. 	bgt	_L2_M1_22

  1580. 

  1581. 

  1582. _L2_M1_40:

  1583. 

  1584. 	ands	L , K1, #7					// L = L % 8

  1585. 	ble	_L2_M1_100

  1586. 

  1587. _L2_M1_42:

  1588. 

  1589. 	KERNEL1x2_SUB

  1590. 

  1591. 	subs	L, L, #1

  1592. 	bgt	_L2_M1_42

  1593. 

  1594. _L2_M1_100:

  1595. 

  1596. 	SAVE1x2

  1597. 

  1598. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1599.     (!defined(LEFT) && !defined(TRANSA))

  1600.         ldr     r3 , K

  1601.         ldr     r4 , KKK

  1602.         sub     r3 , r3 , r4

  1603.         lsls    r4 , r3 , #4                    // 2 double values

  1604.         add     BO , BO , r4

  1605.         lsls    r4 , r3 , #3                    // 1 double value

  1606.         add     AO , AO , r4

  1607. #endif

  1608. 

  1609. #if defined(LEFT)

  1610.         ldr     r3 , KK

  1611.         add     r3 , r3 , #1                    // number of values in AO

  1612.         str     r3 , KK

  1613. #endif

  1614. 

  1615. 

  1616. 

  1617. 

  1618. _L2_END:

  1619. 

  1620. 	mov	r3, BC

  1621. 	ldr	r4, K

  1622. 	lsl	r4, r4, #4					// k * 2 * 8

  1623. 	add	r3, r3, r4					// B = B + K * 2 * 8

  1624. 	mov	BC, r3

  1625. 

  1626. #if !defined(LEFT)

  1627.         ldr     r3 , KK

  1628.         add     r3 , r3 , #2                                    // number of values in BO

  1629.         str     r3 , KK

  1630. #endif

  1631. 

  1632. 

  1633. /*********************************************************************************************/

  1634. 

  1635. _L1_BEGIN:

  1636. 

  1637. 	ldr	J , N

  1638. 	tst	J , #1

  1639. 	ble	_L999

  1640. 

  1641. 

  1642. 	ldr	CO1, C						// CO1 = C

  1643. 	ldr	r4 , LDC

  1644. 	add	r3 , r4, CO1

  1645. 	str	r3 , C						// store C

  1646. 

  1647. #if defined(LEFT)

  1648.         ldr     r3 , OFFSET

  1649.         str     r3 , KK

  1650. #endif

  1651. 

  1652. 	ldr	AO, A						// AO = A

  1653.         //pld     [AO , #A_PRE-96]

  1654.         //pld     [AO , #A_PRE-64]

  1655.         //pld     [AO , #A_PRE-32]

  1656. 

  1657. 

  1658. 

  1659. _L1_M4_BEGIN:

  1660. 

  1661. 	ldr	I, M

  1662. 	asrs	I, I, #2					// I = I / 4

  1663. 	ble	_L1_M2_BEGIN

  1664. 

  1665. _L1_M4_20:

  1666. 

  1667. 	INIT4x1

  1668. 

  1669. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1670.     (!defined(LEFT) && !defined(TRANSA))

  1671. 

  1672.         mov     BO, BC

  1673. #else

  1674.         mov     BO, BC

  1675.         ldr     r3 , KK

  1676.         lsls    r4 , r3 , #3                                    // 1 double value

  1677.         add     BO , BO , r4

  1678.         lsls    r4 , r3 , #5                                    // 4 double values

  1679.         add     AO , AO , r4

  1680. 

  1681. #endif

  1682. 

  1683. #ifndef TRMMKERNEL

  1684.         ldr     L , K

  1685. #elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))

  1686.         ldr     L , K

  1687.         ldr     r3, KK

  1688.         sub     L , L, r3

  1689.         str     L , KKK

  1690. #else

  1691.         ldr     L , KK

  1692. #ifdef LEFT

  1693.         add     L , L , #4        // number of values in AO

  1694. #else

  1695.         add     L , L , #1        // number of values in BO

  1696. #endif

  1697.         str     L , KKK

  1698. #endif

  1699. 

  1700. 	mov	K1, L

  1701. 	asrs	L , K1, #3					// L = L / 8

  1702. 	ble	_L1_M4_40

  1703. 	.align 5

  1704. 

  1705. _L1_M4_22:

  1706. 	KERNEL4x1_SUB

  1707. 	KERNEL4x1_SUB

  1708. 	KERNEL4x1_SUB

  1709. 	KERNEL4x1_SUB

  1710. 

  1711. 	KERNEL4x1_SUB

  1712. 	KERNEL4x1_SUB

  1713. 	KERNEL4x1_SUB

  1714. 	KERNEL4x1_SUB

  1715. 

  1716. 	subs	L, L, #1

  1717. 	bgt	_L1_M4_22

  1718. 

  1719. 

  1720. _L1_M4_40:

  1721. 

  1722. 	ands	L , K1, #7					// L = L % 8

  1723. 	ble	_L1_M4_100

  1724. 

  1725. _L1_M4_42:

  1726. 

  1727. 	KERNEL4x1_SUB

  1728. 

  1729. 	subs	L, L, #1

  1730. 	bgt	_L1_M4_42

  1731. 

  1732. _L1_M4_100:

  1733. 

  1734. 	SAVE4x1

  1735. 

  1736. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1737.     (!defined(LEFT) && !defined(TRANSA))

  1738.         ldr     r3 , K

  1739.         ldr     r4 , KKK

  1740.         sub     r3 , r3 , r4

  1741.         lsls    r4 , r3 , #3                    // 1 double value

  1742.         add     BO , BO , r4

  1743.         lsls    r4 , r3 , #5                    // 4 double values

  1744.         add     AO , AO , r4

  1745. #endif

  1746. 

  1747. #if defined(LEFT)

  1748.         ldr     r3 , KK

  1749.         add     r3 , r3 , #4                    // number of values in AO

  1750.         str     r3 , KK

  1751. #endif

  1752. 

  1753. 

  1754. 

  1755. _L1_M4_END:

  1756. 

  1757. 	subs	I, I, #1

  1758. 	bgt	_L1_M4_20

  1759. 

  1760. 

  1761. _L1_M2_BEGIN:

  1762. 

  1763. 	ldr	I, M

  1764. 	tst	I , #3

  1765. 	ble	_L1_END

  1766. 

  1767. 	tst	I, #2					// I = I / 2

  1768. 	ble	_L1_M1_BEGIN

  1769. 

  1770. _L1_M2_20:

  1771. 

  1772. 	INIT2x1

  1773. 

  1774. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1775.     (!defined(LEFT) && !defined(TRANSA))

  1776. 

  1777.         mov     BO, BC

  1778. #else

  1779.         mov     BO, BC

  1780.         ldr     r3 , KK

  1781.         lsls    r4 , r3 , #3                                    // 1 double value

  1782.         add     BO , BO , r4

  1783.         lsls    r4 , r3 , #4                                    // 2 double values

  1784.         add     AO , AO , r4

  1785. 

  1786. #endif

  1787. 

  1788. #ifndef TRMMKERNEL

  1789.         ldr     L , K

  1790. #elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))

  1791.         ldr     L , K

  1792.         ldr     r3, KK

  1793.         sub     L , L, r3

  1794.         str     L , KKK

  1795. #else

  1796.         ldr     L , KK

  1797. #ifdef LEFT

  1798.         add     L , L , #2        // number of values in AO

  1799. #else

  1800.         add     L , L , #1        // number of values in BO

  1801. #endif

  1802.         str     L , KKK

  1803. #endif

  1804. 

  1805. 	mov	K1, L

  1806. 	asrs	L , K1, #3					// L = L / 8

  1807. 	ble	_L1_M2_40

  1808. 

  1809. _L1_M2_22:

  1810. 

  1811. 	KERNEL2x1_SUB

  1812. 	KERNEL2x1_SUB

  1813. 	KERNEL2x1_SUB

  1814. 	KERNEL2x1_SUB

  1815. 

  1816. 	KERNEL2x1_SUB

  1817. 	KERNEL2x1_SUB

  1818. 	KERNEL2x1_SUB

  1819. 	KERNEL2x1_SUB

  1820. 

  1821. 	subs	L, L, #1

  1822. 	bgt	_L1_M2_22

  1823. 

  1824. 

  1825. _L1_M2_40:

  1826. 

  1827. 	ands	L , K1, #7					// L = L % 8

  1828. 	ble	_L1_M2_100

  1829. 

  1830. _L1_M2_42:

  1831. 

  1832. 	KERNEL2x1_SUB

  1833. 

  1834. 	subs	L, L, #1

  1835. 	bgt	_L1_M2_42

  1836. 

  1837. _L1_M2_100:

  1838. 

  1839. 	SAVE2x1

  1840. 

  1841. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1842.     (!defined(LEFT) && !defined(TRANSA))

  1843.         ldr     r3 , K

  1844.         ldr     r4 , KKK

  1845.         sub     r3 , r3 , r4

  1846.         lsls    r4 , r3 , #3                    // 1 double value

  1847.         add     BO , BO , r4

  1848.         lsls    r4 , r3 , #4                    // 2 double values

  1849.         add     AO , AO , r4

  1850. #endif

  1851. 

  1852. #if defined(LEFT)

  1853.         ldr     r3 , KK

  1854.         add     r3 , r3 , #2                    // number of values in AO

  1855.         str     r3 , KK

  1856. #endif

  1857. 

  1858. 

  1859. 

  1860. _L1_M2_END:

  1861. 

  1862. 

  1863. _L1_M1_BEGIN:

  1864. 

  1865. 	tst	I, #1					// I = I % 2

  1866. 	ble	_L1_END

  1867. 

  1868. _L1_M1_20:

  1869. 

  1870. 	INIT1x1

  1871. 

  1872. #if  (defined(LEFT) &&  defined(TRANSA)) || \

  1873.     (!defined(LEFT) && !defined(TRANSA))

  1874. 

  1875.         mov     BO, BC

  1876. #else

  1877.         mov     BO, BC

  1878.         ldr     r3 , KK

  1879.         lsls    r4 , r3 , #3                                    // 1 double value

  1880.         add     BO , BO , r4

  1881.         lsls    r4 , r3 , #3                                    // 1 double value

  1882.         add     AO , AO , r4

  1883. 

  1884. #endif

  1885. 

  1886. #ifndef TRMMKERNEL

  1887.         ldr     L , K

  1888. #elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))

  1889.         ldr     L , K

  1890.         ldr     r3, KK

  1891.         sub     L , L, r3

  1892.         str     L , KKK

  1893. #else

  1894.         ldr     L , KK

  1895. #ifdef LEFT

  1896.         add     L , L , #1        // number of values in AO

  1897. #else

  1898.         add     L , L , #1        // number of values in BO

  1899. #endif

  1900.         str     L , KKK

  1901. #endif

  1902. 

  1903. 	mov	K1, L

  1904. 	asrs	L , K1, #3					// L = L / 8

  1905. 	ble	_L1_M1_40

  1906. 

  1907. _L1_M1_22:

  1908. 	KERNEL1x1_SUB

  1909. 	KERNEL1x1_SUB

  1910. 	KERNEL1x1_SUB

  1911. 	KERNEL1x1_SUB

  1912. 

  1913. 	KERNEL1x1_SUB

  1914. 	KERNEL1x1_SUB

  1915. 	KERNEL1x1_SUB

  1916. 	KERNEL1x1_SUB

  1917. 

  1918. 	subs	L, L, #1

  1919. 	bgt	_L1_M1_22

  1920. 

  1921. 

  1922. _L1_M1_40:

  1923. 

  1924. 	ands	L , K1, #7					// L = L % 8

  1925. 	ble	_L1_M1_100

  1926. 

  1927. _L1_M1_42:

  1928. 

  1929. 	KERNEL1x1_SUB

  1930. 

  1931. 	subs	L, L, #1

  1932. 	bgt	_L1_M1_42

  1933. 

  1934. _L1_M1_100:

  1935. 

  1936. 	SAVE1x1

  1937. 

  1938. 

  1939. _L1_END:

  1940. 

  1941. 

  1942. _L999:

  1943. 

  1944. 	sub	r3, fp, #128

  1945. 	vldm	r3, { d8 - d15}					// restore floating point registers

  1946. 

  1947. 	movs	r0, #0						// set return value

  1948. 	sub	sp, fp, #24

  1949. 	pop	{r4 - r9, fp}

  1950. 	bx	lr

  1951. 

  1952. 	EPILOGUE