target/arm: Implement SVE gather loads
[qemu.git] / target / arm / sve.decode
1 # AArch64 SVE instruction descriptions
2 #
3 #  Copyright (c) 2017 Linaro, Ltd
4 #
5 # This library is free software; you can redistribute it and/or
6 # modify it under the terms of the GNU Lesser General Public
7 # License as published by the Free Software Foundation; either
8 # version 2 of the License, or (at your option) any later version.
9 #
10 # This library is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13 # Lesser General Public License for more details.
14 #
15 # You should have received a copy of the GNU Lesser General Public
16 # License along with this library; if not, see <http://www.gnu.org/licenses/>.
17
18 #
19 # This file is processed by scripts/decodetree.py
20 #
21
22 ###########################################################################
23 # Named fields.  These are primarily for disjoint fields.
24
25 %imm4_16_p1     16:4 !function=plus1
26 %imm6_22_5      22:1 5:5
27 %imm7_22_16     22:2 16:5
28 %imm8_16_10     16:5 10:3
29 %imm9_16_10     16:s6 10:3
30 %size_23        23:2
31 %dtype_23_13    23:2 13:2
32
33 # A combination of tsz:imm3 -- extract esize.
34 %tszimm_esz     22:2 5:5 !function=tszimm_esz
35 # A combination of tsz:imm3 -- extract (2 * esize) - (tsz:imm3)
36 %tszimm_shr     22:2 5:5 !function=tszimm_shr
37 # A combination of tsz:imm3 -- extract (tsz:imm3) - esize
38 %tszimm_shl     22:2 5:5 !function=tszimm_shl
39
40 # Similarly for the tszh/tszl pair at 22/16 for zzi
41 %tszimm16_esz   22:2 16:5 !function=tszimm_esz
42 %tszimm16_shr   22:2 16:5 !function=tszimm_shr
43 %tszimm16_shl   22:2 16:5 !function=tszimm_shl
44
45 # Signed 8-bit immediate, optionally shifted left by 8.
46 %sh8_i8s        5:9 !function=expand_imm_sh8s
47 # Unsigned 8-bit immediate, optionally shifted left by 8.
48 %sh8_i8u        5:9 !function=expand_imm_sh8u
49
50 # Unsigned load of msz into esz=2, represented as a dtype.
51 %msz_dtype      23:2 !function=msz_dtype
52
53 # Either a copy of rd (at bit 0), or a different source
54 # as propagated via the MOVPRFX instruction.
55 %reg_movprfx    0:5
56
57 ###########################################################################
58 # Named attribute sets.  These are used to make nice(er) names
59 # when creating helpers common to those for the individual
60 # instruction patterns.
61
62 &rr_esz         rd rn esz
63 &rri            rd rn imm
64 &rr_dbm         rd rn dbm
65 &rrri           rd rn rm imm
66 &rri_esz        rd rn imm esz
67 &rrr_esz        rd rn rm esz
68 &rpr_esz        rd pg rn esz
69 &rpr_s          rd pg rn s
70 &rprr_s         rd pg rn rm s
71 &rprr_esz       rd pg rn rm esz
72 &rprrr_esz      rd pg rn rm ra esz
73 &rpri_esz       rd pg rn imm esz
74 &ptrue          rd esz pat s
75 &incdec_cnt     rd pat esz imm d u
76 &incdec2_cnt    rd rn pat esz imm d u
77 &incdec_pred    rd pg esz d u
78 &incdec2_pred   rd rn pg esz d u
79 &rprr_load      rd pg rn rm dtype nreg
80 &rpri_load      rd pg rn imm dtype nreg
81 &rprr_store     rd pg rn rm msz esz nreg
82 &rpri_store     rd pg rn imm msz esz nreg
83 &rprr_gather_load       rd pg rn rm esz msz u ff xs scale
84 &rpri_gather_load       rd pg rn imm esz msz u ff
85 &rprr_scatter_store     rd pg rn rm esz msz xs scale
86
87 ###########################################################################
88 # Named instruction formats.  These are generally used to
89 # reduce the amount of duplication between instruction patterns.
90
91 # Two operand with unused vector element size
92 @pd_pn_e0       ........ ........ ....... rn:4 . rd:4           &rr_esz esz=0
93
94 # Two operand
95 @pd_pn          ........ esz:2 .. .... ....... rn:4 . rd:4      &rr_esz
96 @rd_rn          ........ esz:2 ...... ...... rn:5 rd:5          &rr_esz
97
98 # Two operand with governing predicate, flags setting
99 @pd_pg_pn_s     ........ . s:1 ...... .. pg:4 . rn:4 . rd:4     &rpr_s
100
101 # Three operand with unused vector element size
102 @rd_rn_rm_e0    ........ ... rm:5 ... ... rn:5 rd:5             &rrr_esz esz=0
103
104 # Three predicate operand, with governing predicate, flag setting
105 @pd_pg_pn_pm_s  ........ . s:1 .. rm:4 .. pg:4 . rn:4 . rd:4    &rprr_s
106
107 # Three operand, vector element size
108 @rd_rn_rm       ........ esz:2 . rm:5 ... ... rn:5 rd:5         &rrr_esz
109 @pd_pn_pm       ........ esz:2 .. rm:4 ....... rn:4 . rd:4      &rrr_esz
110 @rdn_rm         ........ esz:2 ...... ...... rm:5 rd:5 \
111                 &rrr_esz rn=%reg_movprfx
112 @rdn_sh_i8u     ........ esz:2 ...... ...... ..... rd:5 \
113                 &rri_esz rn=%reg_movprfx imm=%sh8_i8u
114 @rdn_i8u        ........ esz:2 ...... ... imm:8 rd:5 \
115                 &rri_esz rn=%reg_movprfx
116 @rdn_i8s        ........ esz:2 ...... ... imm:s8 rd:5 \
117                 &rri_esz rn=%reg_movprfx
118
119 # Three operand with "memory" size, aka immediate left shift
120 @rd_rn_msz_rm   ........ ... rm:5 .... imm:2 rn:5 rd:5          &rrri
121
122 # Two register operand, with governing predicate, vector element size
123 @rdn_pg_rm      ........ esz:2 ... ... ... pg:3 rm:5 rd:5 \
124                 &rprr_esz rn=%reg_movprfx
125 @rdm_pg_rn      ........ esz:2 ... ... ... pg:3 rn:5 rd:5 \
126                 &rprr_esz rm=%reg_movprfx
127 @rd_pg4_rn_rm   ........ esz:2 . rm:5  .. pg:4  rn:5 rd:5       &rprr_esz
128 @pd_pg_rn_rm    ........ esz:2 . rm:5 ... pg:3 rn:5 . rd:4      &rprr_esz
129
130 # Three register operand, with governing predicate, vector element size
131 @rda_pg_rn_rm   ........ esz:2 . rm:5  ... pg:3 rn:5 rd:5 \
132                 &rprrr_esz ra=%reg_movprfx
133 @rdn_pg_ra_rm   ........ esz:2 . rm:5  ... pg:3 ra:5 rd:5 \
134                 &rprrr_esz rn=%reg_movprfx
135 @rdn_pg_rm_ra   ........ esz:2 . ra:5  ... pg:3 rm:5 rd:5 \
136                 &rprrr_esz rn=%reg_movprfx
137
138 # One register operand, with governing predicate, vector element size
139 @rd_pg_rn       ........ esz:2 ... ... ... pg:3 rn:5 rd:5       &rpr_esz
140 @rd_pg4_pn      ........ esz:2 ... ... .. pg:4 . rn:4 rd:5      &rpr_esz
141
142 # One register operand, with governing predicate, no vector element size
143 @rd_pg_rn_e0    ........ .. ... ... ... pg:3 rn:5 rd:5          &rpr_esz esz=0
144
145 # Two register operands with a 6-bit signed immediate.
146 @rd_rn_i6       ........ ... rn:5 ..... imm:s6 rd:5             &rri
147
148 # Two register operand, one immediate operand, with predicate,
149 # element size encoded as TSZHL.  User must fill in imm.
150 @rdn_pg_tszimm  ........ .. ... ... ... pg:3 ..... rd:5 \
151                 &rpri_esz rn=%reg_movprfx esz=%tszimm_esz
152
153 # Similarly without predicate.
154 @rd_rn_tszimm   ........ .. ... ... ...... rn:5 rd:5 \
155                 &rri_esz esz=%tszimm16_esz
156
157 # Two register operand, one immediate operand, with 4-bit predicate.
158 # User must fill in imm.
159 @rdn_pg4        ........ esz:2 .. pg:4 ... ........ rd:5 \
160                 &rpri_esz rn=%reg_movprfx
161
162 # Two register operand, one encoded bitmask.
163 @rdn_dbm        ........ .. .... dbm:13 rd:5 \
164                 &rr_dbm rn=%reg_movprfx
165
166 # Predicate output, vector and immediate input,
167 # controlling predicate, element size.
168 @pd_pg_rn_i7    ........ esz:2 . imm:7 . pg:3 rn:5 . rd:4       &rpri_esz
169 @pd_pg_rn_i5    ........ esz:2 . imm:s5 ... pg:3 rn:5 . rd:4    &rpri_esz
170
171 # Basic Load/Store with 9-bit immediate offset
172 @pd_rn_i9       ........ ........ ...... rn:5 . rd:4    \
173                 &rri imm=%imm9_16_10
174 @rd_rn_i9       ........ ........ ...... rn:5 rd:5      \
175                 &rri imm=%imm9_16_10
176
177 # One register, pattern, and uint4+1.
178 # User must fill in U and D.
179 @incdec_cnt     ........ esz:2 .. .... ...... pat:5 rd:5 \
180                 &incdec_cnt imm=%imm4_16_p1
181 @incdec2_cnt    ........ esz:2 .. .... ...... pat:5 rd:5 \
182                 &incdec2_cnt imm=%imm4_16_p1 rn=%reg_movprfx
183
184 # One register, predicate.
185 # User must fill in U and D.
186 @incdec_pred    ........ esz:2 .... .. ..... .. pg:4 rd:5       &incdec_pred
187 @incdec2_pred   ........ esz:2 .... .. ..... .. pg:4 rd:5 \
188                 &incdec2_pred rn=%reg_movprfx
189
190 # Loads; user must fill in NREG.
191 @rprr_load_dt   ....... dtype:4 rm:5 ... pg:3 rn:5 rd:5         &rprr_load
192 @rpri_load_dt   ....... dtype:4 . imm:s4 ... pg:3 rn:5 rd:5     &rpri_load
193
194 @rprr_load_msz  ....... .... rm:5 ... pg:3 rn:5 rd:5 \
195                 &rprr_load dtype=%msz_dtype
196 @rpri_load_msz  ....... .... . imm:s4 ... pg:3 rn:5 rd:5 \
197                 &rpri_load dtype=%msz_dtype
198
199 # Gather Loads.
200 @rprr_g_load_u        ....... .. .    . rm:5 . u:1 ff:1 pg:3 rn:5 rd:5 \
201                       &rprr_gather_load xs=2
202 @rprr_g_load_xs_u     ....... .. xs:1 . rm:5 . u:1 ff:1 pg:3 rn:5 rd:5 \
203                       &rprr_gather_load
204 @rprr_g_load_xs_u_sc  ....... .. xs:1 scale:1 rm:5 . u:1 ff:1 pg:3 rn:5 rd:5 \
205                       &rprr_gather_load
206 @rprr_g_load_xs_sc    ....... .. xs:1 scale:1 rm:5 . . ff:1 pg:3 rn:5 rd:5 \
207                       &rprr_gather_load
208 @rprr_g_load_u_sc     ....... .. .    scale:1 rm:5 . u:1 ff:1 pg:3 rn:5 rd:5 \
209                       &rprr_gather_load xs=2
210 @rprr_g_load_sc       ....... .. .    scale:1 rm:5 . . ff:1 pg:3 rn:5 rd:5 \
211                       &rprr_gather_load xs=2
212 @rpri_g_load          ....... msz:2 .. imm:5 . u:1 ff:1 pg:3 rn:5 rd:5 \
213                       &rpri_gather_load
214
215 # Stores; user must fill in ESZ, MSZ, NREG as needed.
216 @rprr_store         ....... ..    ..     rm:5 ... pg:3 rn:5 rd:5    &rprr_store
217 @rpri_store_msz     ....... msz:2 .. . imm:s4 ... pg:3 rn:5 rd:5    &rpri_store
218 @rprr_store_esz_n0  ....... ..    esz:2  rm:5 ... pg:3 rn:5 rd:5 \
219                     &rprr_store nreg=0
220 @rprr_scatter_store ....... msz:2 ..     rm:5 ... pg:3 rn:5 rd:5 \
221                     &rprr_scatter_store
222
223 ###########################################################################
224 # Instruction patterns.  Grouped according to the SVE encodingindex.xhtml.
225
226 ### SVE Integer Arithmetic - Binary Predicated Group
227
228 # SVE bitwise logical vector operations (predicated)
229 ORR_zpzz        00000100 .. 011 000 000 ... ..... .....   @rdn_pg_rm
230 EOR_zpzz        00000100 .. 011 001 000 ... ..... .....   @rdn_pg_rm
231 AND_zpzz        00000100 .. 011 010 000 ... ..... .....   @rdn_pg_rm
232 BIC_zpzz        00000100 .. 011 011 000 ... ..... .....   @rdn_pg_rm
233
234 # SVE integer add/subtract vectors (predicated)
235 ADD_zpzz        00000100 .. 000 000 000 ... ..... .....   @rdn_pg_rm
236 SUB_zpzz        00000100 .. 000 001 000 ... ..... .....   @rdn_pg_rm
237 SUB_zpzz        00000100 .. 000 011 000 ... ..... .....   @rdm_pg_rn # SUBR
238
239 # SVE integer min/max/difference (predicated)
240 SMAX_zpzz       00000100 .. 001 000 000 ... ..... .....   @rdn_pg_rm
241 UMAX_zpzz       00000100 .. 001 001 000 ... ..... .....   @rdn_pg_rm
242 SMIN_zpzz       00000100 .. 001 010 000 ... ..... .....   @rdn_pg_rm
243 UMIN_zpzz       00000100 .. 001 011 000 ... ..... .....   @rdn_pg_rm
244 SABD_zpzz       00000100 .. 001 100 000 ... ..... .....   @rdn_pg_rm
245 UABD_zpzz       00000100 .. 001 101 000 ... ..... .....   @rdn_pg_rm
246
247 # SVE integer multiply/divide (predicated)
248 MUL_zpzz        00000100 .. 010 000 000 ... ..... .....   @rdn_pg_rm
249 SMULH_zpzz      00000100 .. 010 010 000 ... ..... .....   @rdn_pg_rm
250 UMULH_zpzz      00000100 .. 010 011 000 ... ..... .....   @rdn_pg_rm
251 # Note that divide requires size >= 2; below 2 is unallocated.
252 SDIV_zpzz       00000100 .. 010 100 000 ... ..... .....   @rdn_pg_rm
253 UDIV_zpzz       00000100 .. 010 101 000 ... ..... .....   @rdn_pg_rm
254 SDIV_zpzz       00000100 .. 010 110 000 ... ..... .....   @rdm_pg_rn # SDIVR
255 UDIV_zpzz       00000100 .. 010 111 000 ... ..... .....   @rdm_pg_rn # UDIVR
256
257 ### SVE Integer Reduction Group
258
259 # SVE bitwise logical reduction (predicated)
260 ORV             00000100 .. 011 000 001 ... ..... .....         @rd_pg_rn
261 EORV            00000100 .. 011 001 001 ... ..... .....         @rd_pg_rn
262 ANDV            00000100 .. 011 010 001 ... ..... .....         @rd_pg_rn
263
264 # SVE integer add reduction (predicated)
265 # Note that saddv requires size != 3.
266 UADDV           00000100 .. 000 001 001 ... ..... .....         @rd_pg_rn
267 SADDV           00000100 .. 000 000 001 ... ..... .....         @rd_pg_rn
268
269 # SVE integer min/max reduction (predicated)
270 SMAXV           00000100 .. 001 000 001 ... ..... .....         @rd_pg_rn
271 UMAXV           00000100 .. 001 001 001 ... ..... .....         @rd_pg_rn
272 SMINV           00000100 .. 001 010 001 ... ..... .....         @rd_pg_rn
273 UMINV           00000100 .. 001 011 001 ... ..... .....         @rd_pg_rn
274
275 ### SVE Shift by Immediate - Predicated Group
276
277 # SVE bitwise shift by immediate (predicated)
278 ASR_zpzi        00000100 .. 000 000 100 ... .. ... ..... \
279                 @rdn_pg_tszimm imm=%tszimm_shr
280 LSR_zpzi        00000100 .. 000 001 100 ... .. ... ..... \
281                 @rdn_pg_tszimm imm=%tszimm_shr
282 LSL_zpzi        00000100 .. 000 011 100 ... .. ... ..... \
283                 @rdn_pg_tszimm imm=%tszimm_shl
284 ASRD            00000100 .. 000 100 100 ... .. ... ..... \
285                 @rdn_pg_tszimm imm=%tszimm_shr
286
287 # SVE bitwise shift by vector (predicated)
288 ASR_zpzz        00000100 .. 010 000 100 ... ..... .....   @rdn_pg_rm
289 LSR_zpzz        00000100 .. 010 001 100 ... ..... .....   @rdn_pg_rm
290 LSL_zpzz        00000100 .. 010 011 100 ... ..... .....   @rdn_pg_rm
291 ASR_zpzz        00000100 .. 010 100 100 ... ..... .....   @rdm_pg_rn # ASRR
292 LSR_zpzz        00000100 .. 010 101 100 ... ..... .....   @rdm_pg_rn # LSRR
293 LSL_zpzz        00000100 .. 010 111 100 ... ..... .....   @rdm_pg_rn # LSLR
294
295 # SVE bitwise shift by wide elements (predicated)
296 # Note these require size != 3.
297 ASR_zpzw        00000100 .. 011 000 100 ... ..... .....         @rdn_pg_rm
298 LSR_zpzw        00000100 .. 011 001 100 ... ..... .....         @rdn_pg_rm
299 LSL_zpzw        00000100 .. 011 011 100 ... ..... .....         @rdn_pg_rm
300
301 ### SVE Integer Arithmetic - Unary Predicated Group
302
303 # SVE unary bit operations (predicated)
304 # Note esz != 0 for FABS and FNEG.
305 CLS             00000100 .. 011 000 101 ... ..... .....         @rd_pg_rn
306 CLZ             00000100 .. 011 001 101 ... ..... .....         @rd_pg_rn
307 CNT_zpz         00000100 .. 011 010 101 ... ..... .....         @rd_pg_rn
308 CNOT            00000100 .. 011 011 101 ... ..... .....         @rd_pg_rn
309 NOT_zpz         00000100 .. 011 110 101 ... ..... .....         @rd_pg_rn
310 FABS            00000100 .. 011 100 101 ... ..... .....         @rd_pg_rn
311 FNEG            00000100 .. 011 101 101 ... ..... .....         @rd_pg_rn
312
313 # SVE integer unary operations (predicated)
314 # Note esz > original size for extensions.
315 ABS             00000100 .. 010 110 101 ... ..... .....         @rd_pg_rn
316 NEG             00000100 .. 010 111 101 ... ..... .....         @rd_pg_rn
317 SXTB            00000100 .. 010 000 101 ... ..... .....         @rd_pg_rn
318 UXTB            00000100 .. 010 001 101 ... ..... .....         @rd_pg_rn
319 SXTH            00000100 .. 010 010 101 ... ..... .....         @rd_pg_rn
320 UXTH            00000100 .. 010 011 101 ... ..... .....         @rd_pg_rn
321 SXTW            00000100 .. 010 100 101 ... ..... .....         @rd_pg_rn
322 UXTW            00000100 .. 010 101 101 ... ..... .....         @rd_pg_rn
323
324 ### SVE Integer Multiply-Add Group
325
326 # SVE integer multiply-add writing addend (predicated)
327 MLA             00000100 .. 0 ..... 010 ... ..... .....   @rda_pg_rn_rm
328 MLS             00000100 .. 0 ..... 011 ... ..... .....   @rda_pg_rn_rm
329
330 # SVE integer multiply-add writing multiplicand (predicated)
331 MLA             00000100 .. 0 ..... 110 ... ..... .....   @rdn_pg_ra_rm # MAD
332 MLS             00000100 .. 0 ..... 111 ... ..... .....   @rdn_pg_ra_rm # MSB
333
334 ### SVE Integer Arithmetic - Unpredicated Group
335
336 # SVE integer add/subtract vectors (unpredicated)
337 ADD_zzz         00000100 .. 1 ..... 000 000 ..... .....         @rd_rn_rm
338 SUB_zzz         00000100 .. 1 ..... 000 001 ..... .....         @rd_rn_rm
339 SQADD_zzz       00000100 .. 1 ..... 000 100 ..... .....         @rd_rn_rm
340 UQADD_zzz       00000100 .. 1 ..... 000 101 ..... .....         @rd_rn_rm
341 SQSUB_zzz       00000100 .. 1 ..... 000 110 ..... .....         @rd_rn_rm
342 UQSUB_zzz       00000100 .. 1 ..... 000 111 ..... .....         @rd_rn_rm
343
344 ### SVE Logical - Unpredicated Group
345
346 # SVE bitwise logical operations (unpredicated)
347 AND_zzz         00000100 00 1 ..... 001 100 ..... .....         @rd_rn_rm_e0
348 ORR_zzz         00000100 01 1 ..... 001 100 ..... .....         @rd_rn_rm_e0
349 EOR_zzz         00000100 10 1 ..... 001 100 ..... .....         @rd_rn_rm_e0
350 BIC_zzz         00000100 11 1 ..... 001 100 ..... .....         @rd_rn_rm_e0
351
352 ### SVE Index Generation Group
353
354 # SVE index generation (immediate start, immediate increment)
355 INDEX_ii        00000100 esz:2 1 imm2:s5 010000 imm1:s5 rd:5
356
357 # SVE index generation (immediate start, register increment)
358 INDEX_ir        00000100 esz:2 1 rm:5 010010 imm:s5 rd:5
359
360 # SVE index generation (register start, immediate increment)
361 INDEX_ri        00000100 esz:2 1 imm:s5 010001 rn:5 rd:5
362
363 # SVE index generation (register start, register increment)
364 INDEX_rr        00000100 .. 1 ..... 010011 ..... .....          @rd_rn_rm
365
366 ### SVE Stack Allocation Group
367
368 # SVE stack frame adjustment
369 ADDVL           00000100 001 ..... 01010 ...... .....           @rd_rn_i6
370 ADDPL           00000100 011 ..... 01010 ...... .....           @rd_rn_i6
371
372 # SVE stack frame size
373 RDVL            00000100 101 11111 01010 imm:s6 rd:5
374
375 ### SVE Bitwise Shift - Unpredicated Group
376
377 # SVE bitwise shift by immediate (unpredicated)
378 ASR_zzi         00000100 .. 1 ..... 1001 00 ..... ..... \
379                 @rd_rn_tszimm imm=%tszimm16_shr
380 LSR_zzi         00000100 .. 1 ..... 1001 01 ..... ..... \
381                 @rd_rn_tszimm imm=%tszimm16_shr
382 LSL_zzi         00000100 .. 1 ..... 1001 11 ..... ..... \
383                 @rd_rn_tszimm imm=%tszimm16_shl
384
385 # SVE bitwise shift by wide elements (unpredicated)
386 # Note esz != 3
387 ASR_zzw         00000100 .. 1 ..... 1000 00 ..... .....         @rd_rn_rm
388 LSR_zzw         00000100 .. 1 ..... 1000 01 ..... .....         @rd_rn_rm
389 LSL_zzw         00000100 .. 1 ..... 1000 11 ..... .....         @rd_rn_rm
390
391 ### SVE Compute Vector Address Group
392
393 # SVE vector address generation
394 ADR_s32         00000100 00 1 ..... 1010 .. ..... .....         @rd_rn_msz_rm
395 ADR_u32         00000100 01 1 ..... 1010 .. ..... .....         @rd_rn_msz_rm
396 ADR_p32         00000100 10 1 ..... 1010 .. ..... .....         @rd_rn_msz_rm
397 ADR_p64         00000100 11 1 ..... 1010 .. ..... .....         @rd_rn_msz_rm
398
399 ### SVE Integer Misc - Unpredicated Group
400
401 # SVE floating-point exponential accelerator
402 # Note esz != 0
403 FEXPA           00000100 .. 1 00000 101110 ..... .....          @rd_rn
404
405 # SVE floating-point trig select coefficient
406 # Note esz != 0
407 FTSSEL          00000100 .. 1 ..... 101100 ..... .....          @rd_rn_rm
408
409 ### SVE Element Count Group
410
411 # SVE element count
412 CNT_r           00000100 .. 10 .... 1110 0 0 ..... .....    @incdec_cnt d=0 u=1
413
414 # SVE inc/dec register by element count
415 INCDEC_r        00000100 .. 11 .... 1110 0 d:1 ..... .....      @incdec_cnt u=1
416
417 # SVE saturating inc/dec register by element count
418 SINCDEC_r_32    00000100 .. 10 .... 1111 d:1 u:1 ..... .....    @incdec_cnt
419 SINCDEC_r_64    00000100 .. 11 .... 1111 d:1 u:1 ..... .....    @incdec_cnt
420
421 # SVE inc/dec vector by element count
422 # Note this requires esz != 0.
423 INCDEC_v        00000100 .. 1 1 .... 1100 0 d:1 ..... .....    @incdec2_cnt u=1
424
425 # SVE saturating inc/dec vector by element count
426 # Note these require esz != 0.
427 SINCDEC_v       00000100 .. 1 0 .... 1100 d:1 u:1 ..... .....   @incdec2_cnt
428
429 ### SVE Bitwise Immediate Group
430
431 # SVE bitwise logical with immediate (unpredicated)
432 ORR_zzi         00000101 00 0000 ............. .....            @rdn_dbm
433 EOR_zzi         00000101 01 0000 ............. .....            @rdn_dbm
434 AND_zzi         00000101 10 0000 ............. .....            @rdn_dbm
435
436 # SVE broadcast bitmask immediate
437 DUPM            00000101 11 0000 dbm:13 rd:5
438
439 ### SVE Integer Wide Immediate - Predicated Group
440
441 # SVE copy floating-point immediate (predicated)
442 FCPY            00000101 .. 01 .... 110 imm:8 .....             @rdn_pg4
443
444 # SVE copy integer immediate (predicated)
445 CPY_m_i         00000101 .. 01 .... 01 . ........ .....   @rdn_pg4 imm=%sh8_i8s
446 CPY_z_i         00000101 .. 01 .... 00 . ........ .....   @rdn_pg4 imm=%sh8_i8s
447
448 ### SVE Permute - Extract Group
449
450 # SVE extract vector (immediate offset)
451 EXT             00000101 001 ..... 000 ... rm:5 rd:5 \
452                 &rrri rn=%reg_movprfx imm=%imm8_16_10
453
454 ### SVE Permute - Unpredicated Group
455
456 # SVE broadcast general register
457 DUP_s           00000101 .. 1 00000 001110 ..... .....          @rd_rn
458
459 # SVE broadcast indexed element
460 DUP_x           00000101 .. 1 ..... 001000 rn:5 rd:5 \
461                 &rri imm=%imm7_22_16
462
463 # SVE insert SIMD&FP scalar register
464 INSR_f          00000101 .. 1 10100 001110 ..... .....          @rdn_rm
465
466 # SVE insert general register
467 INSR_r          00000101 .. 1 00100 001110 ..... .....          @rdn_rm
468
469 # SVE reverse vector elements
470 REV_v           00000101 .. 1 11000 001110 ..... .....          @rd_rn
471
472 # SVE vector table lookup
473 TBL             00000101 .. 1 ..... 001100 ..... .....          @rd_rn_rm
474
475 # SVE unpack vector elements
476 UNPK            00000101 esz:2 1100 u:1 h:1 001110 rn:5 rd:5
477
478 ### SVE Permute - Predicates Group
479
480 # SVE permute predicate elements
481 ZIP1_p          00000101 .. 10 .... 010 000 0 .... 0 ....       @pd_pn_pm
482 ZIP2_p          00000101 .. 10 .... 010 001 0 .... 0 ....       @pd_pn_pm
483 UZP1_p          00000101 .. 10 .... 010 010 0 .... 0 ....       @pd_pn_pm
484 UZP2_p          00000101 .. 10 .... 010 011 0 .... 0 ....       @pd_pn_pm
485 TRN1_p          00000101 .. 10 .... 010 100 0 .... 0 ....       @pd_pn_pm
486 TRN2_p          00000101 .. 10 .... 010 101 0 .... 0 ....       @pd_pn_pm
487
488 # SVE reverse predicate elements
489 REV_p           00000101 .. 11 0100 010 000 0 .... 0 ....       @pd_pn
490
491 # SVE unpack predicate elements
492 PUNPKLO         00000101 00 11 0000 010 000 0 .... 0 ....       @pd_pn_e0
493 PUNPKHI         00000101 00 11 0001 010 000 0 .... 0 ....       @pd_pn_e0
494
495 ### SVE Permute - Interleaving Group
496
497 # SVE permute vector elements
498 ZIP1_z          00000101 .. 1 ..... 011 000 ..... .....         @rd_rn_rm
499 ZIP2_z          00000101 .. 1 ..... 011 001 ..... .....         @rd_rn_rm
500 UZP1_z          00000101 .. 1 ..... 011 010 ..... .....         @rd_rn_rm
501 UZP2_z          00000101 .. 1 ..... 011 011 ..... .....         @rd_rn_rm
502 TRN1_z          00000101 .. 1 ..... 011 100 ..... .....         @rd_rn_rm
503 TRN2_z          00000101 .. 1 ..... 011 101 ..... .....         @rd_rn_rm
504
505 ### SVE Permute - Predicated Group
506
507 # SVE compress active elements
508 # Note esz >= 2
509 COMPACT         00000101 .. 100001 100 ... ..... .....          @rd_pg_rn
510
511 # SVE conditionally broadcast element to vector
512 CLASTA_z        00000101 .. 10100 0 100 ... ..... .....         @rdn_pg_rm
513 CLASTB_z        00000101 .. 10100 1 100 ... ..... .....         @rdn_pg_rm
514
515 # SVE conditionally copy element to SIMD&FP scalar
516 CLASTA_v        00000101 .. 10101 0 100 ... ..... .....         @rd_pg_rn
517 CLASTB_v        00000101 .. 10101 1 100 ... ..... .....         @rd_pg_rn
518
519 # SVE conditionally copy element to general register
520 CLASTA_r        00000101 .. 11000 0 101 ... ..... .....         @rd_pg_rn
521 CLASTB_r        00000101 .. 11000 1 101 ... ..... .....         @rd_pg_rn
522
523 # SVE copy element to SIMD&FP scalar register
524 LASTA_v         00000101 .. 10001 0 100 ... ..... .....         @rd_pg_rn
525 LASTB_v         00000101 .. 10001 1 100 ... ..... .....         @rd_pg_rn
526
527 # SVE copy element to general register
528 LASTA_r         00000101 .. 10000 0 101 ... ..... .....         @rd_pg_rn
529 LASTB_r         00000101 .. 10000 1 101 ... ..... .....         @rd_pg_rn
530
531 # SVE copy element from SIMD&FP scalar register
532 CPY_m_v         00000101 .. 100000 100 ... ..... .....          @rd_pg_rn
533
534 # SVE copy element from general register to vector (predicated)
535 CPY_m_r         00000101 .. 101000 101 ... ..... .....          @rd_pg_rn
536
537 # SVE reverse within elements
538 # Note esz >= operation size
539 REVB            00000101 .. 1001 00 100 ... ..... .....         @rd_pg_rn
540 REVH            00000101 .. 1001 01 100 ... ..... .....         @rd_pg_rn
541 REVW            00000101 .. 1001 10 100 ... ..... .....         @rd_pg_rn
542 RBIT            00000101 .. 1001 11 100 ... ..... .....         @rd_pg_rn
543
544 # SVE vector splice (predicated)
545 SPLICE          00000101 .. 101 100 100 ... ..... .....         @rdn_pg_rm
546
547 ### SVE Select Vectors Group
548
549 # SVE select vector elements (predicated)
550 SEL_zpzz        00000101 .. 1 ..... 11 .... ..... .....         @rd_pg4_rn_rm
551
552 ### SVE Integer Compare - Vectors Group
553
554 # SVE integer compare_vectors
555 CMPHS_ppzz      00100100 .. 0 ..... 000 ... ..... 0 ....        @pd_pg_rn_rm
556 CMPHI_ppzz      00100100 .. 0 ..... 000 ... ..... 1 ....        @pd_pg_rn_rm
557 CMPGE_ppzz      00100100 .. 0 ..... 100 ... ..... 0 ....        @pd_pg_rn_rm
558 CMPGT_ppzz      00100100 .. 0 ..... 100 ... ..... 1 ....        @pd_pg_rn_rm
559 CMPEQ_ppzz      00100100 .. 0 ..... 101 ... ..... 0 ....        @pd_pg_rn_rm
560 CMPNE_ppzz      00100100 .. 0 ..... 101 ... ..... 1 ....        @pd_pg_rn_rm
561
562 # SVE integer compare with wide elements
563 # Note these require esz != 3.
564 CMPEQ_ppzw      00100100 .. 0 ..... 001 ... ..... 0 ....        @pd_pg_rn_rm
565 CMPNE_ppzw      00100100 .. 0 ..... 001 ... ..... 1 ....        @pd_pg_rn_rm
566 CMPGE_ppzw      00100100 .. 0 ..... 010 ... ..... 0 ....        @pd_pg_rn_rm
567 CMPGT_ppzw      00100100 .. 0 ..... 010 ... ..... 1 ....        @pd_pg_rn_rm
568 CMPLT_ppzw      00100100 .. 0 ..... 011 ... ..... 0 ....        @pd_pg_rn_rm
569 CMPLE_ppzw      00100100 .. 0 ..... 011 ... ..... 1 ....        @pd_pg_rn_rm
570 CMPHS_ppzw      00100100 .. 0 ..... 110 ... ..... 0 ....        @pd_pg_rn_rm
571 CMPHI_ppzw      00100100 .. 0 ..... 110 ... ..... 1 ....        @pd_pg_rn_rm
572 CMPLO_ppzw      00100100 .. 0 ..... 111 ... ..... 0 ....        @pd_pg_rn_rm
573 CMPLS_ppzw      00100100 .. 0 ..... 111 ... ..... 1 ....        @pd_pg_rn_rm
574
575 ### SVE Integer Compare - Unsigned Immediate Group
576
577 # SVE integer compare with unsigned immediate
578 CMPHS_ppzi      00100100 .. 1 ....... 0 ... ..... 0 ....      @pd_pg_rn_i7
579 CMPHI_ppzi      00100100 .. 1 ....... 0 ... ..... 1 ....      @pd_pg_rn_i7
580 CMPLO_ppzi      00100100 .. 1 ....... 1 ... ..... 0 ....      @pd_pg_rn_i7
581 CMPLS_ppzi      00100100 .. 1 ....... 1 ... ..... 1 ....      @pd_pg_rn_i7
582
583 ### SVE Integer Compare - Signed Immediate Group
584
585 # SVE integer compare with signed immediate
586 CMPGE_ppzi      00100101 .. 0 ..... 000 ... ..... 0 ....      @pd_pg_rn_i5
587 CMPGT_ppzi      00100101 .. 0 ..... 000 ... ..... 1 ....      @pd_pg_rn_i5
588 CMPLT_ppzi      00100101 .. 0 ..... 001 ... ..... 0 ....      @pd_pg_rn_i5
589 CMPLE_ppzi      00100101 .. 0 ..... 001 ... ..... 1 ....      @pd_pg_rn_i5
590 CMPEQ_ppzi      00100101 .. 0 ..... 100 ... ..... 0 ....      @pd_pg_rn_i5
591 CMPNE_ppzi      00100101 .. 0 ..... 100 ... ..... 1 ....      @pd_pg_rn_i5
592
593 ### SVE Predicate Logical Operations Group
594
595 # SVE predicate logical operations
596 AND_pppp        00100101 0. 00 .... 01 .... 0 .... 0 ....       @pd_pg_pn_pm_s
597 BIC_pppp        00100101 0. 00 .... 01 .... 0 .... 1 ....       @pd_pg_pn_pm_s
598 EOR_pppp        00100101 0. 00 .... 01 .... 1 .... 0 ....       @pd_pg_pn_pm_s
599 SEL_pppp        00100101 0. 00 .... 01 .... 1 .... 1 ....       @pd_pg_pn_pm_s
600 ORR_pppp        00100101 1. 00 .... 01 .... 0 .... 0 ....       @pd_pg_pn_pm_s
601 ORN_pppp        00100101 1. 00 .... 01 .... 0 .... 1 ....       @pd_pg_pn_pm_s
602 NOR_pppp        00100101 1. 00 .... 01 .... 1 .... 0 ....       @pd_pg_pn_pm_s
603 NAND_pppp       00100101 1. 00 .... 01 .... 1 .... 1 ....       @pd_pg_pn_pm_s
604
605 ### SVE Predicate Misc Group
606
607 # SVE predicate test
608 PTEST           00100101 01 010000 11 pg:4 0 rn:4 0 0000
609
610 # SVE predicate initialize
611 PTRUE           00100101 esz:2 01100 s:1 111000 pat:5 0 rd:4
612
613 # SVE initialize FFR
614 SETFFR          00100101 0010 1100 1001 0000 0000 0000
615
616 # SVE zero predicate register
617 PFALSE          00100101 0001 1000 1110 0100 0000 rd:4
618
619 # SVE predicate read from FFR (predicated)
620 RDFFR_p         00100101 0 s:1 0110001111000 pg:4 0 rd:4
621
622 # SVE predicate read from FFR (unpredicated)
623 RDFFR           00100101 0001 1001 1111 0000 0000 rd:4
624
625 # SVE FFR write from predicate (WRFFR)
626 WRFFR           00100101 0010 1000 1001 000 rn:4 00000
627
628 # SVE predicate first active
629 PFIRST          00100101 01 011 000 11000 00 .... 0 ....        @pd_pn_e0
630
631 # SVE predicate next active
632 PNEXT           00100101 .. 011 001 11000 10 .... 0 ....        @pd_pn
633
634 ### SVE Partition Break Group
635
636 # SVE propagate break from previous partition
637 BRKPA           00100101 0. 00 .... 11 .... 0 .... 0 ....       @pd_pg_pn_pm_s
638 BRKPB           00100101 0. 00 .... 11 .... 0 .... 1 ....       @pd_pg_pn_pm_s
639
640 # SVE partition break condition
641 BRKA_z          00100101 0. 01000001 .... 0 .... 0 ....         @pd_pg_pn_s
642 BRKB_z          00100101 1. 01000001 .... 0 .... 0 ....         @pd_pg_pn_s
643 BRKA_m          00100101 0. 01000001 .... 0 .... 1 ....         @pd_pg_pn_s
644 BRKB_m          00100101 1. 01000001 .... 0 .... 1 ....         @pd_pg_pn_s
645
646 # SVE propagate break to next partition
647 BRKN            00100101 0. 01100001 .... 0 .... 0 ....         @pd_pg_pn_s
648
649 ### SVE Predicate Count Group
650
651 # SVE predicate count
652 CNTP            00100101 .. 100 000 10 .... 0 .... .....        @rd_pg4_pn
653
654 # SVE inc/dec register by predicate count
655 INCDECP_r       00100101 .. 10110 d:1 10001 00 .... .....     @incdec_pred u=1
656
657 # SVE inc/dec vector by predicate count
658 INCDECP_z       00100101 .. 10110 d:1 10000 00 .... .....    @incdec2_pred u=1
659
660 # SVE saturating inc/dec register by predicate count
661 SINCDECP_r_32   00100101 .. 1010 d:1 u:1 10001 00 .... .....    @incdec_pred
662 SINCDECP_r_64   00100101 .. 1010 d:1 u:1 10001 10 .... .....    @incdec_pred
663
664 # SVE saturating inc/dec vector by predicate count
665 SINCDECP_z      00100101 .. 1010 d:1 u:1 10000 00 .... .....    @incdec2_pred
666
667 ### SVE Integer Compare - Scalars Group
668
669 # SVE conditionally terminate scalars
670 CTERM           00100101 1 sf:1 1 rm:5 001000 rn:5 ne:1 0000
671
672 # SVE integer compare scalar count and limit
673 WHILE           00100101 esz:2 1 rm:5 000 sf:1 u:1 1 rn:5 eq:1 rd:4
674
675 ### SVE Integer Wide Immediate - Unpredicated Group
676
677 # SVE broadcast floating-point immediate (unpredicated)
678 FDUP            00100101 esz:2 111 00 1110 imm:8 rd:5
679
680 # SVE broadcast integer immediate (unpredicated)
681 DUP_i           00100101 esz:2 111 00 011 . ........ rd:5       imm=%sh8_i8s
682
683 # SVE integer add/subtract immediate (unpredicated)
684 ADD_zzi         00100101 .. 100 000 11 . ........ .....         @rdn_sh_i8u
685 SUB_zzi         00100101 .. 100 001 11 . ........ .....         @rdn_sh_i8u
686 SUBR_zzi        00100101 .. 100 011 11 . ........ .....         @rdn_sh_i8u
687 SQADD_zzi       00100101 .. 100 100 11 . ........ .....         @rdn_sh_i8u
688 UQADD_zzi       00100101 .. 100 101 11 . ........ .....         @rdn_sh_i8u
689 SQSUB_zzi       00100101 .. 100 110 11 . ........ .....         @rdn_sh_i8u
690 UQSUB_zzi       00100101 .. 100 111 11 . ........ .....         @rdn_sh_i8u
691
692 # SVE integer min/max immediate (unpredicated)
693 SMAX_zzi        00100101 .. 101 000 110 ........ .....          @rdn_i8s
694 UMAX_zzi        00100101 .. 101 001 110 ........ .....          @rdn_i8u
695 SMIN_zzi        00100101 .. 101 010 110 ........ .....          @rdn_i8s
696 UMIN_zzi        00100101 .. 101 011 110 ........ .....          @rdn_i8u
697
698 # SVE integer multiply immediate (unpredicated)
699 MUL_zzi         00100101 .. 110 000 110 ........ .....          @rdn_i8s
700
701 ### SVE FP Accumulating Reduction Group
702
703 # SVE floating-point serial reduction (predicated)
704 FADDA           01100101 .. 011 000 001 ... ..... .....         @rdn_pg_rm
705
706 ### SVE Floating Point Arithmetic - Unpredicated Group
707
708 # SVE floating-point arithmetic (unpredicated)
709 FADD_zzz        01100101 .. 0 ..... 000 000 ..... .....         @rd_rn_rm
710 FSUB_zzz        01100101 .. 0 ..... 000 001 ..... .....         @rd_rn_rm
711 FMUL_zzz        01100101 .. 0 ..... 000 010 ..... .....         @rd_rn_rm
712 FTSMUL          01100101 .. 0 ..... 000 011 ..... .....         @rd_rn_rm
713 FRECPS          01100101 .. 0 ..... 000 110 ..... .....         @rd_rn_rm
714 FRSQRTS         01100101 .. 0 ..... 000 111 ..... .....         @rd_rn_rm
715
716 ### SVE FP Arithmetic Predicated Group
717
718 # SVE floating-point arithmetic (predicated)
719 FADD_zpzz       01100101 .. 00 0000 100 ... ..... .....    @rdn_pg_rm
720 FSUB_zpzz       01100101 .. 00 0001 100 ... ..... .....    @rdn_pg_rm
721 FMUL_zpzz       01100101 .. 00 0010 100 ... ..... .....    @rdn_pg_rm
722 FSUB_zpzz       01100101 .. 00 0011 100 ... ..... .....    @rdm_pg_rn # FSUBR
723 FMAXNM_zpzz     01100101 .. 00 0100 100 ... ..... .....    @rdn_pg_rm
724 FMINNM_zpzz     01100101 .. 00 0101 100 ... ..... .....    @rdn_pg_rm
725 FMAX_zpzz       01100101 .. 00 0110 100 ... ..... .....    @rdn_pg_rm
726 FMIN_zpzz       01100101 .. 00 0111 100 ... ..... .....    @rdn_pg_rm
727 FABD            01100101 .. 00 1000 100 ... ..... .....    @rdn_pg_rm
728 FSCALE          01100101 .. 00 1001 100 ... ..... .....    @rdn_pg_rm
729 FMULX           01100101 .. 00 1010 100 ... ..... .....    @rdn_pg_rm
730 FDIV            01100101 .. 00 1100 100 ... ..... .....    @rdm_pg_rn # FDIVR
731 FDIV            01100101 .. 00 1101 100 ... ..... .....    @rdn_pg_rm
732
733 ### SVE FP Multiply-Add Group
734
735 # SVE floating-point multiply-accumulate writing addend
736 FMLA_zpzzz      01100101 .. 1 ..... 000 ... ..... .....         @rda_pg_rn_rm
737 FMLS_zpzzz      01100101 .. 1 ..... 001 ... ..... .....         @rda_pg_rn_rm
738 FNMLA_zpzzz     01100101 .. 1 ..... 010 ... ..... .....         @rda_pg_rn_rm
739 FNMLS_zpzzz     01100101 .. 1 ..... 011 ... ..... .....         @rda_pg_rn_rm
740
741 # SVE floating-point multiply-accumulate writing multiplicand
742 # Alter the operand extraction order and reuse the helpers from above.
743 # FMAD, FMSB, FNMAD, FNMS
744 FMLA_zpzzz      01100101 .. 1 ..... 100 ... ..... .....         @rdn_pg_rm_ra
745 FMLS_zpzzz      01100101 .. 1 ..... 101 ... ..... .....         @rdn_pg_rm_ra
746 FNMLA_zpzzz     01100101 .. 1 ..... 110 ... ..... .....         @rdn_pg_rm_ra
747 FNMLS_zpzzz     01100101 .. 1 ..... 111 ... ..... .....         @rdn_pg_rm_ra
748
749 ### SVE FP Unary Operations Predicated Group
750
751 # SVE integer convert to floating-point
752 SCVTF_hh        01100101 01 010 01 0 101 ... ..... .....        @rd_pg_rn_e0
753 SCVTF_sh        01100101 01 010 10 0 101 ... ..... .....        @rd_pg_rn_e0
754 SCVTF_dh        01100101 01 010 11 0 101 ... ..... .....        @rd_pg_rn_e0
755 SCVTF_ss        01100101 10 010 10 0 101 ... ..... .....        @rd_pg_rn_e0
756 SCVTF_sd        01100101 11 010 00 0 101 ... ..... .....        @rd_pg_rn_e0
757 SCVTF_ds        01100101 11 010 10 0 101 ... ..... .....        @rd_pg_rn_e0
758 SCVTF_dd        01100101 11 010 11 0 101 ... ..... .....        @rd_pg_rn_e0
759
760 UCVTF_hh        01100101 01 010 01 1 101 ... ..... .....        @rd_pg_rn_e0
761 UCVTF_sh        01100101 01 010 10 1 101 ... ..... .....        @rd_pg_rn_e0
762 UCVTF_dh        01100101 01 010 11 1 101 ... ..... .....        @rd_pg_rn_e0
763 UCVTF_ss        01100101 10 010 10 1 101 ... ..... .....        @rd_pg_rn_e0
764 UCVTF_sd        01100101 11 010 00 1 101 ... ..... .....        @rd_pg_rn_e0
765 UCVTF_ds        01100101 11 010 10 1 101 ... ..... .....        @rd_pg_rn_e0
766 UCVTF_dd        01100101 11 010 11 1 101 ... ..... .....        @rd_pg_rn_e0
767
768 ### SVE Memory - 32-bit Gather and Unsized Contiguous Group
769
770 # SVE load predicate register
771 LDR_pri         10000101 10 ...... 000 ... ..... 0 ....         @pd_rn_i9
772
773 # SVE load vector register
774 LDR_zri         10000101 10 ...... 010 ... ..... .....          @rd_rn_i9
775
776 # SVE load and broadcast element
777 LD1R_zpri       1000010 .. 1 imm:6 1.. pg:3 rn:5 rd:5 \
778                 &rpri_load dtype=%dtype_23_13 nreg=0
779
780 # SVE 32-bit gather load (scalar plus 32-bit unscaled offsets)
781 # SVE 32-bit gather load (scalar plus 32-bit scaled offsets)
782 LD1_zprz        1000010 00 .0 ..... 0.. ... ..... ..... \
783                 @rprr_g_load_xs_u esz=2 msz=0 scale=0
784 LD1_zprz        1000010 01 .. ..... 0.. ... ..... ..... \
785                 @rprr_g_load_xs_u_sc esz=2 msz=1
786 LD1_zprz        1000010 10 .. ..... 01. ... ..... ..... \
787                 @rprr_g_load_xs_sc esz=2 msz=2 u=1
788
789 # SVE 32-bit gather load (vector plus immediate)
790 LD1_zpiz        1000010 .. 01 ..... 1.. ... ..... ..... \
791                 @rpri_g_load esz=2
792
793 ### SVE Memory Contiguous Load Group
794
795 # SVE contiguous load (scalar plus scalar)
796 LD_zprr         1010010 .... ..... 010 ... ..... .....    @rprr_load_dt nreg=0
797
798 # SVE contiguous first-fault load (scalar plus scalar)
799 LDFF1_zprr      1010010 .... ..... 011 ... ..... .....    @rprr_load_dt nreg=0
800
801 # SVE contiguous load (scalar plus immediate)
802 LD_zpri         1010010 .... 0.... 101 ... ..... .....    @rpri_load_dt nreg=0
803
804 # SVE contiguous non-fault load (scalar plus immediate)
805 LDNF1_zpri      1010010 .... 1.... 101 ... ..... .....    @rpri_load_dt nreg=0
806
807 # SVE contiguous non-temporal load (scalar plus scalar)
808 # LDNT1B, LDNT1H, LDNT1W, LDNT1D
809 # SVE load multiple structures (scalar plus scalar)
810 # LD2B, LD2H, LD2W, LD2D; etc.
811 LD_zprr         1010010 .. nreg:2 ..... 110 ... ..... .....     @rprr_load_msz
812
813 # SVE contiguous non-temporal load (scalar plus immediate)
814 # LDNT1B, LDNT1H, LDNT1W, LDNT1D
815 # SVE load multiple structures (scalar plus immediate)
816 # LD2B, LD2H, LD2W, LD2D; etc.
817 LD_zpri         1010010 .. nreg:2 0.... 111 ... ..... .....     @rpri_load_msz
818
819 # SVE load and broadcast quadword (scalar plus scalar)
820 LD1RQ_zprr      1010010 .. 00 ..... 000 ... ..... ..... \
821                 @rprr_load_msz nreg=0
822
823 # SVE load and broadcast quadword (scalar plus immediate)
824 # LD1RQB, LD1RQH, LD1RQS, LD1RQD
825 LD1RQ_zpri      1010010 .. 00 0.... 001 ... ..... ..... \
826                 @rpri_load_msz nreg=0
827
828 # SVE 32-bit gather prefetch (scalar plus 32-bit scaled offsets)
829 PRF             1000010 00 -1 ----- 0-- --- ----- 0 ----
830
831 # SVE 32-bit gather prefetch (vector plus immediate)
832 PRF             1000010 -- 00 ----- 111 --- ----- 0 ----
833
834 # SVE contiguous prefetch (scalar plus immediate)
835 PRF             1000010 11 1- ----- 0-- --- ----- 0 ----
836
837 # SVE contiguous prefetch (scalar plus scalar)
838 PRF_rr          1000010 -- 00 rm:5 110 --- ----- 0 ----
839
840 ### SVE Memory 64-bit Gather Group
841
842 # SVE 64-bit gather load (scalar plus 32-bit unpacked unscaled offsets)
843 # SVE 64-bit gather load (scalar plus 32-bit unpacked scaled offsets)
844 LD1_zprz        1100010 00 .0 ..... 0.. ... ..... ..... \
845                 @rprr_g_load_xs_u esz=3 msz=0 scale=0
846 LD1_zprz        1100010 01 .. ..... 0.. ... ..... ..... \
847                 @rprr_g_load_xs_u_sc esz=3 msz=1
848 LD1_zprz        1100010 10 .. ..... 0.. ... ..... ..... \
849                 @rprr_g_load_xs_u_sc esz=3 msz=2
850 LD1_zprz        1100010 11 .. ..... 01. ... ..... ..... \
851                 @rprr_g_load_xs_sc esz=3 msz=3 u=1
852
853 # SVE 64-bit gather load (scalar plus 64-bit unscaled offsets)
854 # SVE 64-bit gather load (scalar plus 64-bit scaled offsets)
855 LD1_zprz        1100010 00 10 ..... 1.. ... ..... ..... \
856                 @rprr_g_load_u esz=3 msz=0 scale=0
857 LD1_zprz        1100010 01 1. ..... 1.. ... ..... ..... \
858                 @rprr_g_load_u_sc esz=3 msz=1
859 LD1_zprz        1100010 10 1. ..... 1.. ... ..... ..... \
860                 @rprr_g_load_u_sc esz=3 msz=2
861 LD1_zprz        1100010 11 1. ..... 11. ... ..... ..... \
862                 @rprr_g_load_sc esz=3 msz=3 u=1
863
864 # SVE 64-bit gather load (vector plus immediate)
865 LD1_zpiz        1100010 .. 01 ..... 1.. ... ..... ..... \
866                 @rpri_g_load esz=3
867
868 # SVE 64-bit gather prefetch (scalar plus 64-bit scaled offsets)
869 PRF             1100010 00 11 ----- 1-- --- ----- 0 ----
870
871 # SVE 64-bit gather prefetch (scalar plus unpacked 32-bit scaled offsets)
872 PRF             1100010 00 -1 ----- 0-- --- ----- 0 ----
873
874 # SVE 64-bit gather prefetch (vector plus immediate)
875 PRF             1100010 -- 00 ----- 111 --- ----- 0 ----
876
877 ### SVE Memory Store Group
878
879 # SVE store predicate register
880 STR_pri         1110010 11 0.     ..... 000 ... ..... 0 ....    @pd_rn_i9
881
882 # SVE store vector register
883 STR_zri         1110010 11 0.     ..... 010 ... ..... .....     @rd_rn_i9
884
885 # SVE contiguous store (scalar plus immediate)
886 # ST1B, ST1H, ST1W, ST1D; require msz <= esz
887 ST_zpri         1110010 .. esz:2  0.... 111 ... ..... ..... \
888                 @rpri_store_msz nreg=0
889
890 # SVE contiguous store (scalar plus scalar)
891 # ST1B, ST1H, ST1W, ST1D; require msz <= esz
892 # Enumerate msz lest we conflict with STR_zri.
893 ST_zprr         1110010 00 ..     ..... 010 ... ..... ..... \
894                 @rprr_store_esz_n0 msz=0
895 ST_zprr         1110010 01 ..     ..... 010 ... ..... ..... \
896                 @rprr_store_esz_n0 msz=1
897 ST_zprr         1110010 10 ..     ..... 010 ... ..... ..... \
898                 @rprr_store_esz_n0 msz=2
899 ST_zprr         1110010 11 11     ..... 010 ... ..... ..... \
900                 @rprr_store msz=3 esz=3 nreg=0
901
902 # SVE contiguous non-temporal store (scalar plus immediate)  (nreg == 0)
903 # SVE store multiple structures (scalar plus immediate)      (nreg != 0)
904 ST_zpri         1110010 .. nreg:2 1.... 111 ... ..... ..... \
905                 @rpri_store_msz esz=%size_23
906
907 # SVE contiguous non-temporal store (scalar plus scalar)     (nreg == 0)
908 # SVE store multiple structures (scalar plus scalar)         (nreg != 0)
909 ST_zprr         1110010 msz:2 nreg:2 ..... 011 ... ..... ..... \
910                 @rprr_store esz=%size_23
911
912 # SVE 32-bit scatter store (scalar plus 32-bit scaled offsets)
913 # Require msz > 0 && msz <= esz.
914 ST1_zprz        1110010 .. 11 ..... 100 ... ..... ..... \
915                 @rprr_scatter_store xs=0 esz=2 scale=1
916 ST1_zprz        1110010 .. 11 ..... 110 ... ..... ..... \
917                 @rprr_scatter_store xs=1 esz=2 scale=1
918
919 # SVE 32-bit scatter store (scalar plus 32-bit unscaled offsets)
920 # Require msz <= esz.
921 ST1_zprz        1110010 .. 10 ..... 100 ... ..... ..... \
922                 @rprr_scatter_store xs=0 esz=2 scale=0
923 ST1_zprz        1110010 .. 10 ..... 110 ... ..... ..... \
924                 @rprr_scatter_store xs=1 esz=2 scale=0
925
926 # SVE 64-bit scatter store (scalar plus 64-bit scaled offset)
927 # Require msz > 0
928 ST1_zprz        1110010 .. 01 ..... 101 ... ..... ..... \
929                 @rprr_scatter_store xs=2 esz=3 scale=1
930
931 # SVE 64-bit scatter store (scalar plus 64-bit unscaled offset)
932 ST1_zprz        1110010 .. 00 ..... 101 ... ..... ..... \
933                 @rprr_scatter_store xs=2 esz=3 scale=0
934
935 # SVE 64-bit scatter store (scalar plus unpacked 32-bit scaled offset)
936 # Require msz > 0
937 ST1_zprz        1110010 .. 01 ..... 100 ... ..... ..... \
938                 @rprr_scatter_store xs=0 esz=3 scale=1
939 ST1_zprz        1110010 .. 01 ..... 110 ... ..... ..... \
940                 @rprr_scatter_store xs=1 esz=3 scale=1
941
942 # SVE 64-bit scatter store (scalar plus unpacked 32-bit unscaled offset)
943 ST1_zprz        1110010 .. 00 ..... 100 ... ..... ..... \
944                 @rprr_scatter_store xs=0 esz=3 scale=0
945 ST1_zprz        1110010 .. 00 ..... 110 ... ..... ..... \
946                 @rprr_scatter_store xs=1 esz=3 scale=0