include/rdma/ib_sa.h

   1 /*
   2  * Copyright (c) 2004 Topspin Communications.  All rights reserved.
   3  * Copyright (c) 2005 Voltaire, Inc.  All rights reserved.
   4  * Copyright (c) 2006 Intel Corporation.  All rights reserved.
   5  *
   6  * This software is available to you under a choice of one of two
   7  * licenses.  You may choose to be licensed under the terms of the GNU
   8  * General Public License (GPL) Version 2, available from the file
   9  * COPYING in the main directory of this source tree, or the
  10  * OpenIB.org BSD license below:
  11  *
  12  *     Redistribution and use in source and binary forms, with or
  13  *     without modification, are permitted provided that the following
  14  *     conditions are met:
  15  *
  16  *      - Redistributions of source code must retain the above
  17  *        copyright notice, this list of conditions and the following
  18  *        disclaimer.
  19  *
  20  *      - Redistributions in binary form must reproduce the above
  21  *        copyright notice, this list of conditions and the following
  22  *        disclaimer in the documentation and/or other materials
  23  *        provided with the distribution.
  24  *
  25  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  26  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  27  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  28  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
  29  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
  30  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
  31  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  32  * SOFTWARE.
  33  */
  34
  35 #ifndef IB_SA_H
  36 #define IB_SA_H
  37
  38 #include <linux/completion.h>
  39 #include <linux/compiler.h>
  40
  41 #include <linux/atomic.h>
  42 #include <linux/netdevice.h>
  43
  44 #include <rdma/ib_verbs.h>
  45 #include <rdma/ib_mad.h>
  46
  47 enum {
  48         IB_SA_CLASS_VERSION             = 2,    /* IB spec version 1.1/1.2 */
  49
  50         IB_SA_METHOD_GET_TABLE          = 0x12,
  51         IB_SA_METHOD_GET_TABLE_RESP     = 0x92,
  52         IB_SA_METHOD_DELETE             = 0x15,
  53         IB_SA_METHOD_DELETE_RESP        = 0x95,
  54         IB_SA_METHOD_GET_MULTI          = 0x14,
  55         IB_SA_METHOD_GET_MULTI_RESP     = 0x94,
  56         IB_SA_METHOD_GET_TRACE_TBL      = 0x13
  57 };
  58
  59 enum {
  60         IB_SA_ATTR_CLASS_PORTINFO    = 0x01,
  61         IB_SA_ATTR_NOTICE            = 0x02,
  62         IB_SA_ATTR_INFORM_INFO       = 0x03,
  63         IB_SA_ATTR_NODE_REC          = 0x11,
  64         IB_SA_ATTR_PORT_INFO_REC     = 0x12,
  65         IB_SA_ATTR_SL2VL_REC         = 0x13,
  66         IB_SA_ATTR_SWITCH_REC        = 0x14,
  67         IB_SA_ATTR_LINEAR_FDB_REC    = 0x15,
  68         IB_SA_ATTR_RANDOM_FDB_REC    = 0x16,
  69         IB_SA_ATTR_MCAST_FDB_REC     = 0x17,
  70         IB_SA_ATTR_SM_INFO_REC       = 0x18,
  71         IB_SA_ATTR_LINK_REC          = 0x20,
  72         IB_SA_ATTR_GUID_INFO_REC     = 0x30,
  73         IB_SA_ATTR_SERVICE_REC       = 0x31,
  74         IB_SA_ATTR_PARTITION_REC     = 0x33,
  75         IB_SA_ATTR_PATH_REC          = 0x35,
  76         IB_SA_ATTR_VL_ARB_REC        = 0x36,
  77         IB_SA_ATTR_MC_MEMBER_REC     = 0x38,
  78         IB_SA_ATTR_TRACE_REC         = 0x39,
  79         IB_SA_ATTR_MULTI_PATH_REC    = 0x3a,
  80         IB_SA_ATTR_SERVICE_ASSOC_REC = 0x3b,
  81         IB_SA_ATTR_INFORM_INFO_REC   = 0xf3
  82 };
  83
  84 enum ib_sa_selector {
  85         IB_SA_GT   = 0,
  86         IB_SA_LT   = 1,
  87         IB_SA_EQ   = 2,
  88         /*
  89          * The meaning of "best" depends on the attribute: for
  90          * example, for MTU best will return the largest available
  91          * MTU, while for packet life time, best will return the
  92          * smallest available life time.
  93          */
  94         IB_SA_BEST = 3
  95 };
  96
  97 /*
  98  * Structures for SA records are named "struct ib_sa_xxx_rec."  No
  99  * attempt is made to pack structures to match the physical layout of
 100  * SA records in SA MADs; all packing and unpacking is handled by the
 101  * SA query code.
 102  *
 103  * For a record with structure ib_sa_xxx_rec, the naming convention
 104  * for the component mask value for field yyy is IB_SA_XXX_REC_YYY (we
 105  * never use different abbreviations or otherwise change the spelling
 106  * of xxx/yyy between ib_sa_xxx_rec.yyy and IB_SA_XXX_REC_YYY).
 107  *
 108  * Reserved rows are indicated with comments to help maintainability.
 109  */
 110
 111 #define IB_SA_PATH_REC_SERVICE_ID                      (IB_SA_COMP_MASK( 0) |\
 112                                                         IB_SA_COMP_MASK( 1))
 113 #define IB_SA_PATH_REC_DGID                             IB_SA_COMP_MASK( 2)
 114 #define IB_SA_PATH_REC_SGID                             IB_SA_COMP_MASK( 3)
 115 #define IB_SA_PATH_REC_DLID                             IB_SA_COMP_MASK( 4)
 116 #define IB_SA_PATH_REC_SLID                             IB_SA_COMP_MASK( 5)
 117 #define IB_SA_PATH_REC_RAW_TRAFFIC                      IB_SA_COMP_MASK( 6)
 118 /* reserved:                                                             7 */
 119 #define IB_SA_PATH_REC_FLOW_LABEL                       IB_SA_COMP_MASK( 8)
 120 #define IB_SA_PATH_REC_HOP_LIMIT                        IB_SA_COMP_MASK( 9)
 121 #define IB_SA_PATH_REC_TRAFFIC_CLASS                    IB_SA_COMP_MASK(10)
 122 #define IB_SA_PATH_REC_REVERSIBLE                       IB_SA_COMP_MASK(11)
 123 #define IB_SA_PATH_REC_NUMB_PATH                        IB_SA_COMP_MASK(12)
 124 #define IB_SA_PATH_REC_PKEY                             IB_SA_COMP_MASK(13)
 125 #define IB_SA_PATH_REC_QOS_CLASS                        IB_SA_COMP_MASK(14)
 126 #define IB_SA_PATH_REC_SL                               IB_SA_COMP_MASK(15)
 127 #define IB_SA_PATH_REC_MTU_SELECTOR                     IB_SA_COMP_MASK(16)
 128 #define IB_SA_PATH_REC_MTU                              IB_SA_COMP_MASK(17)
 129 #define IB_SA_PATH_REC_RATE_SELECTOR                    IB_SA_COMP_MASK(18)
 130 #define IB_SA_PATH_REC_RATE                             IB_SA_COMP_MASK(19)
 131 #define IB_SA_PATH_REC_PACKET_LIFE_TIME_SELECTOR        IB_SA_COMP_MASK(20)
 132 #define IB_SA_PATH_REC_PACKET_LIFE_TIME                 IB_SA_COMP_MASK(21)
 133 #define IB_SA_PATH_REC_PREFERENCE                       IB_SA_COMP_MASK(22)
 134
 135 struct ib_sa_path_rec {
 136         __be64       service_id;
 137         union ib_gid dgid;
 138         union ib_gid sgid;
 139         __be16       dlid;
 140         __be16       slid;
 141         u8           raw_traffic;
 142         /* reserved */
 143         __be32       flow_label;
 144         u8           hop_limit;
 145         u8           traffic_class;
 146         u8           reversible;
 147         u8           numb_path;
 148         __be16       pkey;
 149         __be16       qos_class;
 150         u8           sl;
 151         u8           mtu_selector;
 152         u8           mtu;
 153         u8           rate_selector;
 154         u8           rate;
 155         u8           packet_life_time_selector;
 156         u8           packet_life_time;
 157         u8           preference;
 158         u8           dmac[ETH_ALEN];
 159         /* ignored in IB */
 160         int          ifindex;
 161         /* ignored in IB */
 162         struct net  *net;
 163 };
 164
 165 static inline struct net_device *ib_get_ndev_from_path(struct ib_sa_path_rec *rec)
 166 {
 167         return rec->net ? dev_get_by_index(rec->net, rec->ifindex) : NULL;
 168 }
 169
 170 #define IB_SA_MCMEMBER_REC_MGID                         IB_SA_COMP_MASK( 0)
 171 #define IB_SA_MCMEMBER_REC_PORT_GID                     IB_SA_COMP_MASK( 1)
 172 #define IB_SA_MCMEMBER_REC_QKEY                         IB_SA_COMP_MASK( 2)
 173 #define IB_SA_MCMEMBER_REC_MLID                         IB_SA_COMP_MASK( 3)
 174 #define IB_SA_MCMEMBER_REC_MTU_SELECTOR                 IB_SA_COMP_MASK( 4)
 175 #define IB_SA_MCMEMBER_REC_MTU                          IB_SA_COMP_MASK( 5)
 176 #define IB_SA_MCMEMBER_REC_TRAFFIC_CLASS                IB_SA_COMP_MASK( 6)
 177 #define IB_SA_MCMEMBER_REC_PKEY                         IB_SA_COMP_MASK( 7)
 178 #define IB_SA_MCMEMBER_REC_RATE_SELECTOR                IB_SA_COMP_MASK( 8)
 179 #define IB_SA_MCMEMBER_REC_RATE                         IB_SA_COMP_MASK( 9)
 180 #define IB_SA_MCMEMBER_REC_PACKET_LIFE_TIME_SELECTOR    IB_SA_COMP_MASK(10)
 181 #define IB_SA_MCMEMBER_REC_PACKET_LIFE_TIME             IB_SA_COMP_MASK(11)
 182 #define IB_SA_MCMEMBER_REC_SL                           IB_SA_COMP_MASK(12)
 183 #define IB_SA_MCMEMBER_REC_FLOW_LABEL                   IB_SA_COMP_MASK(13)
 184 #define IB_SA_MCMEMBER_REC_HOP_LIMIT                    IB_SA_COMP_MASK(14)
 185 #define IB_SA_MCMEMBER_REC_SCOPE                        IB_SA_COMP_MASK(15)
 186 #define IB_SA_MCMEMBER_REC_JOIN_STATE                   IB_SA_COMP_MASK(16)
 187 #define IB_SA_MCMEMBER_REC_PROXY_JOIN                   IB_SA_COMP_MASK(17)
 188
 189 struct ib_sa_mcmember_rec {
 190         union ib_gid mgid;
 191         union ib_gid port_gid;
 192         __be32       qkey;
 193         __be16       mlid;
 194         u8           mtu_selector;
 195         u8           mtu;
 196         u8           traffic_class;
 197         __be16       pkey;
 198         u8           rate_selector;
 199         u8           rate;
 200         u8           packet_life_time_selector;
 201         u8           packet_life_time;
 202         u8           sl;
 203         __be32       flow_label;
 204         u8           hop_limit;
 205         u8           scope;
 206         u8           join_state;
 207         u8           proxy_join;
 208 };
 209
 210 /* Service Record Component Mask Sec 15.2.5.14 Ver 1.1  */
 211 #define IB_SA_SERVICE_REC_SERVICE_ID                    IB_SA_COMP_MASK( 0)
 212 #define IB_SA_SERVICE_REC_SERVICE_GID                   IB_SA_COMP_MASK( 1)
 213 #define IB_SA_SERVICE_REC_SERVICE_PKEY                  IB_SA_COMP_MASK( 2)
 214 /* reserved:                                                             3 */
 215 #define IB_SA_SERVICE_REC_SERVICE_LEASE                 IB_SA_COMP_MASK( 4)
 216 #define IB_SA_SERVICE_REC_SERVICE_KEY                   IB_SA_COMP_MASK( 5)
 217 #define IB_SA_SERVICE_REC_SERVICE_NAME                  IB_SA_COMP_MASK( 6)
 218 #define IB_SA_SERVICE_REC_SERVICE_DATA8_0               IB_SA_COMP_MASK( 7)
 219 #define IB_SA_SERVICE_REC_SERVICE_DATA8_1               IB_SA_COMP_MASK( 8)
 220 #define IB_SA_SERVICE_REC_SERVICE_DATA8_2               IB_SA_COMP_MASK( 9)
 221 #define IB_SA_SERVICE_REC_SERVICE_DATA8_3               IB_SA_COMP_MASK(10)
 222 #define IB_SA_SERVICE_REC_SERVICE_DATA8_4               IB_SA_COMP_MASK(11)
 223 #define IB_SA_SERVICE_REC_SERVICE_DATA8_5               IB_SA_COMP_MASK(12)
 224 #define IB_SA_SERVICE_REC_SERVICE_DATA8_6               IB_SA_COMP_MASK(13)
 225 #define IB_SA_SERVICE_REC_SERVICE_DATA8_7               IB_SA_COMP_MASK(14)
 226 #define IB_SA_SERVICE_REC_SERVICE_DATA8_8               IB_SA_COMP_MASK(15)
 227 #define IB_SA_SERVICE_REC_SERVICE_DATA8_9               IB_SA_COMP_MASK(16)
 228 #define IB_SA_SERVICE_REC_SERVICE_DATA8_10              IB_SA_COMP_MASK(17)
 229 #define IB_SA_SERVICE_REC_SERVICE_DATA8_11              IB_SA_COMP_MASK(18)
 230 #define IB_SA_SERVICE_REC_SERVICE_DATA8_12              IB_SA_COMP_MASK(19)
 231 #define IB_SA_SERVICE_REC_SERVICE_DATA8_13              IB_SA_COMP_MASK(20)
 232 #define IB_SA_SERVICE_REC_SERVICE_DATA8_14              IB_SA_COMP_MASK(21)
 233 #define IB_SA_SERVICE_REC_SERVICE_DATA8_15              IB_SA_COMP_MASK(22)
 234 #define IB_SA_SERVICE_REC_SERVICE_DATA16_0              IB_SA_COMP_MASK(23)
 235 #define IB_SA_SERVICE_REC_SERVICE_DATA16_1              IB_SA_COMP_MASK(24)
 236 #define IB_SA_SERVICE_REC_SERVICE_DATA16_2              IB_SA_COMP_MASK(25)
 237 #define IB_SA_SERVICE_REC_SERVICE_DATA16_3              IB_SA_COMP_MASK(26)
 238 #define IB_SA_SERVICE_REC_SERVICE_DATA16_4              IB_SA_COMP_MASK(27)
 239 #define IB_SA_SERVICE_REC_SERVICE_DATA16_5              IB_SA_COMP_MASK(28)
 240 #define IB_SA_SERVICE_REC_SERVICE_DATA16_6              IB_SA_COMP_MASK(29)
 241 #define IB_SA_SERVICE_REC_SERVICE_DATA16_7              IB_SA_COMP_MASK(30)
 242 #define IB_SA_SERVICE_REC_SERVICE_DATA32_0              IB_SA_COMP_MASK(31)
 243 #define IB_SA_SERVICE_REC_SERVICE_DATA32_1              IB_SA_COMP_MASK(32)
 244 #define IB_SA_SERVICE_REC_SERVICE_DATA32_2              IB_SA_COMP_MASK(33)
 245 #define IB_SA_SERVICE_REC_SERVICE_DATA32_3              IB_SA_COMP_MASK(34)
 246 #define IB_SA_SERVICE_REC_SERVICE_DATA64_0              IB_SA_COMP_MASK(35)
 247 #define IB_SA_SERVICE_REC_SERVICE_DATA64_1              IB_SA_COMP_MASK(36)
 248
 249 #define IB_DEFAULT_SERVICE_LEASE        0xFFFFFFFF
 250
 251 struct ib_sa_service_rec {
 252         u64             id;
 253         union ib_gid    gid;
 254         __be16          pkey;
 255         /* reserved */
 256         u32             lease;
 257         u8              key[16];
 258         u8              name[64];
 259         u8              data8[16];
 260         u16             data16[8];
 261         u32             data32[4];
 262         u64             data64[2];
 263 };
 264
 265 #define IB_SA_GUIDINFO_REC_LID          IB_SA_COMP_MASK(0)
 266 #define IB_SA_GUIDINFO_REC_BLOCK_NUM    IB_SA_COMP_MASK(1)
 267 #define IB_SA_GUIDINFO_REC_RES1         IB_SA_COMP_MASK(2)
 268 #define IB_SA_GUIDINFO_REC_RES2         IB_SA_COMP_MASK(3)
 269 #define IB_SA_GUIDINFO_REC_GID0         IB_SA_COMP_MASK(4)
 270 #define IB_SA_GUIDINFO_REC_GID1         IB_SA_COMP_MASK(5)
 271 #define IB_SA_GUIDINFO_REC_GID2         IB_SA_COMP_MASK(6)
 272 #define IB_SA_GUIDINFO_REC_GID3         IB_SA_COMP_MASK(7)
 273 #define IB_SA_GUIDINFO_REC_GID4         IB_SA_COMP_MASK(8)
 274 #define IB_SA_GUIDINFO_REC_GID5         IB_SA_COMP_MASK(9)
 275 #define IB_SA_GUIDINFO_REC_GID6         IB_SA_COMP_MASK(10)
 276 #define IB_SA_GUIDINFO_REC_GID7         IB_SA_COMP_MASK(11)
 277
 278 struct ib_sa_guidinfo_rec {
 279         __be16  lid;
 280         u8      block_num;
 281         /* reserved */
 282         u8      res1;
 283         __be32  res2;
 284         u8      guid_info_list[64];
 285 };
 286
 287 struct ib_sa_client {
 288         atomic_t users;
 289         struct completion comp;
 290 };
 291
 292 /**
 293  * ib_sa_register_client - Register an SA client.
 294  */
 295 void ib_sa_register_client(struct ib_sa_client *client);
 296
 297 /**
 298  * ib_sa_unregister_client - Deregister an SA client.
 299  * @client: Client object to deregister.
 300  */
 301 void ib_sa_unregister_client(struct ib_sa_client *client);
 302
 303 struct ib_sa_query;
 304
 305 void ib_sa_cancel_query(int id, struct ib_sa_query *query);
 306
 307 int ib_sa_path_rec_get(struct ib_sa_client *client,
 308                        struct ib_device *device, u8 port_num,
 309                        struct ib_sa_path_rec *rec,
 310                        ib_sa_comp_mask comp_mask,
 311                        int timeout_ms, gfp_t gfp_mask,
 312                        void (*callback)(int status,
 313                                         struct ib_sa_path_rec *resp,
 314                                         void *context),
 315                        void *context,
 316                        struct ib_sa_query **query);
 317
 318 int ib_sa_service_rec_query(struct ib_sa_client *client,
 319                          struct ib_device *device, u8 port_num,
 320                          u8 method,
 321                          struct ib_sa_service_rec *rec,
 322                          ib_sa_comp_mask comp_mask,
 323                          int timeout_ms, gfp_t gfp_mask,
 324                          void (*callback)(int status,
 325                                           struct ib_sa_service_rec *resp,
 326                                           void *context),
 327                          void *context,
 328                          struct ib_sa_query **sa_query);
 329
 330 struct ib_sa_multicast {
 331         struct ib_sa_mcmember_rec rec;
 332         ib_sa_comp_mask         comp_mask;
 333         int                     (*callback)(int status,
 334                                             struct ib_sa_multicast *multicast);
 335         void                    *context;
 336 };
 337
 338 /**
 339  * ib_sa_join_multicast - Initiates a join request to the specified multicast
 340  *   group.
 341  * @client: SA client
 342  * @device: Device associated with the multicast group.
 343  * @port_num: Port on the specified device to associate with the multicast
 344  *   group.
 345  * @rec: SA multicast member record specifying group attributes.
 346  * @comp_mask: Component mask indicating which group attributes of %rec are
 347  *   valid.
 348  * @gfp_mask: GFP mask for memory allocations.
 349  * @callback: User callback invoked once the join operation completes.
 350  * @context: User specified context stored with the ib_sa_multicast structure.
 351  *
 352  * This call initiates a multicast join request with the SA for the specified
 353  * multicast group.  If the join operation is started successfully, it returns
 354  * an ib_sa_multicast structure that is used to track the multicast operation.
 355  * Users must free this structure by calling ib_free_multicast, even if the
 356  * join operation later fails.  (The callback status is non-zero.)
 357  *
 358  * If the join operation fails; status will be non-zero, with the following
 359  * failures possible:
 360  * -ETIMEDOUT: The request timed out.
 361  * -EIO: An error occurred sending the query.
 362  * -EINVAL: The MCMemberRecord values differed from the existing group's.
 363  * -ENETRESET: Indicates that an fatal error has occurred on the multicast
 364  *   group, and the user must rejoin the group to continue using it.
 365  */
 366 struct ib_sa_multicast *ib_sa_join_multicast(struct ib_sa_client *client,
 367                                              struct ib_device *device, u8 port_num,
 368                                              struct ib_sa_mcmember_rec *rec,
 369                                              ib_sa_comp_mask comp_mask, gfp_t gfp_mask,
 370                                              int (*callback)(int status,
 371                                                              struct ib_sa_multicast
 372                                                                     *multicast),
 373                                              void *context);
 374
 375 /**
 376  * ib_free_multicast - Frees the multicast tracking structure, and releases
 377  *    any reference on the multicast group.
 378  * @multicast: Multicast tracking structure allocated by ib_join_multicast.
 379  *
 380  * This call blocks until the multicast identifier is destroyed.  It may
 381  * not be called from within the multicast callback; however, returning a non-
 382  * zero value from the callback will result in destroying the multicast
 383  * tracking structure.
 384  */
 385 void ib_sa_free_multicast(struct ib_sa_multicast *multicast);
 386
 387 /**
 388  * ib_get_mcmember_rec - Looks up a multicast member record by its MGID and
 389  *   returns it if found.
 390  * @device: Device associated with the multicast group.
 391  * @port_num: Port on the specified device to associate with the multicast
 392  *   group.
 393  * @mgid: MGID of multicast group.
 394  * @rec: Location to copy SA multicast member record.
 395  */
 396 int ib_sa_get_mcmember_rec(struct ib_device *device, u8 port_num,
 397                            union ib_gid *mgid, struct ib_sa_mcmember_rec *rec);
 398
 399 /**
 400  * ib_init_ah_from_mcmember - Initialize address handle attributes based on
 401  * an SA multicast member record.
 402  */
 403 int ib_init_ah_from_mcmember(struct ib_device *device, u8 port_num,
 404                              struct ib_sa_mcmember_rec *rec,
 405                              struct ib_ah_attr *ah_attr);
 406
 407 /**
 408  * ib_init_ah_from_path - Initialize address handle attributes based on an SA
 409  *   path record.
 410  */
 411 int ib_init_ah_from_path(struct ib_device *device, u8 port_num,
 412                          struct ib_sa_path_rec *rec,
 413                          struct ib_ah_attr *ah_attr);
 414
 415 /**
 416  * ib_sa_pack_path - Conert a path record from struct ib_sa_path_rec
 417  * to IB MAD wire format.
 418  */
 419 void ib_sa_pack_path(struct ib_sa_path_rec *rec, void *attribute);
 420
 421 /**
 422  * ib_sa_unpack_path - Convert a path record from MAD format to struct
 423  * ib_sa_path_rec.
 424  */
 425 void ib_sa_unpack_path(void *attribute, struct ib_sa_path_rec *rec);
 426
 427 /* Support GuidInfoRecord */
 428 int ib_sa_guid_info_rec_query(struct ib_sa_client *client,
 429                               struct ib_device *device, u8 port_num,
 430                               struct ib_sa_guidinfo_rec *rec,
 431                               ib_sa_comp_mask comp_mask, u8 method,
 432                               int timeout_ms, gfp_t gfp_mask,
 433                               void (*callback)(int status,
 434                                                struct ib_sa_guidinfo_rec *resp,
 435                                                void *context),
 436                               void *context,
 437                               struct ib_sa_query **sa_query);
 438
 439 #endif /* IB_SA_H */