29 	struct vdpa_device *vdpa;  member
54 	return to_virtio_vdpa_device(vdev)->vdpa;  in vd_get_vdpa()
60 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_get()  local
62 	vdpa_get_config(vdpa, offset, buf, len);  in virtio_vdpa_get()
68 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_set()  local
70 	vdpa_set_config(vdpa, offset, buf, len);  in virtio_vdpa_set()
75 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_generation()  local
76 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_generation()
79 		return ops->get_generation(vdpa);  in virtio_vdpa_generation()
86 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_get_status()  local
87 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_get_status()
89 	return ops->get_status(vdpa);  in virtio_vdpa_get_status()
94 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_set_status()  local
96 	return vdpa_set_status(vdpa, status);  in virtio_vdpa_set_status()
101 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_reset()  local
103 	vdpa_reset(vdpa, 0);  in virtio_vdpa_reset()
108 	struct vdpa_device *vdpa = vd_get_vdpa(vq->vdev);  in virtio_vdpa_notify()  local
109 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_notify()
111 	ops->kick_vq(vdpa, vq->index);  in virtio_vdpa_notify()
118 	struct vdpa_device *vdpa = vd_get_vdpa(vq->vdev);  in virtio_vdpa_notify_with_data()  local
119 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_notify_with_data()
122 	ops->kick_vq_with_data(vdpa, data);  in virtio_vdpa_notify_with_data()
149 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_setup_vq()  local
151 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_setup_vq()
167 	if (index >= vdpa->nvqs)  in virtio_vdpa_setup_vq()
179 	if (ops->get_vq_ready(vdpa, index))  in virtio_vdpa_setup_vq()
187 		max_num = ops->get_vq_size(vdpa, index);  in virtio_vdpa_setup_vq()
189 		max_num = ops->get_vq_num_max(vdpa);  in virtio_vdpa_setup_vq()
197 		min_num = ops->get_vq_num_min(vdpa);  in virtio_vdpa_setup_vq()
202 	align = ops->get_vq_align(vdpa);  in virtio_vdpa_setup_vq()
205 		dma_dev = ops->get_vq_dma_dev(vdpa, index);  in virtio_vdpa_setup_vq()
207 		dma_dev = vdpa_get_dma_dev(vdpa);  in virtio_vdpa_setup_vq()
222 	ops->set_vq_cb(vdpa, index, &cb);  in virtio_vdpa_setup_vq()
223 	ops->set_vq_num(vdpa, index, virtqueue_get_vring_size(vq));  in virtio_vdpa_setup_vq()
229 	if (ops->set_vq_address(vdpa, index,  in virtio_vdpa_setup_vq()
245 	err = ops->set_vq_state(vdpa, index, &state);  in virtio_vdpa_setup_vq()
249 	ops->set_vq_ready(vdpa, index, 1);  in virtio_vdpa_setup_vq()
263 	ops->set_vq_ready(vdpa, index, 0);  in virtio_vdpa_setup_vq()
265 	WARN_ON(ops->get_vq_ready(vdpa, index));  in virtio_vdpa_setup_vq()
273 	struct vdpa_device *vdpa = vd_dev->vdpa;  in virtio_vdpa_del_vq()  local
274 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_del_vq()
284 	ops->set_vq_ready(vdpa, index, 0);  in virtio_vdpa_del_vq()
365 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_find_vqs()  local
366 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_find_vqs()
395 			ops->set_vq_affinity(vdpa, i, &masks[i]);  in virtio_vdpa_find_vqs()
400 	ops->set_config_cb(vdpa, &cb);  in virtio_vdpa_find_vqs()
415 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_get_features()  local
416 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_get_features()
418 	return ops->get_device_features(vdpa);  in virtio_vdpa_get_features()
423 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_finalize_features()  local
428 	return vdpa_set_features(vdpa, vdev->features);  in virtio_vdpa_finalize_features()
434 	struct vdpa_device *vdpa = vd_dev->vdpa;  in virtio_vdpa_bus_name()  local
436 	return dev_name(&vdpa->dev);  in virtio_vdpa_bus_name()
443 	struct vdpa_device *vdpa = vd_dev->vdpa;  in virtio_vdpa_set_vq_affinity()  local
444 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_set_vq_affinity()
448 		return ops->set_vq_affinity(vdpa, index, cpu_mask);  in virtio_vdpa_set_vq_affinity()
456 	struct vdpa_device *vdpa = vd_get_vdpa(vdev);  in virtio_vdpa_get_vq_affinity()  local
457 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_get_vq_affinity()
460 		return ops->get_vq_affinity(vdpa, index);  in virtio_vdpa_get_vq_affinity()
491 static int virtio_vdpa_probe(struct vdpa_device *vdpa)  in virtio_vdpa_probe()  argument
493 	const struct vdpa_config_ops *ops = vdpa->config;  in virtio_vdpa_probe()
501 	vd_dev->vdev.dev.parent = vdpa_get_dma_dev(vdpa);  in virtio_vdpa_probe()
504 	vd_dev->vdpa = vdpa;  in virtio_vdpa_probe()
508 	vd_dev->vdev.id.device = ops->get_device_id(vdpa);  in virtio_vdpa_probe()
512 	vd_dev->vdev.id.vendor = ops->get_vendor_id(vdpa);  in virtio_vdpa_probe()
518 	vdpa_set_drvdata(vdpa, vd_dev);  in virtio_vdpa_probe()
530 static void virtio_vdpa_remove(struct vdpa_device *vdpa)  in virtio_vdpa_remove()  argument
532 	struct virtio_vdpa_device *vd_dev = vdpa_get_drvdata(vdpa);  in virtio_vdpa_remove()