43  *	vdev: the virtio_device
48  *	vdev: the virtio_device
53  *	vdev: the virtio_device
56  *	vdev: the virtio_device
59  *	vdev: the virtio_device
62  *	vdev: the virtio device
67  *	vdev: the virtio_device
77  *      vdev: the virtio_device
79  *	vdev: the virtio_device
82  *	vdev: the virtio_device
89  *	vdev: the virtio_device
109 	void (*get)(struct virtio_device *vdev, unsigned offset,
111 	void (*set)(struct virtio_device *vdev, unsigned offset,
113 	u32 (*generation)(struct virtio_device *vdev);
114 	u8 (*get_status)(struct virtio_device *vdev);
115 	void (*set_status)(struct virtio_device *vdev, u8 status);
116 	void (*reset)(struct virtio_device *vdev);
117 	int (*find_vqs)(struct virtio_device *vdev, unsigned int nvqs,
123 	u64 (*get_features)(struct virtio_device *vdev);
124 	int (*finalize_features)(struct virtio_device *vdev);
125 	const char *(*bus_name)(struct virtio_device *vdev);
128 	const struct cpumask *(*get_vq_affinity)(struct virtio_device *vdev,
130 	bool (*get_shm_region)(struct virtio_device *vdev,
137 void virtio_check_driver_offered_feature(const struct virtio_device *vdev,
144  * @vdev: the device
147 static inline bool __virtio_test_bit(const struct virtio_device *vdev,  in __virtio_test_bit()  argument
156 	return vdev->features & BIT_ULL(fbit);  in __virtio_test_bit()
161  * @vdev: the device
164 static inline void __virtio_set_bit(struct virtio_device *vdev,  in __virtio_set_bit()  argument
173 	vdev->features |= BIT_ULL(fbit);  in __virtio_set_bit()
178  * @vdev: the device
181 static inline void __virtio_clear_bit(struct virtio_device *vdev,  in __virtio_clear_bit()  argument
190 	vdev->features &= ~BIT_ULL(fbit);  in __virtio_clear_bit()
195  * @vdev: the device
198 static inline bool virtio_has_feature(const struct virtio_device *vdev,  in virtio_has_feature()  argument
202 		virtio_check_driver_offered_feature(vdev, fbit);  in virtio_has_feature()
204 	return __virtio_test_bit(vdev, fbit);  in virtio_has_feature()
209  * @vdev: the device
211 static inline bool virtio_has_dma_quirk(const struct virtio_device *vdev)  in virtio_has_dma_quirk()  argument
217 	return !virtio_has_feature(vdev, VIRTIO_F_ACCESS_PLATFORM);  in virtio_has_dma_quirk()
221 int virtio_find_vqs(struct virtio_device *vdev, unsigned int nvqs,  in virtio_find_vqs()  argument
226 	return vdev->config->find_vqs(vdev, nvqs, vqs, vqs_info, desc);  in virtio_find_vqs()
230 struct virtqueue *virtio_find_single_vq(struct virtio_device *vdev,  in virtio_find_single_vq()  argument
237 	int err = virtio_find_vqs(vdev, 1, &vq, vqs_info, NULL);  in virtio_find_single_vq()
303 const char *virtio_bus_name(struct virtio_device *vdev)  in virtio_bus_name()  argument
305 	if (!vdev->config->bus_name)  in virtio_bus_name()
307 	return vdev->config->bus_name(vdev);  in virtio_bus_name()
322 	struct virtio_device *vdev = vq->vdev;  in virtqueue_set_affinity()  local
323 	if (vdev->config->set_vq_affinity)  in virtqueue_set_affinity()
324 		return vdev->config->set_vq_affinity(vq, cpu_mask);  in virtqueue_set_affinity()
329 bool virtio_get_shm_region(struct virtio_device *vdev,  in virtio_get_shm_region()  argument
332 	if (!vdev->config->get_shm_region)  in virtio_get_shm_region()
334 	return vdev->config->get_shm_region(vdev, region, id);  in virtio_get_shm_region()
337 static inline bool virtio_is_little_endian(struct virtio_device *vdev)  in virtio_is_little_endian()  argument
339 	return virtio_has_feature(vdev, VIRTIO_F_VERSION_1) ||  in virtio_is_little_endian()
344 static inline u16 virtio16_to_cpu(struct virtio_device *vdev, __virtio16 val)  in virtio16_to_cpu()  argument
346 	return __virtio16_to_cpu(virtio_is_little_endian(vdev), val);  in virtio16_to_cpu()
349 static inline __virtio16 cpu_to_virtio16(struct virtio_device *vdev, u16 val)  in cpu_to_virtio16()  argument
351 	return __cpu_to_virtio16(virtio_is_little_endian(vdev), val);  in cpu_to_virtio16()
354 static inline u32 virtio32_to_cpu(struct virtio_device *vdev, __virtio32 val)  in virtio32_to_cpu()  argument
356 	return __virtio32_to_cpu(virtio_is_little_endian(vdev), val);  in virtio32_to_cpu()
359 static inline __virtio32 cpu_to_virtio32(struct virtio_device *vdev, u32 val)  in cpu_to_virtio32()  argument
361 	return __cpu_to_virtio32(virtio_is_little_endian(vdev), val);  in cpu_to_virtio32()
364 static inline u64 virtio64_to_cpu(struct virtio_device *vdev, __virtio64 val)  in virtio64_to_cpu()  argument
366 	return __virtio64_to_cpu(virtio_is_little_endian(vdev), val);  in virtio64_to_cpu()
369 static inline __virtio64 cpu_to_virtio64(struct virtio_device *vdev, u64 val)  in cpu_to_virtio64()  argument
371 	return __cpu_to_virtio64(virtio_is_little_endian(vdev), val);  in cpu_to_virtio64()
374 #define virtio_to_cpu(vdev, x) \  argument
377 		__virtio16: virtio16_to_cpu((vdev), (x)), \
378 		__virtio32: virtio32_to_cpu((vdev), (x)), \
379 		__virtio64: virtio64_to_cpu((vdev), (x)) \
382 #define cpu_to_virtio(vdev, x, m) \  argument
385 		__virtio16: cpu_to_virtio16((vdev), (x)), \
386 		__virtio32: cpu_to_virtio32((vdev), (x)), \
387 		__virtio64: cpu_to_virtio64((vdev), (x)) \
394 #define virtio_cread(vdev, structname, member, ptr)			\  argument
400 		typecheck(typeof(virtio_to_cpu((vdev), virtio_cread_v)), *(ptr)); \
406 			vdev->config->get((vdev), 			\
412 			__virtio_cread_many((vdev), 			\
419 		*(ptr) = virtio_to_cpu(vdev, virtio_cread_v);		\
423 #define virtio_cwrite(vdev, structname, member, ptr)			\  argument
426 			cpu_to_virtio(vdev, *(ptr), ((structname*)0)->member); \
430 		typecheck(typeof(virtio_to_cpu((vdev), virtio_cwrite_v)), *(ptr)); \
432 		vdev->config->set((vdev), offsetof(structname, member),	\
458 #define virtio_cread_le(vdev, structname, member, ptr)			\  argument
470 			vdev->config->get((vdev), 			\
476 			__virtio_cread_many((vdev), 			\
486 #define virtio_cwrite_le(vdev, structname, member, ptr)			\  argument
495 		vdev->config->set((vdev), offsetof(structname, member),	\
502 static inline void __virtio_cread_many(struct virtio_device *vdev,  in __virtio_cread_many()  argument
506 	u32 old, gen = vdev->config->generation ?  in __virtio_cread_many()
507 		vdev->config->generation(vdev) : 0;  in __virtio_cread_many()
515 			vdev->config->get(vdev, offset + bytes * i,  in __virtio_cread_many()
518 		gen = vdev->config->generation ?  in __virtio_cread_many()
519 			vdev->config->generation(vdev) : 0;  in __virtio_cread_many()
523 static inline void virtio_cread_bytes(struct virtio_device *vdev,  in virtio_cread_bytes()  argument
527 	__virtio_cread_many(vdev, offset, buf, len, 1);  in virtio_cread_bytes()
530 static inline u8 virtio_cread8(struct virtio_device *vdev, unsigned int offset)  in virtio_cread8()  argument
535 	vdev->config->get(vdev, offset, &ret, sizeof(ret));  in virtio_cread8()
539 static inline void virtio_cwrite8(struct virtio_device *vdev,  in virtio_cwrite8()  argument
543 	vdev->config->set(vdev, offset, &val, sizeof(val));  in virtio_cwrite8()
546 static inline u16 virtio_cread16(struct virtio_device *vdev,  in virtio_cread16()  argument
552 	vdev->config->get(vdev, offset, &ret, sizeof(ret));  in virtio_cread16()
553 	return virtio16_to_cpu(vdev, ret);  in virtio_cread16()
556 static inline void virtio_cwrite16(struct virtio_device *vdev,  in virtio_cwrite16()  argument
562 	v = cpu_to_virtio16(vdev, val);  in virtio_cwrite16()
563 	vdev->config->set(vdev, offset, &v, sizeof(v));  in virtio_cwrite16()
566 static inline u32 virtio_cread32(struct virtio_device *vdev,  in virtio_cread32()  argument
572 	vdev->config->get(vdev, offset, &ret, sizeof(ret));  in virtio_cread32()
573 	return virtio32_to_cpu(vdev, ret);  in virtio_cread32()
576 static inline void virtio_cwrite32(struct virtio_device *vdev,  in virtio_cwrite32()  argument
582 	v = cpu_to_virtio32(vdev, val);  in virtio_cwrite32()
583 	vdev->config->set(vdev, offset, &v, sizeof(v));  in virtio_cwrite32()
586 static inline u64 virtio_cread64(struct virtio_device *vdev,  in virtio_cread64()  argument
591 	__virtio_cread_many(vdev, offset, &ret, 1, sizeof(ret));  in virtio_cread64()
592 	return virtio64_to_cpu(vdev, ret);  in virtio_cread64()
595 static inline void virtio_cwrite64(struct virtio_device *vdev,  in virtio_cwrite64()  argument
601 	v = cpu_to_virtio64(vdev, val);  in virtio_cwrite64()
602 	vdev->config->set(vdev, offset, &v, sizeof(v));  in virtio_cwrite64()
606 #define virtio_cread_feature(vdev, fbit, structname, member, ptr)	\  argument
609 		if (!virtio_has_feature(vdev, fbit))			\
612 			virtio_cread((vdev), structname, member, ptr);	\
617 #define virtio_cread_le_feature(vdev, fbit, structname, member, ptr)	\  argument
620 		if (!virtio_has_feature(vdev, fbit))			\
623 			virtio_cread_le((vdev), structname, member, ptr); \