Lines Matching +full:msi +full:- +full:x
1 // SPDX-License-Identifier: GPL-2.0-only
13 #include <linux/msi.h>
18 #include "pcie-xilinx-common.h"
35 #define IMR(x) BIT(XILINX_PCIE_INTR_ ##x) argument
46 IMR(MSI) | \
76 /* Number of MSI IRQs */
85 * struct xilinx_pl_dma_variant - PL DMA PCIe variant information
102 * struct pl_dma_pcie - PCIe port information
112 * @msi: MSI information
127 struct xilinx_msi msi; member
135 if (port->variant->version == QDMA) in pcie_read()
136 return readl(port->reg_base + reg + QDMA_BRIDGE_BASE_OFF); in pcie_read()
138 return readl(port->reg_base + reg); in pcie_read()
143 if (port->variant->version == QDMA) in pcie_write()
144 writel(val, port->reg_base + reg + QDMA_BRIDGE_BASE_OFF); in pcie_write()
146 writel(val, port->reg_base + reg); in pcie_write()
160 dev_dbg(port->dev, "Requester ID %lu\n", in xilinx_pl_dma_pcie_clear_err_interrupts()
170 struct pl_dma_pcie *port = bus->sysdata; in xilinx_pl_dma_pcie_valid_device()
181 * go down between the link-up check and the PIO request. in xilinx_pl_dma_pcie_valid_device()
195 struct pl_dma_pcie *port = bus->sysdata; in xilinx_pl_dma_pcie_map_bus()
200 if (port->variant->version == QDMA) in xilinx_pl_dma_pcie_map_bus()
201 return port->cfg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where); in xilinx_pl_dma_pcie_map_bus()
203 return port->reg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where); in xilinx_pl_dma_pcie_map_bus()
217 phys_addr_t msi_addr = port->phys_reg_base; in xilinx_pl_dma_pcie_enable_msi()
229 mask = BIT(data->hwirq + XILINX_PCIE_DMA_IDRN_SHIFT); in xilinx_mask_intx_irq()
230 raw_spin_lock_irqsave(&port->lock, flags); in xilinx_mask_intx_irq()
233 raw_spin_unlock_irqrestore(&port->lock, flags); in xilinx_mask_intx_irq()
242 mask = BIT(data->hwirq + XILINX_PCIE_DMA_IDRN_SHIFT); in xilinx_unmask_intx_irq()
243 raw_spin_lock_irqsave(&port->lock, flags); in xilinx_unmask_intx_irq()
246 raw_spin_unlock_irqrestore(&port->lock, flags); in xilinx_unmask_intx_irq()
259 irq_set_chip_data(irq, domain->host_data); in xilinx_pl_dma_pcie_intx_map()
272 struct xilinx_msi *msi; in xilinx_pl_dma_pcie_msi_handler_high() local
277 msi = &port->msi; in xilinx_pl_dma_pcie_msi_handler_high()
283 virq = irq_find_mapping(msi->dev_domain, bit); in xilinx_pl_dma_pcie_msi_handler_high()
295 struct xilinx_msi *msi; in xilinx_pl_dma_pcie_msi_handler_low() local
299 msi = &port->msi; in xilinx_pl_dma_pcie_msi_handler_low()
304 virq = irq_find_mapping(msi->dev_domain, bit); in xilinx_pl_dma_pcie_msi_handler_low()
322 generic_handle_domain_irq(port->pldma_domain, i); in xilinx_pl_dma_pcie_event_flow()
329 #define _IC(x, s) \ argument
330 [XILINX_PCIE_INTR_ ## x] = { __stringify(x), s }
355 struct device *dev = port->dev; in xilinx_pl_dma_pcie_intr_handler()
358 d = irq_domain_get_irq_data(port->pldma_domain, irq); in xilinx_pl_dma_pcie_intr_handler()
359 switch (d->hwirq) { in xilinx_pl_dma_pcie_intr_handler()
367 if (intr_cause[d->hwirq].str) in xilinx_pl_dma_pcie_intr_handler()
368 dev_warn(dev, "%s\n", intr_cause[d->hwirq].str); in xilinx_pl_dma_pcie_intr_handler()
370 dev_warn(dev, "Unknown IRQ %ld\n", d->hwirq); in xilinx_pl_dma_pcie_intr_handler()
377 .name = "pl_dma:PCIe MSI",
393 phys_addr_t msi_addr = pcie->phys_reg_base; in xilinx_compose_msi_msg()
395 msg->address_lo = lower_32_bits(msi_addr); in xilinx_compose_msi_msg()
396 msg->address_hi = upper_32_bits(msi_addr); in xilinx_compose_msi_msg()
397 msg->data = data->hwirq; in xilinx_compose_msi_msg()
401 .name = "pl_dma:MSI",
408 struct pl_dma_pcie *pcie = domain->host_data; in xilinx_irq_domain_alloc()
409 struct xilinx_msi *msi = &pcie->msi; in xilinx_irq_domain_alloc() local
412 mutex_lock(&msi->lock); in xilinx_irq_domain_alloc()
413 bit = bitmap_find_free_region(msi->bitmap, XILINX_NUM_MSI_IRQS, in xilinx_irq_domain_alloc()
416 mutex_unlock(&msi->lock); in xilinx_irq_domain_alloc()
417 return -ENOSPC; in xilinx_irq_domain_alloc()
422 domain->host_data, handle_simple_irq, in xilinx_irq_domain_alloc()
425 mutex_unlock(&msi->lock); in xilinx_irq_domain_alloc()
435 struct xilinx_msi *msi = &pcie->msi; in xilinx_irq_domain_free() local
437 mutex_lock(&msi->lock); in xilinx_irq_domain_free()
438 bitmap_release_region(msi->bitmap, data->hwirq, in xilinx_irq_domain_free()
440 mutex_unlock(&msi->lock); in xilinx_irq_domain_free()
450 struct xilinx_msi *msi = &port->msi; in xilinx_pl_dma_pcie_free_irq_domains() local
452 if (port->intx_domain) { in xilinx_pl_dma_pcie_free_irq_domains()
453 irq_domain_remove(port->intx_domain); in xilinx_pl_dma_pcie_free_irq_domains()
454 port->intx_domain = NULL; in xilinx_pl_dma_pcie_free_irq_domains()
457 if (msi->dev_domain) { in xilinx_pl_dma_pcie_free_irq_domains()
458 irq_domain_remove(msi->dev_domain); in xilinx_pl_dma_pcie_free_irq_domains()
459 msi->dev_domain = NULL; in xilinx_pl_dma_pcie_free_irq_domains()
462 if (msi->msi_domain) { in xilinx_pl_dma_pcie_free_irq_domains()
463 irq_domain_remove(msi->msi_domain); in xilinx_pl_dma_pcie_free_irq_domains()
464 msi->msi_domain = NULL; in xilinx_pl_dma_pcie_free_irq_domains()
470 struct device *dev = port->dev; in xilinx_pl_dma_pcie_init_msi_irq_domain()
471 struct xilinx_msi *msi = &port->msi; in xilinx_pl_dma_pcie_init_msi_irq_domain() local
473 struct fwnode_handle *fwnode = of_node_to_fwnode(port->dev->of_node); in xilinx_pl_dma_pcie_init_msi_irq_domain()
475 msi->dev_domain = irq_domain_add_linear(NULL, XILINX_NUM_MSI_IRQS, in xilinx_pl_dma_pcie_init_msi_irq_domain()
477 if (!msi->dev_domain) in xilinx_pl_dma_pcie_init_msi_irq_domain()
480 msi->msi_domain = pci_msi_create_irq_domain(fwnode, in xilinx_pl_dma_pcie_init_msi_irq_domain()
482 msi->dev_domain); in xilinx_pl_dma_pcie_init_msi_irq_domain()
483 if (!msi->msi_domain) in xilinx_pl_dma_pcie_init_msi_irq_domain()
486 mutex_init(&msi->lock); in xilinx_pl_dma_pcie_init_msi_irq_domain()
487 msi->bitmap = kzalloc(size, GFP_KERNEL); in xilinx_pl_dma_pcie_init_msi_irq_domain()
488 if (!msi->bitmap) in xilinx_pl_dma_pcie_init_msi_irq_domain()
491 raw_spin_lock_init(&port->lock); in xilinx_pl_dma_pcie_init_msi_irq_domain()
498 dev_err(dev, "Failed to allocate MSI IRQ domains\n"); in xilinx_pl_dma_pcie_init_msi_irq_domain()
500 return -ENOMEM; in xilinx_pl_dma_pcie_init_msi_irq_domain()
519 generic_handle_domain_irq(port->intx_domain, i); in xilinx_pl_dma_pcie_intx_flow()
528 raw_spin_lock(&port->lock); in xilinx_pl_dma_pcie_mask_event_irq()
530 val &= ~BIT(d->hwirq); in xilinx_pl_dma_pcie_mask_event_irq()
532 raw_spin_unlock(&port->lock); in xilinx_pl_dma_pcie_mask_event_irq()
540 raw_spin_lock(&port->lock); in xilinx_pl_dma_pcie_unmask_event_irq()
542 val |= BIT(d->hwirq); in xilinx_pl_dma_pcie_unmask_event_irq()
544 raw_spin_unlock(&port->lock); in xilinx_pl_dma_pcie_unmask_event_irq()
548 .name = "pl_dma:RC-Event",
558 irq_set_chip_data(irq, domain->host_data); in xilinx_pl_dma_pcie_event_map()
569 * xilinx_pl_dma_pcie_init_irq_domain - Initialize IRQ domain
576 struct device *dev = port->dev; in xilinx_pl_dma_pcie_init_irq_domain()
577 struct device_node *node = dev->of_node; in xilinx_pl_dma_pcie_init_irq_domain()
582 pcie_intc_node = of_get_child_by_name(node, "interrupt-controller"); in xilinx_pl_dma_pcie_init_irq_domain()
585 return -EINVAL; in xilinx_pl_dma_pcie_init_irq_domain()
588 port->pldma_domain = irq_domain_add_linear(pcie_intc_node, 32, in xilinx_pl_dma_pcie_init_irq_domain()
590 if (!port->pldma_domain) in xilinx_pl_dma_pcie_init_irq_domain()
591 return -ENOMEM; in xilinx_pl_dma_pcie_init_irq_domain()
593 irq_domain_update_bus_token(port->pldma_domain, DOMAIN_BUS_NEXUS); in xilinx_pl_dma_pcie_init_irq_domain()
595 port->intx_domain = irq_domain_add_linear(pcie_intc_node, PCI_NUM_INTX, in xilinx_pl_dma_pcie_init_irq_domain()
597 if (!port->intx_domain) { in xilinx_pl_dma_pcie_init_irq_domain()
599 return -ENOMEM; in xilinx_pl_dma_pcie_init_irq_domain()
602 irq_domain_update_bus_token(port->intx_domain, DOMAIN_BUS_WIRED); in xilinx_pl_dma_pcie_init_irq_domain()
606 irq_domain_remove(port->intx_domain); in xilinx_pl_dma_pcie_init_irq_domain()
607 return -ENOMEM; in xilinx_pl_dma_pcie_init_irq_domain()
611 raw_spin_lock_init(&port->lock); in xilinx_pl_dma_pcie_init_irq_domain()
618 struct device *dev = port->dev; in xilinx_pl_dma_pcie_setup_irq()
622 port->irq = platform_get_irq(pdev, 0); in xilinx_pl_dma_pcie_setup_irq()
623 if (port->irq < 0) in xilinx_pl_dma_pcie_setup_irq()
624 return port->irq; in xilinx_pl_dma_pcie_setup_irq()
632 irq = irq_create_mapping(port->pldma_domain, i); in xilinx_pl_dma_pcie_setup_irq()
635 return -ENXIO; in xilinx_pl_dma_pcie_setup_irq()
648 port->intx_irq = irq_create_mapping(port->pldma_domain, in xilinx_pl_dma_pcie_setup_irq()
650 if (!port->intx_irq) { in xilinx_pl_dma_pcie_setup_irq()
652 return -ENXIO; in xilinx_pl_dma_pcie_setup_irq()
655 err = devm_request_irq(dev, port->intx_irq, xilinx_pl_dma_pcie_intx_flow, in xilinx_pl_dma_pcie_setup_irq()
658 dev_err(dev, "Failed to request INTx IRQ %d\n", port->intx_irq); in xilinx_pl_dma_pcie_setup_irq()
662 err = devm_request_irq(dev, port->irq, xilinx_pl_dma_pcie_event_flow, in xilinx_pl_dma_pcie_setup_irq()
665 dev_err(dev, "Failed to request event IRQ %d\n", port->irq); in xilinx_pl_dma_pcie_setup_irq()
675 dev_info(port->dev, "PCIe Link is UP\n"); in xilinx_pl_dma_pcie_init_port()
677 dev_info(port->dev, "PCIe Link is DOWN\n"); in xilinx_pl_dma_pcie_init_port()
688 /* Needed for MSI DECODE MODE */ in xilinx_pl_dma_pcie_init_port()
702 struct device *dev = port->dev; in xilinx_request_msi_irq()
706 port->msi.irq_msi0 = platform_get_irq_byname(pdev, "msi0"); in xilinx_request_msi_irq()
707 if (port->msi.irq_msi0 <= 0) in xilinx_request_msi_irq()
708 return port->msi.irq_msi0; in xilinx_request_msi_irq()
710 ret = devm_request_irq(dev, port->msi.irq_msi0, xilinx_pl_dma_pcie_msi_handler_low, in xilinx_request_msi_irq()
711 IRQF_SHARED | IRQF_NO_THREAD, "xlnx-pcie-dma-pl", in xilinx_request_msi_irq()
718 port->msi.irq_msi1 = platform_get_irq_byname(pdev, "msi1"); in xilinx_request_msi_irq()
719 if (port->msi.irq_msi1 <= 0) in xilinx_request_msi_irq()
720 return port->msi.irq_msi1; in xilinx_request_msi_irq()
722 ret = devm_request_irq(dev, port->msi.irq_msi1, xilinx_pl_dma_pcie_msi_handler_high, in xilinx_request_msi_irq()
723 IRQF_SHARED | IRQF_NO_THREAD, "xlnx-pcie-dma-pl", in xilinx_request_msi_irq()
736 struct device *dev = port->dev; in xilinx_pl_dma_pcie_parse_dt()
744 return -ENXIO; in xilinx_pl_dma_pcie_parse_dt()
746 port->phys_reg_base = res->start; in xilinx_pl_dma_pcie_parse_dt()
748 port->cfg = pci_ecam_create(dev, res, bus_range, &xilinx_pl_dma_pcie_ops); in xilinx_pl_dma_pcie_parse_dt()
749 if (IS_ERR(port->cfg)) in xilinx_pl_dma_pcie_parse_dt()
750 return PTR_ERR(port->cfg); in xilinx_pl_dma_pcie_parse_dt()
752 port->reg_base = port->cfg->win; in xilinx_pl_dma_pcie_parse_dt()
754 if (port->variant->version == QDMA) { in xilinx_pl_dma_pcie_parse_dt()
755 port->cfg_base = port->cfg->win; in xilinx_pl_dma_pcie_parse_dt()
757 port->reg_base = devm_ioremap_resource(dev, res); in xilinx_pl_dma_pcie_parse_dt()
758 if (IS_ERR(port->reg_base)) in xilinx_pl_dma_pcie_parse_dt()
759 return PTR_ERR(port->reg_base); in xilinx_pl_dma_pcie_parse_dt()
760 port->phys_reg_base = res->start; in xilinx_pl_dma_pcie_parse_dt()
765 pci_ecam_free(port->cfg); in xilinx_pl_dma_pcie_parse_dt()
774 struct device *dev = &pdev->dev; in xilinx_pl_dma_pcie_probe()
782 return -ENODEV; in xilinx_pl_dma_pcie_probe()
786 port->dev = dev; in xilinx_pl_dma_pcie_probe()
788 bus = resource_list_first_type(&bridge->windows, IORESOURCE_BUS); in xilinx_pl_dma_pcie_probe()
790 return -ENODEV; in xilinx_pl_dma_pcie_probe()
792 port->variant = of_device_get_match_data(dev); in xilinx_pl_dma_pcie_probe()
794 err = xilinx_pl_dma_pcie_parse_dt(port, bus->res); in xilinx_pl_dma_pcie_probe()
808 bridge->sysdata = port; in xilinx_pl_dma_pcie_probe()
809 bridge->ops = &xilinx_pl_dma_pcie_ops.pci_ops; in xilinx_pl_dma_pcie_probe()
821 pci_ecam_free(port->cfg); in xilinx_pl_dma_pcie_probe()
835 .compatible = "xlnx,xdma-host-3.00",
839 .compatible = "xlnx,qdma-host-3.00",
847 .name = "xilinx-xdma-pcie",