1 // SPDX-License-Identifier: GPL-2.0
3 // Cadence PCIe endpoint controller driver.
4 // Author: Cyrille Pitchen <cyrille.pitchen@free-electrons.com>
10 #include <linux/pci-epc.h>
14 #include "pcie-cadence.h"
20 static u8 cdns_pcie_get_fn_from_vfn(struct cdns_pcie *pcie, u8 fn, u8 vfn)  in cdns_pcie_get_fn_from_vfn()  argument
28 	first_vf_offset = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_SRIOV_VF_OFFSET);  in cdns_pcie_get_fn_from_vfn()
29 	stride = cdns_pcie_ep_fn_readw(pcie, fn, cap +  PCI_SRIOV_VF_STRIDE);  in cdns_pcie_get_fn_from_vfn()
30 	fn = fn + first_vf_offset + ((vfn - 1) * stride);  in cdns_pcie_get_fn_from_vfn()
38 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_write_header()  local
40 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_write_header()  local
44 		dev_err(&epc->dev, "Only Virtual Function #1 has deviceID\n");  in cdns_pcie_ep_write_header()
45 		return -EINVAL;  in cdns_pcie_ep_write_header()
48 		cdns_pcie_ep_fn_writew(pcie, fn, reg, hdr->deviceid);  in cdns_pcie_ep_write_header()
52 	cdns_pcie_ep_fn_writew(pcie, fn, PCI_DEVICE_ID, hdr->deviceid);  in cdns_pcie_ep_write_header()
53 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_REVISION_ID, hdr->revid);  in cdns_pcie_ep_write_header()
54 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_CLASS_PROG, hdr->progif_code);  in cdns_pcie_ep_write_header()
55 	cdns_pcie_ep_fn_writew(pcie, fn, PCI_CLASS_DEVICE,  in cdns_pcie_ep_write_header()
56 			       hdr->subclass_code | hdr->baseclass_code << 8);  in cdns_pcie_ep_write_header()
57 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_CACHE_LINE_SIZE,  in cdns_pcie_ep_write_header()
58 			       hdr->cache_line_size);  in cdns_pcie_ep_write_header()
59 	cdns_pcie_ep_fn_writew(pcie, fn, PCI_SUBSYSTEM_ID, hdr->subsys_id);  in cdns_pcie_ep_write_header()
60 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_INTERRUPT_PIN, hdr->interrupt_pin);  in cdns_pcie_ep_write_header()
68 		u32 id = CDNS_PCIE_LM_ID_VENDOR(hdr->vendorid) |  in cdns_pcie_ep_write_header()
69 			 CDNS_PCIE_LM_ID_SUBSYS(hdr->subsys_vendor_id);  in cdns_pcie_ep_write_header()
71 		cdns_pcie_writel(pcie, CDNS_PCIE_LM_ID, id);  in cdns_pcie_ep_write_header()
80 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_set_bar()  local
81 	struct cdns_pcie_epf *epf = &ep->epf[fn];  in cdns_pcie_ep_set_bar()
82 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_set_bar()  local
83 	dma_addr_t bar_phys = epf_bar->phys_addr;  in cdns_pcie_ep_set_bar()
84 	enum pci_barno bar = epf_bar->barno;  in cdns_pcie_ep_set_bar()
85 	int flags = epf_bar->flags;  in cdns_pcie_ep_set_bar()
90 	sz = max_t(size_t, epf_bar->size, CDNS_PCIE_EP_MIN_APERTURE);  in cdns_pcie_ep_set_bar()
95 	sz = 1ULL << fls64(sz - 1);  in cdns_pcie_ep_set_bar()
96 	aperture = ilog2(sz) - 7; /* 128B -> 0, 256B -> 1, 512B -> 2, ... */  in cdns_pcie_ep_set_bar()
105 			return -EINVAL;  in cdns_pcie_ep_set_bar()
124 	b = (bar < BAR_4) ? bar : bar - BAR_4;  in cdns_pcie_ep_set_bar()
127 		cfg = cdns_pcie_readl(pcie, reg);  in cdns_pcie_ep_set_bar()
132 		cdns_pcie_writel(pcie, reg, cfg);  in cdns_pcie_ep_set_bar()
135 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_set_bar()
136 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR0(fn, bar),  in cdns_pcie_ep_set_bar()
138 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR1(fn, bar),  in cdns_pcie_ep_set_bar()
142 		epf = &epf->epf[vfn - 1];  in cdns_pcie_ep_set_bar()
143 	epf->epf_bar[bar] = epf_bar;  in cdns_pcie_ep_set_bar()
151 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_clear_bar()  local
152 	struct cdns_pcie_epf *epf = &ep->epf[fn];  in cdns_pcie_ep_clear_bar()
153 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_clear_bar()  local
154 	enum pci_barno bar = epf_bar->barno;  in cdns_pcie_ep_clear_bar()
161 	b = (bar < BAR_4) ? bar : bar - BAR_4;  in cdns_pcie_ep_clear_bar()
165 		cfg = cdns_pcie_readl(pcie, reg);  in cdns_pcie_ep_clear_bar()
169 		cdns_pcie_writel(pcie, reg, cfg);  in cdns_pcie_ep_clear_bar()
172 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_clear_bar()
173 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR0(fn, bar), 0);  in cdns_pcie_ep_clear_bar()
174 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR1(fn, bar), 0);  in cdns_pcie_ep_clear_bar()
177 		epf = &epf->epf[vfn - 1];  in cdns_pcie_ep_clear_bar()
178 	epf->epf_bar[bar] = NULL;  in cdns_pcie_ep_clear_bar()
184 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_map_addr()  local
185 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_map_addr()  local
188 	r = find_first_zero_bit(&ep->ob_region_map, BITS_PER_LONG);  in cdns_pcie_ep_map_addr()
189 	if (r >= ep->max_regions - 1) {  in cdns_pcie_ep_map_addr()
190 		dev_err(&epc->dev, "no free outbound region\n");  in cdns_pcie_ep_map_addr()
191 		return -EINVAL;  in cdns_pcie_ep_map_addr()
194 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_map_addr()
195 	cdns_pcie_set_outbound_region(pcie, 0, fn, r, false, addr, pci_addr, size);  in cdns_pcie_ep_map_addr()
197 	set_bit(r, &ep->ob_region_map);  in cdns_pcie_ep_map_addr()
198 	ep->ob_addr[r] = addr;  in cdns_pcie_ep_map_addr()
206 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_unmap_addr()  local
207 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_unmap_addr()  local
210 	for (r = 0; r < ep->max_regions - 1; r++)  in cdns_pcie_ep_unmap_addr()
211 		if (ep->ob_addr[r] == addr)  in cdns_pcie_ep_unmap_addr()
214 	if (r == ep->max_regions - 1)  in cdns_pcie_ep_unmap_addr()
217 	cdns_pcie_reset_outbound_region(pcie, r);  in cdns_pcie_ep_unmap_addr()
219 	ep->ob_addr[r] = 0;  in cdns_pcie_ep_unmap_addr()
220 	clear_bit(r, &ep->ob_region_map);  in cdns_pcie_ep_unmap_addr()
225 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_set_msi()  local
226 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_set_msi()  local
230 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_set_msi()
236 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_set_msi()
240 	cdns_pcie_ep_fn_writew(pcie, fn, cap + PCI_MSI_FLAGS, flags);  in cdns_pcie_ep_set_msi()
247 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_get_msi()  local
248 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_get_msi()  local
252 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_get_msi()
255 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_get_msi()
257 		return -EINVAL;  in cdns_pcie_ep_get_msi()
270 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_get_msix()  local
271 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_get_msix()  local
275 	func_no = cdns_pcie_get_fn_from_vfn(pcie, func_no, vfunc_no);  in cdns_pcie_ep_get_msix()
278 	val = cdns_pcie_ep_fn_readw(pcie, func_no, reg);  in cdns_pcie_ep_get_msix()
280 		return -EINVAL;  in cdns_pcie_ep_get_msix()
291 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_set_msix()  local
292 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_set_msix()  local
296 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_set_msix()
299 	val = cdns_pcie_ep_fn_readw(pcie, fn, reg);  in cdns_pcie_ep_set_msix()
302 	cdns_pcie_ep_fn_writew(pcie, fn, reg, val);  in cdns_pcie_ep_set_msix()
307 	cdns_pcie_ep_fn_writel(pcie, fn, reg, val);  in cdns_pcie_ep_set_msix()
312 	cdns_pcie_ep_fn_writel(pcie, fn, reg, val);  in cdns_pcie_ep_set_msix()
317 static void cdns_pcie_ep_assert_intx(struct cdns_pcie_ep *ep, u8 fn, u8 intx,  in cdns_pcie_ep_assert_intx()  argument
320 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_assert_intx()  local
329 	if (unlikely(ep->irq_pci_addr != CDNS_PCIE_EP_IRQ_PCI_ADDR_LEGACY ||  in cdns_pcie_ep_assert_intx()
330 		     ep->irq_pci_fn != fn)) {  in cdns_pcie_ep_assert_intx()
332 		cdns_pcie_set_outbound_region_for_normal_msg(pcie, 0, fn, 0,  in cdns_pcie_ep_assert_intx()
333 							     ep->irq_phys_addr);  in cdns_pcie_ep_assert_intx()
334 		ep->irq_pci_addr = CDNS_PCIE_EP_IRQ_PCI_ADDR_LEGACY;  in cdns_pcie_ep_assert_intx()
335 		ep->irq_pci_fn = fn;  in cdns_pcie_ep_assert_intx()
339 		ep->irq_pending |= BIT(intx);  in cdns_pcie_ep_assert_intx()
342 		ep->irq_pending &= ~BIT(intx);  in cdns_pcie_ep_assert_intx()
346 	spin_lock_irqsave(&ep->lock, flags);  in cdns_pcie_ep_assert_intx()
347 	status = cdns_pcie_ep_fn_readw(pcie, fn, PCI_STATUS);  in cdns_pcie_ep_assert_intx()
348 	if (((status & PCI_STATUS_INTERRUPT) != 0) ^ (ep->irq_pending != 0)) {  in cdns_pcie_ep_assert_intx()
350 		cdns_pcie_ep_fn_writew(pcie, fn, PCI_STATUS, status);  in cdns_pcie_ep_assert_intx()
352 	spin_unlock_irqrestore(&ep->lock, flags);  in cdns_pcie_ep_assert_intx()
357 	writel(0, ep->irq_cpu_addr + offset);  in cdns_pcie_ep_assert_intx()
360 static int cdns_pcie_ep_send_intx_irq(struct cdns_pcie_ep *ep, u8 fn, u8 vfn,  in cdns_pcie_ep_send_intx_irq()  argument
365 	cmd = cdns_pcie_ep_fn_readw(&ep->pcie, fn, PCI_COMMAND);  in cdns_pcie_ep_send_intx_irq()
367 		return -EINVAL;  in cdns_pcie_ep_send_intx_irq()
369 	cdns_pcie_ep_assert_intx(ep, fn, intx, true);  in cdns_pcie_ep_send_intx_irq()
374 	cdns_pcie_ep_assert_intx(ep, fn, intx, false);  in cdns_pcie_ep_send_intx_irq()
378 static int cdns_pcie_ep_send_msi_irq(struct cdns_pcie_ep *ep, u8 fn, u8 vfn,  in cdns_pcie_ep_send_msi_irq()  argument
381 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_send_msi_irq()  local
387 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_send_msi_irq()
390 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_send_msi_irq()
392 		return -EINVAL;  in cdns_pcie_ep_send_msi_irq()
398 		return -EINVAL;  in cdns_pcie_ep_send_msi_irq()
401 	data_mask = msi_count - 1;  in cdns_pcie_ep_send_msi_irq()
402 	data = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_DATA_64);  in cdns_pcie_ep_send_msi_irq()
403 	data = (data & ~data_mask) | ((interrupt_num - 1) & data_mask);  in cdns_pcie_ep_send_msi_irq()
406 	pci_addr = cdns_pcie_ep_fn_readl(pcie, fn, cap + PCI_MSI_ADDRESS_HI);  in cdns_pcie_ep_send_msi_irq()
408 	pci_addr |= cdns_pcie_ep_fn_readl(pcie, fn, cap + PCI_MSI_ADDRESS_LO);  in cdns_pcie_ep_send_msi_irq()
412 	if (unlikely(ep->irq_pci_addr != (pci_addr & ~pci_addr_mask) ||  in cdns_pcie_ep_send_msi_irq()
413 		     ep->irq_pci_fn != fn)) {  in cdns_pcie_ep_send_msi_irq()
415 		cdns_pcie_set_outbound_region(pcie, 0, fn, 0,  in cdns_pcie_ep_send_msi_irq()
417 					      ep->irq_phys_addr,  in cdns_pcie_ep_send_msi_irq()
420 		ep->irq_pci_addr = (pci_addr & ~pci_addr_mask);  in cdns_pcie_ep_send_msi_irq()
421 		ep->irq_pci_fn = fn;  in cdns_pcie_ep_send_msi_irq()
423 	writel(data, ep->irq_cpu_addr + (pci_addr & pci_addr_mask));  in cdns_pcie_ep_send_msi_irq()
433 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_map_msi_irq()  local
435 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_map_msi_irq()  local
442 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_map_msi_irq()
445 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_map_msi_irq()
447 		return -EINVAL;  in cdns_pcie_ep_map_msi_irq()
453 		return -EINVAL;  in cdns_pcie_ep_map_msi_irq()
456 	data_mask = msi_count - 1;  in cdns_pcie_ep_map_msi_irq()
457 	data = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_DATA_64);  in cdns_pcie_ep_map_msi_irq()
461 	pci_addr = cdns_pcie_ep_fn_readl(pcie, fn, cap + PCI_MSI_ADDRESS_HI);  in cdns_pcie_ep_map_msi_irq()
463 	pci_addr |= cdns_pcie_ep_fn_readl(pcie, fn, cap + PCI_MSI_ADDRESS_LO);  in cdns_pcie_ep_map_msi_irq()
481 static int cdns_pcie_ep_send_msix_irq(struct cdns_pcie_ep *ep, u8 fn, u8 vfn,  in cdns_pcie_ep_send_msix_irq()  argument
486 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_send_msix_irq()  local
494 	epf = &ep->epf[fn];  in cdns_pcie_ep_send_msix_irq()
496 		epf = &epf->epf[vfn - 1];  in cdns_pcie_ep_send_msix_irq()
498 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_send_msix_irq()
500 	/* Check whether the MSI-X feature has been enabled by the PCI host. */  in cdns_pcie_ep_send_msix_irq()
501 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSIX_FLAGS);  in cdns_pcie_ep_send_msix_irq()
503 		return -EINVAL;  in cdns_pcie_ep_send_msix_irq()
506 	tbl_offset = cdns_pcie_ep_fn_readl(pcie, fn, reg);  in cdns_pcie_ep_send_msix_irq()
510 	msix_tbl = epf->epf_bar[bir]->addr + tbl_offset;  in cdns_pcie_ep_send_msix_irq()
511 	msg_addr = msix_tbl[(interrupt_num - 1)].msg_addr;  in cdns_pcie_ep_send_msix_irq()
512 	msg_data = msix_tbl[(interrupt_num - 1)].msg_data;  in cdns_pcie_ep_send_msix_irq()
515 	if (ep->irq_pci_addr != (msg_addr & ~pci_addr_mask) ||  in cdns_pcie_ep_send_msix_irq()
516 	    ep->irq_pci_fn != fn) {  in cdns_pcie_ep_send_msix_irq()
518 		cdns_pcie_set_outbound_region(pcie, 0, fn, 0,  in cdns_pcie_ep_send_msix_irq()
520 					      ep->irq_phys_addr,  in cdns_pcie_ep_send_msix_irq()
523 		ep->irq_pci_addr = (msg_addr & ~pci_addr_mask);  in cdns_pcie_ep_send_msix_irq()
524 		ep->irq_pci_fn = fn;  in cdns_pcie_ep_send_msix_irq()
526 	writel(msg_data, ep->irq_cpu_addr + (msg_addr & pci_addr_mask));  in cdns_pcie_ep_send_msix_irq()
534 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_raise_irq()  local
535 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_raise_irq()  local
536 	struct device *dev = pcie->dev;  in cdns_pcie_ep_raise_irq()
542 			return -EINVAL;  in cdns_pcie_ep_raise_irq()
544 		return cdns_pcie_ep_send_intx_irq(ep, fn, vfn, 0);  in cdns_pcie_ep_raise_irq()
547 		return cdns_pcie_ep_send_msi_irq(ep, fn, vfn, interrupt_num);  in cdns_pcie_ep_raise_irq()
550 		return cdns_pcie_ep_send_msix_irq(ep, fn, vfn, interrupt_num);  in cdns_pcie_ep_raise_irq()
556 	return -EINVAL;  in cdns_pcie_ep_raise_irq()
561 	struct cdns_pcie_ep *ep = epc_get_drvdata(epc);  in cdns_pcie_ep_start()  local
562 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_start()  local
563 	struct device *dev = pcie->dev;  in cdns_pcie_ep_start()
564 	int max_epfs = sizeof(epc->function_num_map) * 8;  in cdns_pcie_ep_start()
572 	cdns_pcie_writel(pcie, CDNS_PCIE_LM_EP_FUNC_CFG, epc->function_num_map);  in cdns_pcie_ep_start()
579 	last_fn = find_last_bit(&epc->function_num_map, BITS_PER_LONG);  in cdns_pcie_ep_start()
581 	value  = cdns_pcie_readl(pcie, reg);  in cdns_pcie_ep_start()
583 	cdns_pcie_writel(pcie, reg, value);  in cdns_pcie_ep_start()
585 	if (ep->quirk_disable_flr) {  in cdns_pcie_ep_start()
587 			if (!(epc->function_num_map & BIT(epf)))  in cdns_pcie_ep_start()
590 			value = cdns_pcie_ep_fn_readl(pcie, epf,  in cdns_pcie_ep_start()
594 			cdns_pcie_ep_fn_writel(pcie, epf,  in cdns_pcie_ep_start()
600 	ret = cdns_pcie_start_link(pcie);  in cdns_pcie_ep_start()
649 int cdns_pcie_ep_setup(struct cdns_pcie_ep *ep)  in cdns_pcie_ep_setup()  argument
651 	struct device *dev = ep->pcie.dev;  in cdns_pcie_ep_setup()
653 	struct device_node *np = dev->of_node;  in cdns_pcie_ep_setup()
654 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_setup()  local
661 	pcie->is_rc = false;  in cdns_pcie_ep_setup()
663 	pcie->reg_base = devm_platform_ioremap_resource_byname(pdev, "reg");  in cdns_pcie_ep_setup()
664 	if (IS_ERR(pcie->reg_base)) {  in cdns_pcie_ep_setup()
666 		return PTR_ERR(pcie->reg_base);  in cdns_pcie_ep_setup()
672 		return -EINVAL;  in cdns_pcie_ep_setup()
674 	pcie->mem_res = res;  in cdns_pcie_ep_setup()
676 	ep->max_regions = CDNS_PCIE_MAX_OB;  in cdns_pcie_ep_setup()
677 	of_property_read_u32(np, "cdns,max-outbound-regions", &ep->max_regions);  in cdns_pcie_ep_setup()
679 	ep->ob_addr = devm_kcalloc(dev,  in cdns_pcie_ep_setup()
680 				   ep->max_regions, sizeof(*ep->ob_addr),  in cdns_pcie_ep_setup()
682 	if (!ep->ob_addr)  in cdns_pcie_ep_setup()
683 		return -ENOMEM;  in cdns_pcie_ep_setup()
686 	cdns_pcie_writel(pcie, CDNS_PCIE_LM_EP_FUNC_CFG, BIT(0));  in cdns_pcie_ep_setup()
694 	epc_set_drvdata(epc, ep);  in cdns_pcie_ep_setup()
696 	if (of_property_read_u8(np, "max-functions", &epc->max_functions) < 0)  in cdns_pcie_ep_setup()
697 		epc->max_functions = 1;  in cdns_pcie_ep_setup()
699 	ep->epf = devm_kcalloc(dev, epc->max_functions, sizeof(*ep->epf),  in cdns_pcie_ep_setup()
701 	if (!ep->epf)  in cdns_pcie_ep_setup()
702 		return -ENOMEM;  in cdns_pcie_ep_setup()
704 	epc->max_vfs = devm_kcalloc(dev, epc->max_functions,  in cdns_pcie_ep_setup()
705 				    sizeof(*epc->max_vfs), GFP_KERNEL);  in cdns_pcie_ep_setup()
706 	if (!epc->max_vfs)  in cdns_pcie_ep_setup()
707 		return -ENOMEM;  in cdns_pcie_ep_setup()
709 	ret = of_property_read_u8_array(np, "max-virtual-functions",  in cdns_pcie_ep_setup()
710 					epc->max_vfs, epc->max_functions);  in cdns_pcie_ep_setup()
712 		for (i = 0; i < epc->max_functions; i++) {  in cdns_pcie_ep_setup()
713 			epf = &ep->epf[i];  in cdns_pcie_ep_setup()
714 			if (epc->max_vfs[i] == 0)  in cdns_pcie_ep_setup()
716 			epf->epf = devm_kcalloc(dev, epc->max_vfs[i],  in cdns_pcie_ep_setup()
717 						sizeof(*ep->epf), GFP_KERNEL);  in cdns_pcie_ep_setup()
718 			if (!epf->epf)  in cdns_pcie_ep_setup()
719 				return -ENOMEM;  in cdns_pcie_ep_setup()
723 	ret = pci_epc_mem_init(epc, pcie->mem_res->start,  in cdns_pcie_ep_setup()
724 			       resource_size(pcie->mem_res), PAGE_SIZE);  in cdns_pcie_ep_setup()
730 	ep->irq_cpu_addr = pci_epc_mem_alloc_addr(epc, &ep->irq_phys_addr,  in cdns_pcie_ep_setup()
732 	if (!ep->irq_cpu_addr) {  in cdns_pcie_ep_setup()
734 		ret = -ENOMEM;  in cdns_pcie_ep_setup()
737 	ep->irq_pci_addr = CDNS_PCIE_EP_IRQ_PCI_ADDR_NONE;  in cdns_pcie_ep_setup()
739 	set_bit(0, &ep->ob_region_map);  in cdns_pcie_ep_setup()
741 	if (ep->quirk_detect_quiet_flag)  in cdns_pcie_ep_setup()
742 		cdns_pcie_detect_quiet_min_delay_set(&ep->pcie);  in cdns_pcie_ep_setup()
744 	spin_lock_init(&ep->lock);  in cdns_pcie_ep_setup()