Nesutampa šaltinio nuoroda su senos portalo versijos nuoroda

[aurjas]

Rinkinys https://data.gov.lt/datasets/1894/

Šaltinyje pateikto failo nuoroda yra nauja ir nesutampa su senos portalo versijos nuoroda. Paspaudus šią nuorodą https://data.gov.lt/dataset/1894/download/14071/TUB_duomenys.csv, išmeta klaidą "Not Found". Tačiau pridėjus "old." prie nuorodos https://old.data.gov.lt/dataset/1894/download/14071/TUB_duomenys.csv, jau failą randa.

Prie to paties, reikėtų įsitikinti ar veikia ir peradresavimas nuorodoms į seną portalo versiją (redirect).

Dar pridėsiu vieną klaidą, užvedus pelės kursorių ant "Atsisiųsti" (žr. paveiksliuką), rodo, kad tai yra csv failas, bet paspaudus "Atsisiųsti" išsaugoti leidžia tik kaip .txt failą. Tokiu atveju duomenų naudotojui reiktų pasikeisti failo formatą.

Susiję

• Pasikeitusių nuorodų peradresavimas #144

[sirex]

@aurjas ar testavai šį pataisymą? Nes visos išorinių šaltinių nuorodos sugadintos ir neveikia.

@adp-atea prašau, prieš atiduodant pataisymus, pasitikrinti, ar jie veikia. Dabar turime tokį pataisymą:

katalogas/vitrina/resources/models.py

Lines 168 to 171 in 1511640

	download_url = self.download_url
	url_parts = download_url.split('//')
	url_parts.insert(1, '//old.')
	return ''.join(url_parts)

Kuris suformuoja tokią nuorodą, kuri veda į neegzistuojantį adresą, ir net į neegzistuojantį domeną.

Nereikia daryti nukreipimo į old.data.gov.lt, nes tai yra laikinai veikiantis serveris, kuris bus išjungtas. Reikia sutvarkyti nuorodas į data.gov.lt failus, kurie yra perkelt, tik reikia į juos tinkamai suformuoti nuorodas. Dabar nuorodos formuojamos į filer.

Buvo padaryta failų migracija į Filer:

katalogas/scripts/migrate_files.py

Lines 42 to 62 in a29672d

	def migrate_distribution_files(pbar, root_path, folder):
	for distribution in DatasetDistribution.objects.filter(
	filename__isnull=False,
	identifier__isnull=False
	):
	file_path = os.path.join(root_path, distribution.identifier)
	if os.path.exists(file_path):
	dj_file = DjangoFile(
	open(file_path, mode='rb'),
	name=distribution.filename
	)
	file, created = File.objects.get_or_create(
	file=dj_file,
	original_filename=distribution.filename,
	folder=folder
	)
	distribution.file = file
	distribution.save(update_fields=['file'])
	else:
	print(f'File with path "{file_path}" was not found')
	pbar.update(1)

Bet buvo pamiršta pataisyti distribucijų nuorodas ir padaryti peradresavimą, kad senos nuorodos būtų nukreiptos į naują vietą.

[adp-atea]

Atstačiau, kaip buvo
#865

O dėl pačio task`o tai tuos nurodos imamamos iš čia, download_url lauko.

Tai čia man atrodo, kad konfigūracijos reikalas, nelabai aišku kokios nuorodos turėtų būti.

[adp-atea]

Turint dabartinius sąryšius modeliuose nelabai, kaip yra parašyti tokį scriptą / migraciją. Kaip suprantu fileri`o nuorodos yra čia filer_file.file

ir beveik nėra kaip pasiekti iš distribution objekto fileri`o nuoroda. Vienientelis ką sugalvojau, tai paimti distribution.download_url, jį išsplitinti ir gavus failo pavadinima, pagal tai paimti filerio nuoroda, bet tai padengtų ne visus įrašus.

Kiek žiūrėjau yra apie 20 tokių įrašų

http://localhost:9000/?pgsql=postgres&username=adp&db=adp-dev&ns=public&select=dataset_distribution&columns%5B0%5D%5Bfun%5D=&columns%5B0%5D%5Bcol%5D=&where%5B0%5D%5Bcol%5D=download_url&where%5B0%5D%5Bop%5D=LIKE+%25%25&where%5B0%5D%5Bval%5D=https%3A%2F%2Fdata.gov.lt%2Fdataset%2F&where%5B01%5D%5Bcol%5D=&where%5B01%5D%5Bop%5D=%3D&where%5B01%5D%5Bval%5D=&order%5B0%5D=&limit=50&text_length=100

Ir ta nuorodą galima pakeisti per patį web`ą, tai gal tai galėtų padaryti sistemos administratoriai?