1. Opis ogólny
2. Pobieranie danych z pliku CSV - krok po kroku
3. Sprawdzanie poprawności definicji
4. Rady praktyczne
5. Typowe będy przy imporcie danych
6. Tematy powiązane
1. Opis ogólny
Dane programu Trawers można wymieniać z innymi systemami wykorzystując
wiele różnych mechanizmów.
Jednym z nich jest pobieranie (import) i wysyłanie (export) danych w formacie CSV.
Inne mechanizmy umożliwiają wymianę danych w formatach:
* pliki EDI (format xml)
* funkcje SOA (API) (format xml)
* pliki JPK (format xml)
Formaty plików wymiany
Format CSV jest najpopularniejszym formatem tekstowego zapisu danych.
CSV można utworzyć np. w Excelu
Etapy pobierania (importowania) danych
* Utworzenie pliku CSV
* Określenie struktury pliku CSV (mapowanie)
* Wczytanie pliku CSV
* Zapisanie wczytanych danych do bazy danych progamu Trawers
Zalecane kroki
(opisane szczegółowo niżej):
* wczytać dane z programu zródłowego do Excela
* w Excelu wykonać wstępną edycję: nowe pola, zmiana wartości istniejących
* w Excelu zapisać dane do pliku CSV
* plik CSV pobrać w programie Trawers
Osoby bardziej zaawansowane, mogą utworzyć pliki CSV przy użyciu
któregoś z popularnych jezyków programowania, np. Basic, Perl, Python,
lub przy użyciu dowolnego edytora tekstowego.
NOTE: pobieranie z pliku CSV odbywa się wg definicji (mapowania)
podanej w tabeli definicji plików CSV.
Wymiana plików CSVCSV Pola plików
2. Pobieranie danych z pliku CSV - krok po kroku
Pobieranie kart z pliku CSV, to funkcje ułatwiające migracje danych z
innych systemów do pakietu Trawers. Należą do nich funkcje: pobierania
kart odbiorców i dostawców, kart KIM, kart BOM oraz danych transakcyjnych
(dokumentów): dokumentów księgowych w KG, wyciagów bankowych w KB,
dokumentów magazynowych, np. przychodów, stanów magazynowych spisanych w
inwentaryzacji, zamówień sprzedaży w NA.
Funkcje pobierania zostały zestandaryzowane, tak aby maksymalnie uprościć
i przyśpieszyć migracje. Pobierają dane w formacie tekstowym CSV
a przyporządkowanie (mapowanie) pól pobieranego pliku i pól bazy Trawersa
jest definiowalne w: Tabela definicji plików CSV
W procesie pobierania odbywa się wstępna kontrola poprawności wartości
pól oraz powiązań z innymi zbiorami.
Zalecane kroki
1. Dopisać wzorcową karte, np. odbiorcy, KIM.
Pozwoli to zapoznać się z zawartoscią oraz ustalić z jakimi zbiorami
karta jest powiązana, np. tabelą grup, tabelą cech kontrahentów
2. Utworzyć wzorcowy wiersz w formacie CSV wg karty wzorcowej, użyć funkcji:
* MG > Wysyłanie kart KIM do pliku CSV
* NA > Wysyłanie kart odbiorców do pliku CSV
* ZO > Wysyłanie kart dostawców do pliku CSV
3. Wzorcowy wiersz w formacie CSV przenieść do Excela --> Arkusz 1
4. Utworzyć Arkusz 2 z wierszami kart z innego systemu
Jeden wiersz powinien reprezentować jedną kartę
5. Przygotować arkusze do scalenia, tak aby wskazane pola z Arkusza 2
przepisane zostały do Arkusza 1:
w Arkuszu 1, do pól występujących w Arkuszu 2, wstawić funkcję
przepisania w następujący sposób: wcisnąć znak równości i wskazać
właściwe pole z 1-go wiersza Arkusza 2.
Przypisanie powtórzyć dla każdego zgodnego pola
6. Uzgodnić format pól z datami w Arkuszu 1, np. zmienić ręcznie w polach
Arkusza 1 tak aby były zgodne z datami z pól przenoszonych z Arkusza 2
7. Zaznaczyć przygotowany wiersz Arkusza 1 i powielić (przeciągając za róg
ramki w dół) do ilości zgodnej z Arkuszem 2
8. Utworzyć plik CSV wg Arkusza 1 i przenieść do katalogu, np. \trInOut
np. (tyko fragment)
------------------------------------------
"123-213-444";"201x/02/23-00123";300;34,80
"123-213-555";"201x/02/23-00124";12;12,00
------------------------------------------
9. Zbudować definicję pliku CSV - w definicji umiescić wszystkie pola.
10. Pobrać plik CSV zgodnie z definicją. Zapisywać z potwierdzeniem.
3. Sprawdzanie poprawności definicji
Najprostsza metoda sprawdzenia:
* Zbudować definicje pliku CSV (mapowanie) zawierającą wszystkie pola
* Zapisać zawartość zbioru do pliku CSV wg definicji (mapowania)
* Zmienić wartość pól kluczowych, np. w rekordzie odbiorcy zmienić
wartość pól: ODBDOST, ODNAZWA, ODNIP
* Wczytać zmieniony plik CSV wg tej samej definicji (mapowania)
NOTE: Program wczytujący nie sprawdza poprawności syntaktycznej (składniowej)
plików CSV. Poprawność należy sprawdzać doświadczalnie.
4. Rady praktyczne
* Poprawność formatu pobieranych danych, sprawdzać na małej liczbie rekordów
* Po pobraniu danych, wykonać weryfikację i utworzyć zestawienia kontrolne,
które znajdują się przy podstawowych kartotekach, np. KIM
5. Typowe będy przy imporcie danych
Błędy mogą wynikać z różnych przyczyn - od błędnego formatu pliku po niespójność danych
względem konfiguracji systemu. Najczęstsze problemy:
1. Nieprawidłowy format danych wejściowych
* Plik importu (np. CSV, TXT) ma błędne separatory (np. przecinki zamiast średników).
* Brakuje nagłówków lub są one niezgodne z oczekiwaniami systemu.
* Nieprawidłowe kodowanie znaków (np. brak UTF-8, co prowadzi do błędów polskich znaków).
2. Niezgodność struktur danych
* Liczba kolumn w wierszach danych nie zgadza się z definicją formatu importu.
* Dane w kolumnach nie odpowiadają oczekiwanym typom (np. tekst zamiast liczby).
* Przekroczone limity długości pól (np. za długi opis, numer referencyjny, itd.).
3. Brak wymaganych danych powiązanych
* Importowane dane odwołują się do nieistniejących kartotek
(np. kontrahentów, magazynów, indeksów towarów).
* Brakujące kody walut, stawek VAT, jednostek miary itp.
4. Problemy z kluczami głównymi lub unikalnością
* Powtarzające się rekordy (np. dwa wpisy z tym samym numerem dokumentu).
* Próba dodania rekord, który już istnieje (duplikaty w bazie).
5. Nieodpowiednia konfiguracja 'importera'
* Błędy w definicji szablonu importu (formatka, mapowanie kolumn).
* Brak aktywacji odpowiednich parametrów (np. aktywny import próbny).
* Nieprawidłowo ustawiony separator dziesiętny (np. przecinek zamiast kropki).
6. Logika biznesowa systemu
* Próba zaimportowania dokumentu do zamkniętego okresu księgowego.
* Niezgodność statusów dokumentów z wymaganiami Trawersa
(np. import dokumentu WZ do nieaktywnego magazynu).
7. Błędy walidacji danych
* Brak wymaganych pól (np. daty, ceny, ilości).
* Niepoprawne wartości (np. ujemne ilości tam, gdzie nie są dozwolone).