Budowa bazy danych w MS Sql Server 2014

Witam

Postanowiłem na łamach forum podzielić się moimi perypetiami, które powstają przy budowie bazy danych…
W skrócie: muszę zbudować bazę danych gdzie będą zaciągane dane z plików excela.
Na razie próbuję w środowisku testowym na moim lapku: sql server 2014 + MS sql server 2014 Management Studio (wszystko w wersji Express).
Pomimo, iż danych jest bardzo mało MUSZĘ zrobić to sql server.
Co do plików excela: są miesięczne, wszystkie zbudowane są według tego samego schematu. W komórce c3 jest data (określa miesiąc i rok), zaś w komórce poniżej jest nazwa rejonu/komórki z którego pochodzi raport. Wszystkie dane zaczynają się od wiersza 17. W plikach powtarzają się nazwy klientów (takie same w różnych rejonach) i do tych klientów przypisane są numery. Reszta danych jest ruchoma – płatności, itp.
Niestety ze względu na wrażliwe dane nie mogę zamieścić przykładowego pliku…

Mniej więcej wiem jak ma wyglądać schemat bazy docelowej (ale to na razie daleka perspektywa). Obecnie zajmuję się migracją danych do tabeli tymczasowej (migracyjnej), z której docelowo będą pobierane dane do bazy właściwej.
Tabela migracyjna (robocza nazwa Mgr) jest odzwierciedleniem pliku z excela.

I tutaj zaczynają się schody…

Jestem całkowitym rookie w systemach bazodanowych, nie znam języka (odmiana t-sql), dopiero zaczynam ze środowiskiem sql server.
Między innymi postanowiłem też robić wpisy na forum – może ktoś mi pomoże, może poprzez moje eksperymenty ja komuś pomogę?
Wpisy będą nieregularne, ale postaram się dość dokładnie opisać czynności i trudności których (już) doświadczam.

Czekajcie na ciąg dalszy:)
Pozdrawiam
Tomtom

Też jestem zielony, ale czy importowania nie powinieneś zrobić przy wykorzystaniu narzędzia SSIS? Ono (z tego co wiem) pozwala na zapewnienie spójności typów, więc nie powinieneś mieć problemów. Kwestia tylko tego, czy wersja Express to posiada.

Używam/używałem tego wizarda. Co się działo i co się dzieje napiszę jeszcze dzisiaj...
Tomtom

Zacząłem od podglądania na YT jak wygląda obsługa wizarda do przenosin pliku z np. excela.
Niestety cały czas wywalało mi błąd odbc… Odpuściłem to i zacząłem grzebać w kodzie
Za pomocą funkcji openrowset (polecam stronkę i artykulik):

http://www.sqlpedia.pl/import-danych-z-excela-do-bazy-sql-server-za-pomoca-t-sql/



zacząłem pobierać dane…  i uzupełniłem system o brakujące pliki startowe do przenoszenia danych. Wszystko było cacy ale funkcja ta tworzyła mi chwilową tabelę, której nie potrafiłem zapisać jako tabeli bazowej w bazie migracyjnej. Próbowałem tą funkcję (openrowset) połączyć z create itp. W końcu wyszło mi paskudztwo pt. widok (view)

Aha, miałem problemy z exportem pomimo że wszystko było dobrze wpisane i zatwierdzone.
Rozwiązaniem tego problemu było uruchomienie menedżera sql serwer jako administrator!!!

Nie byłem zadowolony i powróciłem do wizarda.
I tutaj były kolejne hocki-klocki… Częściowo już rozwiązane...
cdn.
Tomtom

P.S. Jeżeli chcecie mogę wrzucać linki do stronek, tablic i innych, którymi się posiłkuję lub będę się posiłkował przy tworzeniu tego pieroństwa

Z tego co piszesz, to będziesz m.in miał na 99% temat (jak przy każdej migracji) często niespójności danych źródłowych.
Np. w polu miasto będziesz miał Kraklów (pisane przez śmieciowe "l") i tym samym Twoja procedura migracyjna (napisana w native sql'u) nie będzie wstanie powiązać w docelowych danych id miasta z Twojej nadrzędnej tabeli z miastami z tą daną migrowaną.

Będziesz musiał najprawdopodobniej opracować zestaw widoków (ew. zapytań sql) które będą generowały raporty niespójności danych (ze skanu wypełnionych Twoich tabel migracyjnych "Mgr" o których wspomniałeś) i taki raport musi być odsyłany (do szerokorozumianego klienta) z informacją do niego gdzie musi poprawić swoje dane, jeżeli chce aby znalazły się w docelowej bazie. Przed wysyłką informacji do klienta (raport z info co nie weszło i z jakiego powodu) i tak odpalasz Twój migrator (wtedy "wchodzi" do docelowej bazy co się da) w "drugim rzucie" wrzucasz to co poprawili (przemyśl procedurę/chronologię współpracy z klientem).
Twoja procedura migracyjna będzie musiała (przy wielokrotnym uruchamianiu jej dla kolejnych paczek danych np. gdy wyślą poprawione dane) pewnie determinować na wszelki wypadek , czy jakaś dana już kiedyś nie weszła , żeby nie wrzucać dubla) ... sporo masz roboty, ale dość ciekawej !

Witam
To co piszesz Koszmarku to jeszcze daleko przede mną... Na razie cały czas poznaję możliwości wizarda oraz zależności danych (ich typów) w excelu a w docelowej (migracyjnej) tabeli... Co mogę skonwertować, i najważniejsze: jakie niespodzianki czają się w plikach, które dostaję... A jest tam radosna twórczość: komórki z datą nie są typowane jako data, spacje w pustych komórkach, spacje (lub inne dziwolągi) w nazewnictwie klientów itp. Wtedy z jednego klienta (tego samego w dwóch oddziałach) robią się dwaj różni klienci... Widzę, że najpierw muszę się zająć jakością danych wsadowych a potem zabierać się za resztę... Ale i tak dużo radości sprawia mi odkrywanie tajemnicy bazodanowej i jej interfejsu....

No ale miałem pisać o wizardzie. Bardzo fajne i przydatne narzędzie. Tym bardziej, że sami możemy określać jaki zakres będzie obejmował import danych (za pomocą select-u i [nazwa_arkusza$zakres])
Dodatkowo wizard konwertuje nam typy danych (oczywiście możemy tym lekko sterować), podczas pobierania nowych danych możemy czyścić tabelę docelową ze starych danych lub je zostawić
Muszę się zastanowić jak pobierać datę (miesiąc i rok, i ew. dzień jako '01') do tej tabeli do której zaciągam dane.

W tej chwili cały czas eksperymentuję z tym wizardem ale wygląda (na razie to tak) że pobieram sobie te kilka(!) plików z xls i mam dane z całego miesiąca... Bawię się (ćwicząc) zapytaniami, a przy okazji sprawdzam poprawność danych (na razie oglądam dane z jednej tabeli - muszę  się uporać z wprowadzaniem daty oraz nazwy rejonu do importowanych danych). Jeżeli będę potrafił zaciągnąć dane do zbiorczej tabeli migracyjnej wtedy zacznę myśleć nad pobieranie danych z tej tabeli do tabel w bazie docelowej...
Muszę przyznać, że polubiłem siedzenie nad tymi zagadnieniami  - gorzej z rodziną

Podaję link do kolejnej ciekawej stronki dotyczącej (nie tylko zagadnień sql...)

http://stackoverflow.com/

I biblia online dla wszystki ms sql server bazodanowców

https://msdn.microsoft.com/pl-pl/library/ms130214(v=sql.110).aspx

I tak na marginesie: moja znajomość angielskiego pozwala na pisanie zapytań w sql i częściowe zrozumienie rozwiązań ze stron anglojęzycznych... Tak więc dla chcącego ... Ale zawartość books online mnie przerosła
Myślałem, żeby zrobić mały tutorial z obsługi wizarda (przynajmniej na moim poziomie) ale są filmiki na sieci...

Nie wiem kiedy następny wpis bo teraz cały czas bawię się pobieraniem plików z dopisywanymi instrukcjami (niestety nie jest różowo) ale czuję dużo fanu. W międzyczasie jeszcze oglądam różne tutki jak sobie radzą inni. Przyznaję, że najbardziej boję się "prawdziwego" kodowania. Osobiście wszystkie dane chcę pobierać poprzez kod a nie poprzez wizarda (chociaż mam tylko parę plików i wizard wydaje się lepszym -w tym przypadku- rozwiązaniem) podejrzewam, że można dokładniej sterować procesem importu (choć tak jak pisał Koszmarek trzeba przewidzieć w kodzie działania na wszelkie ewentualności)...
Rozpisałem się troszkę    
Pozdrawiam
Tomtom
P.S. Przepraszam jeżeli robię wielkie halo z powodu głupiej, małej bazki ale problemów jest co niemiara - to nie jest tutorial, gdzie piszemy sobie prostymi komendami bazę, następnie wprowadzamy ręcznie parę danych, i cieszymy się, że nam wszystko gra... Chciałbym tak mieć

tomtom1 napisał:Witam
A jest tam radosna twórczość: komórki z datą nie są typowane jako data, spacje w pustych komórkach, spacje (lub inne dziwolągi) w nazewnictwie klientów itp. Wtedy z jednego klienta (tego samego w dwóch oddziałach) robią się dwaj różni klienci... Widzę, że najpierw muszę się zająć jakością danych wsadowych a potem zabierać się za resztę... Ale i tak dużo radości sprawia mi odkrywanie tajemnicy bazodanowej i jej interfejsu....

No Tomtom ale ja właśnie o tym pisałem, hyhy . Jesteś w pierwszej fazie , procesowania kwestii spójności danych źródłowych trzym się (trzymam kciuki !)

Witam
Z tym trzymaniem kciuków to bardzo dobry pomysł... Dzisiaj miałem małą przeprawę odnośnie jakości danych (ich spójności). Wstępna odpowiedź była żołnierska ale mam się przypomnieć po Nowym Roku... Nie rozumiem tego podejścia. Dałem mały upust mojej frustracji (tak teraz się chyba mówi na wkur!@#$%^) ale niestety jak grochem o ścianę.  Z drugiej strony to dobrze bo trochę sobie mogę poćwiczyć (czytaj: popsuć) sql server i język do tego ustrojstwa:)
Tomtom

Najważniejsze jest to, abyś spreparował klarowny raport (na podst. spreparowanych przez Ciebie szablonów zapytań/widoków sql) z każdą komórką która wymaga ich korekty.
... a co najważniejsze wysłać mailem  z kopią do os. decyzyjnych, z profesjonalnym/uprzejmym wyjaśnieniem dlaczego temat stoi aż do czasu kiedy oni podejmą akcję

W tym momencie wiedzą, że czas tyka na ich niekorzyść i mogą Ci naskakać ;p  (masz mailową dupokryjkę która uwydatnia czy im zależy czy nie na tej akcji)

Witam po przerwie. Wczoraj dowiedziałem się, że została przyjęta moja propozycja wyglądu/formatu raportów, które mam otrzymywać. Niestety nie mogę ruszyć samej struktury ale będzie zmieniony (ujednolicony) format danych. To już coś. Nie pytajcie się jak ten format będzie zmieniany bo mi wstyd o tym pisać...
Jeżeli nie mogłem zmienić struktury to muszę wymyślić na tyle poprawne zapytanie aby oprócz komórek znajdujących się na pewnym obszarze pobrać dane z jednej komórki umieszczonej osobno i wkleić te dane do kolumny... Ale pieśń przyszłości. W tej chwili zawziąłem się na język sql (odmiana T-sql). Czasami trzeba nieźle się nakombinować, żeby uzyskać to chcę - ale jaka satysfakcja (o tej satysfakcji to chyba nigdy nie przestanę pisać    ) Oczywiście ćwiczę na bazach typu AdventureWorks, Northwind...
Pozdrawiam
Tomtom

tak trzymać !!!

Witam
Wiem - dawno nic nie było ale czekałem na pierwsze pliki w nowym formacie danych... Gdyby na forum można było siarczyście przeklnąć to uczyniłbym to nie gorzej niż śp. Marek Kotański, który był w tym ponoć artystą
Wracając do sprawy: po tym co dostałem zapytałem się grzecznie, czy to jest żart... Okazało się (a raczej potwierdziły plotki) że pliki są przerabiane ręcznie!!!! przez jakiegoś pracownika w ramach luzu...
Boże, widzisz i nie grzmisz.... W tej chwili  sprawa jest dalej otwarta (wyraziłem swoje zdanie) i czekam co będzie dalej... Ale cały czas (w miarę wolnego w domu) jadę z koksem tzn. z zapytaniami... Nie wiedziałem, że można tak pięknie namieszać ze złączeniami:) choć ku mojemu zdziwieniu temat bardzo gładko mi wszedł Teraz przerabiam funkcje agregujące - też fajne. Chociaż nie mogę się doczekać już programowania proceduralnego (wiem, że to przepaść do tego co umiem). To już powinno dać mi dobry przyczynek do automatyzacji działań.
Trochę o lekturach:
Genialna w swojej prostocie książka Katarzyny Żmudy "Jak osiągać mistrzostwo w konstruowaniu zapytań" - bardzo dużo zadań, mało błędów (raczej z pogranicza daty), super się czyta , przepraszam - pisze. Bo na tym ta nauka też polega.

Uwaga - nikt mi nie płaci (a szkoda) za polecanie tej książki dla totalnych zieleńców!

Mam jeszcze dwie książki ale nie testowane (przynajmniej nie w całości) i nie mogę się wypowiadać na ich temat..
Jak coś to pytać na priv.
Pozdrawiam
Tomtom

tomtom1 napisał:
Genialna w swojej prostocie książka Katarzyny Żmudy "Jak osiągać mistrzostwo w konstruowaniu zapytań" - bardzo dużo zadań, mało błędów (raczej z pogranicza daty), super się czyta , przepraszam - pisze. Bo na tym ta nauka też polega

ooo ... poczytamy, dzięki !

Koszmarku!

Czytaj uważnie: to książka dla newbie w (T)sql-u:) A Ty raczej do tej grupy nie należysz... Ale książka (jak nigdy) mnie zainteresowała i wciągnęła - nie ma czasu na nudę. Prawdę mówiąc, żeby zrozumieć co niektóre przykłady potrafiłem spędzić ok 1,5h nad trzema (3) przykładami (należy do tego dodać jeszcze moje eksperymenty w tych pytaniach ) Ale to już sprawa na inny wpis...
Pozdrawiam
Tomtom

ajtam ajtam ... zdzisz się ale ja też mam zawsze jakieś braki do nadrobienia z zapytań .. poza tym kiedyś byłem dość niedawno na szkoleniu z podstaw plsql i się zdziwiłem ile nowych rzeczy się tam dowiedziałem :p , ale może dlatego że lektor był mocarzem.

Witam.
Ciekawy temat Panowie.
Sam zaczynam przygodę z SQL-em itp i na pewno się zapoznam z literaturą którą tu podaliście
Może byśmy utworzyli jakiś post odnośnie literatury do SQL, T-SQL oraz do ciekawych linków w sieci.
Na Virtual Study jest sporo darmowych filmików o SQL, trzeba się tylko zarejestrować- po Polskiemu .

Propozycja nie jest głupia. Ja poszedłbym jeszcze dalej, i w dziale 'Inne' stworzył 'SQL ogólnie'. Ten i inne wątki przeniósłbym do tego właśnie działu... Ale to pytanie do Koszmarka...
Tomtom

Myślę że na razie warto poprzestać na założeniu osobnego wątku w Inne. Śmiało, macie uprawnienia. Pozdr !

Witam
Problem budowy bazy w robocie został rozwiązany...
Poprzez moje działania (pytania, zalecenia, jeszcze raz pytania) bazę będzie tworzyć zewnętrzna firma. Z tego co udało mi się dowiedzieć to będzie to baza powstała na szkielecie bazy sklepu czy też hurtowni... Niestety nie zostałem dopuszczony do podglądu/wglądu tworzenia tej bazy.
Ale nie oznacza to, że uważam ten rozdział za zamknięty. Wręcz przeciwnie - nabrałem smaków na systemy bazodanowe:)
Postaram się upichcić na swój użytek (testowo) tą bazkę. Nie goni mnie termin, mogę się bardziej skupić na aspektach technicznych ( w myśl zasady, że wiem co robię a nie, że mi się udało...) Wpisy będą się oczywiście pojawiać dalej. Na razie wciąż szturmuję    książkę Pani Żmudy (książka wygląda jak po wybuchu granatu - pełna eksploatacja).
Tomtom

Witam
Dawno mnie nie było... Musiałem trochę popracować Skończyłem przerabiać książkę p. Żmudy: na koniec jest rozdział z nową bazą "Library" i na jej podstawie rozwiązujemy ok.80(!) zadań/zapytań. Świetna pożywka dla mózgu:) Będę się zabierał za kolejną knigę: "Praktyczny kurs SQL. Wydanie III"  autorzy: Danuta Mendrala, Marcin Szeliga. Szczególnie nie trzeba przedstawiać p.Szeligi - odsyłam do Google. A jak to będzie to napiszę niebawem:) Na razie udaję się na (myślę) zasłużony urlop z rodziną.
Pozdrawiam
Tomtom