MSSQL Export unter Ubuntu Linux

Juni 19, 2019 - Lesezeit: 5 Minuten

1. Installation der MSSQL Tools

Man benötigt dazu die MSSQL-Tools, welche nicht Teil der offiziellen Ubuntu Repositories sind, aber von Microsoft bereitgestellt werden. Folglich muss APT eine neue Quelle hinzugefügt werden.

curl https://packages.microsoft.com/keys/microsoft.asc | sudo apt-key add -
curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list | sudo tee /etc/apt/sources.list.d/msprod.list

Dieses Beispiel ist für einen Ubuntu Server 16, wer z.B. die 18.04 Version benutzt kann dies in der URL anpassen und 16.04 durch 18.04 ersetzten. MS supportert hier die aktuellen LTS Versionen.

Danach mit dem üblichen apt-get update die Quellen aktualisieren und die Tools sowie nötige ODBC Biblotheken installieren.

sudo apt-get update 
sudo apt-get install mssql-tools unixodbc-dev

Die nötigen Programme finden sich danach unter

/opt/mssql-tools/bin

Dieser Pfad ist üblicherweise nicht in den Umgebungsvariablen der Shell enthalten, man muss die Tools also direkt ansprechen. Wer es bequemer mag fügt einfach den Pfad zu seinen Shell Umgebungsvariablen hinzu. Dazu kann man die .profile im Homeverzeichnis verwenden oder auch die .bashrc, sofern man die Bash Shell benutzt.

echo 'export PATH="$PATH:/opt/mssql-tools/bin"' >> ~/.bashrc
source ~/.bashrc

Der erste Befehl ergänzt die zwei Programme unter /opt/mssql-tools/bin in der PATH Varibale ohne die bereits bestehenden Einträge zu überschreiben. Der source Befehl führt die aktualisierte Umgebung direkt aus.

Checken ob alles geklappt hat kann man einfach indem man sql in die Shell tippt, gefolgt von der Tab Taste, es sollte dann direkt sqlcmd vervollständigt werden, bzw. zur Auswahl stehen. Nachfolgende kann man eine einfache Abfrage an den MSSQL Server schicken, z.B.

sqlcmd -S localhost -d <datenbankname> -U sa -P <passwort> -Q "SELECT user_id FROM users"

Localhost wird vermutlich in den meisten Fällen durch die IP Adresse des MSSQL Servers ersetzt. Nachdem -d Argument lässt sich der Name der Datenbank angeben, natürlich ohne die Tag Klammern. Nachdem -Q Argument kommt einfach das gewünschte SQL Query in Anführungszeichen.

Ein Nachteil lässt sich direkt erkennen. Im Gegensatz zu z.B. MySQL/Maria DB muss nachdem Argument -P das Passwort im Klartext folgen und kann nicht einfach vor der Ausführung der Abfrage eingegeben werden. Aus Sicherheitsgründen sollte man daher am besten die entsprechenden sqlcmd Befehle aus der Bash History wieder entfernen und/oder die History für die Dauer der sqlcmd Befehle deaktiveren. Eine weitere Alternative wäre einen Benutzer auf dem MSSQL Server einzurichten der nur entsprechende Leserechte auf die benötigten Tabellen hat.

Die Bash History findet sich unter ~/.bash_history und lässt sich mit einem Editor (vi /nano) bearbeiten. Deaktivieren kann man die History mit set +o history und wieder aktivieren mit set -o history. Vollständig leeren kann man die History übrigens auch mit history -c. Aber Achtung, bevor man die komplette History löscht, sollte man sich sicher sein das man darin keine Befehle hat, die man vielleicht noch wiederverwenden will und nicht auswendig kennt.

2. Export mit bcp

Neben sqlcmd wurde bcp (Bulk Copy Program) mit den MSSQL Tools installiert und damit lässt sich nun ein Export eines Datenbank Queries durchführen.

Folgender Befehl würde alle Inhalte der Tabelle Users aus der Datenbank Test_DB in die Datei user_export.txt exportieren.

bcp Users out user_export.txt -S localhost -U sa -P <passwort> -d Test_DB -c -t ','

Interessanter ist in meinen Augen aber nicht der Export einer ganzen Tabelle, sondern eines Querys. Dies geht wie folgt:

bcp "SELECT user_id, username FROM users" queryout users.txt -S localhost-U sa -P <-passwort> -d TEST_DB -c -t ','

Es werden zwei Felder aus der Tabelle users in die Datei users.txt exportiert und die Werte mit Komma getrennt.

Quellen:

https://docs.microsoft.com/de-de/sql/linux/sql-server-linux-setup-tools?view=sql-server-2017 https://docs.microsoft.com/de-de/sql/linux/sql-server-linux-migrate-bcp?view=sql-server-2017 https://docs.microsoft.com/de-de/sql/tools/bcp-utility?view=sql-server-2017


Linux Grundbefehle - Cheat Sheet

Oktober 3, 2018 - Lesezeit: ~1 Minute

Ein von mir erstelltes Cheat Sheet für ein Linux Grundlagen Seminar, findet sich unter folgendem Link:

https://www.cheatography.com/brice/cheat-sheets/linux-grundbefehle/


LVM

November 28, 2017 - Lesezeit: 3 Minuten

Hat man einen Linux Server mit LVM (Logical Volume Manager) und möchte z.B. eine weitere Partition oder eine neue Festplatte in den LVM aufnehmen, kann man dies wie folgt erledigen.
Achtung! Wie immer gilt, eine Sicherung kann nicht schaden, die Arbeit am Dateisysstem oder den Festplatten kann immer auch nach hinten losgehen. In meinem Szenario ging es vor allem darum eine neue Platte im LVM zu nutzen.

Um zu sehen was man überhaupt für Platten und Partitionen hat empfiehlt sich ein:

(sudo) fdisk -l

sowie ein Überblick über die bereits für den LVM verfügbaren Physical Volumes mit:

(sudo) pvs

und

(sudo) pvdisplay

Zuerst die gewünschte Platte oder Partition als PV (Physical Volume) initalisieren, in meinem Fall für /dev/sdb1 :

(sudo) pvcreate /dev/sdb1

Danach kann man mit pvs erneut nachsehen ob es auch geklappt hat. Jetzt hat man die Möglichkeit entweder eine vorhandene Volume Group (VG) zu erweitern (z.B. / oder /home) oder eine neue Volume Group anzulegen. Ähnlich wie oben gibt es auch hier wieder die Befehle vgs und vgdisplay.

Ich lege eine neue VG an mit (samba ist der Name der VG und kann beliebig sinnvoll benannt werden) und füge das gewünschte PV hinzu. Vorteil eine Volume Group kann aus mehreren Physischen Volumes bestehen und so in der Größe variieren:

(sudo) vgcreate samba /dev/sdb1

Jetzt muss in der VG ein Logical Volume erstellt werden, dies können wir dann später mit einem Dateisystem bestücken und damit arbeiten. Auch das LV kann später wieder erweitert werden und somit mehr Platz geschaffen werden.

(sudo) lvcreate -L 500G -n files samba

files ist der Name der LV und Samba der VG.

Dateisystem erstellen:

(sudo) mkfs.ext4 /dev/samba/files

Und mounten, dazu den LV Path benutzen (ggf. über lvdisplay rauszufinden)

(sudo) mount /dev/samba/files /samba

Vergrößern und erweitern kann man bei Bedarf. Dazu immer erst die VG erweitern mit vgextend, dann die LV erwietern mit lvextend, außer in der VG wäre noch Platz, dann reicht natürlich ein lvextend, z.B.

lvextend ‐L +10G files

Erweitert das LV um 10 GB. Lässt man das + weg kann man die gewünschte Gesamtgröße angeben oder auch +100%FREE für die maximale Größe verwenden.Jetzt sollte man auf jeden Fall mit resizefs -p /dev/name das Dateisystem auch erweitern um den neuen Platz nutzen zu können. Verkleinern geht auch, habe ich aber noch nie benutzt, dazu gibt es den Befehl lvreduce

Schön ist auch die Möglichkeit Snapshots zu erstellen, dazu ein ander Mal mehr.


Ubuntu 14.04 auf 16.04

September 26, 2017 - Lesezeit: 2 Minuten

Für September hatte ich mir vorgenommen einige Ubuntu Server von 14.04 LTS auf 16.04 LTS zu bringen. Die 14er LTS erhält zwar noch bis ca. April 2019 Updates, aber die 16er gibt es jetzt ja auch schon etwas über ein Jahr und bringt zudem offiziell PHP7 mit (ja ich weiß man kann es auch in der 14er installieren). Wie üblich empfiehlt sich ein Backup vom System und allen benötigten Daten auf dem Server zu haben. Neben den Backups habe ich das Glück das meine Ubuntu Server alle virtualisiert auf über ESX Server laufen und sich somit Snapshots anfertigen lassen.

Vor jedem Release upgrade sollte man das momentane System so aktuell wie möglich halten. Also vorher nochmal:

apt-get update
und
apt-get upgrade

durchführen. Außerdem empfiehlt sich auch ein

apt-get autoremove

um nicht mehr benötigte Pakete zu entfernen. Das lässt sich übrigens auch automatisieren.

Außerdem sollte man mit df -h auch mal schnell checken ob genügend Platz auf den Partitionen zur Verfügung steht. Auf einem Server war die /boot Partition so ziemlich voll und enthielt noch einige alte Kernel Versionen die ich dann vorher entfernt habe. Bevor man das macht sollte man sich aber mit uname -r vergewissern welcher Kernel aktuell verwendet wird und diesen natürlich auf keinen Fall entfernen.

Dann kann es mit

do-release upgrade

losgehen. Ubuntu leitet euch dann etwas durch den Vorgang und fragt bei neueren Configs nach ob diese eingebunden werden sollen oder lieber die alten verwendet werden sollen. Ich bleibe zu 99% bei den alten, sollten einige Dienste mit den alten Configs Probleme machen, lassen sich diese später noch verstehen und beheben, was ich deutlich besser finde als angepasste Configs zu verlieren.

Wenn das Upgrade durchgelaufen ist hatte ich meistens immer Probleme mit dem Netzwerk, was wohl auch an der Virtualisierung liegt. Auf jeden Fall wurde aus eth0 meistens irgendwas anderes. Mit ip link lässt sich aber schnell der neue Name der Netzwerkkarte rausfinden. Danach dann unter /etc/network/interfaces eth0 durch den neuen Namen ersetzen und das Netzwerk oder den Server neustarten. Danach sollte der Server wieder laufen und mann kann seine Dienste checken und z.B. PHP 7 installieren.


https und www erzwingen (Apache 2.4)

März 28, 2017 - Lesezeit: 2 Minuten

Hat man für eine Webseite SSL (https) eingerichtet kann man den Benutzer automatisch dazu zwingen die Seite nur noch verschlüsselt aufzurufen. Verwendet man als Webserver Apache geht dies wie folgt: Im Netz finden sich viele Beispiele im Zusammenspiel mit mod_rewrite, allerdings empfehlen die Apache Entwickler diese Technik für diesen Fall nicht unbedingt (hier nachzulesen: http://httpd.apache.org/docs/2.4/rewrite/avoid.html). Stattdessen reicht in der Seitenkonfiguration ein einfaches:

<VirtualHost *:80>
...
Redirect / https://www.domain.de
...
</VirtualHost>

Wer es trotzdem mit mod_rewrite machen will oder muss, kann dazu folgende Zeilen verwenden, ebenfalls in der Config oder über eine .htaccess Datei:

RewriteEngine On
RewriteCond %{HTTPS} off
RewriteRule (.*) https://www.doamin.de%{REQUEST_URI} [R=301,L]

Soweit so gut, wer jetzt noch eine ordentliche URLmag und auch immer das www in der Adresszeile haben will, egal ob der Benutzer es eingibt oder nicht, der muss etwas tricksen. Zumindest habe ich keinen einfacheren Weg gefunden. Und zwar muss man seine SSL Config klonen, bzw. zwei Virtual Hosts für SSL einrichten. Der erste ist für die URL ohne www

<VirtualHost *:443>
    ServerName domain.de

    ....

    Redirect / https://www.domain.de

</VirtualHost>

Und der zweite dann für eure URL mit www.

<VirtualHost *:443>
    ServerName www.domain.de

    ....

</VirtualHost>

Was passiert? Alle https Anfragen ohne www werden dann umgeleitet auf mit www. Wichtig ist das beide Virtual Host Konfigurationen ansonsten identisch sind, also mit Directory und SSLEngine On etc.

Über mod_rewrite habe ich keinen Weg gefunden https ohne www auf https mit www umzuleiten. Hat bei mir alles mit der Kombination aus SSL erzwingen nicht funktioniert.


Einfaches DLNA Streaming unter Ubuntu

März 21, 2017 - Lesezeit: 2 Minuten

Wer einen einfachen DLNA / Chromecast Streaming Server für Ubuntu sucht dem kann ich Pulseaudio-dlna empfehlen. Damit lässt sich einfach und schnell Ton vom Desktop/Laptop zu einem DLNA fähigem Abspielgerät schicken. In meinem Fall kann ich so vom PC aus dem Arbeitszimmer, Musik im Wohnzimmer über den TV oder die Soundanalge hören. Netter Nebeneffekt: Musikdienste wie z.B. Deezer sind in der Desktop Version über den Browser völlig kostenfrei nutzbar. Auf diese Weise lässt sich die Musik in den eigenen vier Wänden problemlos vom PC verteilen und man benötigt keinen kostenpflichtigen Account um z.B. die Smart TV App zu nutzen. Alle Info dazu gibt es hier:

https://github.com/masmu/pulseaudio-dlna

Im wesentlichen sind aber nur folgenden Schritte nötig:

sudo apt-add-repository ppa:qos/pulseaudio-dlna
sudo apt-get update
sudo apt-get install pulseaudio-dlna

Fügt das Repository zu den apt Quellen hinzu und installiert den Server. Dieser lässt sich dann einfach mit

pulseaudio-dlna

über die Konsole starten. Zusätzlich installiert man noch den Pulseaudio Lautstärkeregler, der sowieso schon in den offiziellen Quellen enthalten ist. Entweder über das Ubuntu Software Center oder wieder über die Konsole mit:

sudo apt-get install pavucontrol

Jetzt einfach die Musik nach Wahl abspielen, z.B. Deezer über den Browser oder auch Dateien von der Platte mit VLC oder was auch immer man als Audioplayer benutzt. Dann das DLNA fähige Gerät starten auf dem die Musik ankommen soll (z.B. TV oder Anlage im Wohnzimmer), den Lautstärkeregler im Ubuntu starten und im Reiter Wiedergabe das Zielgerät auswählen. Möglicherweise muss man am Zielgerät noch die Quelle erlauben, ist bei meinem Samsung Smart TV z.B. so, aber dann war es das schon.

Bildbeschreibung