Splunk – Why is my Data Model not accelerated?

Problem

  • You want to enable ACCELERATION for your Data Model and nothing happens

splunk_data_model

Solution

See the error using this query

index=_internal sourcetype=scheduler <YOUR-DATAMODEL>

Advertisements

Install Gogs on Ubuntu with Reverse Proxy

Problem

  • Fast and easy install of Gogs on Ubuntu

Solution

Update everything

sudo apt-get update && sudo apt-get upgrade && sudo apt-get install git

Install MySQL

sudo apt-get install mysql-server

Securing it

mysql_secure_installation

(Remove remote connectivity etc.)

Login MySQL

mysql -u root -p

In MySQL Shell

CREATE DATABASE gogs;
GRANT ALL PRIVILEGES ON gogs.* TO ‘gogs’@’localhost’ IDENTIFIED BY ‘<>’;
FLUSH PRIVILEGES;
quit;

Create a Service User to run Gogs and store repositories (optional)

useradd –system –create-home git
sudo passwd git

Login as git user (optional)

su git
cd —

Download Gogs

Goto Gogs site and copy the current version download link.

wget https://dl.gogs.io/0.11.34/linux_amd64.zip

unzip linux_amd64.zip

Systemd

nano ./gogs/scripts/systemd/gogs.service

Edit File like this (for git user; change git if you install it in an another directory)

[Unit]
Description=Gogs
After=syslog.target
After=network.target
After=mysqld.service

[Service]
# Modify these two values and uncomment them if you have
# repos with lots of files and get an HTTP error 500 because
# of that
###
#LimitMEMLOCK=infinity
#LimitNOFILE=65535
Type=simple
User=git
Group=git
WorkingDirectory=/home/git/gogs
ExecStart=/home/git/gogs/gogs web
Restart=always
Environment=USER=git HOME=/home/git

Copy and enable

cp ./gogs/scripts/systemd/gogs.service /etc/systemd/system/gogs.service
sudo systemctl enable gogs

Start Gogs

sudo systemctl start gogs

Finally, open http://<<yourserver>&gt;:3000 and enter the needed data:

At last, register a new user. The user will be admin as default.

Apache2 Reverse Proxy (Optional)

sudo apt-get install apache2
sudo a2enmod proxy
sudo a2enmod proxy_http

Edit conf

sudo nano /etc/apache2/sites-available/000-default.conf

Set reverse proxy

<VirtualHost *:80>
ProxyPreserveHost On
ProxyRequests off
ProxyPass / http://127.0.0.1:3000/
ProxyPassReverse / http://127.0.0.1:3000/
</VirtualHost>

Restart Apache2

sudo systemctl restart apache2

Fin.

Install Jenkins on Ubuntu

Problem

  • Install Jenkins on Ubuntu with package manager
  • Quick and dirty

Solution

wget -q -O – https://pkg.jenkins.io/debian/jenkins-ci.org.key | sudo apt-key add –

deb https://pkg.jenkins.io/debian-stable binary/ | sudo tee /etc/apt/sources.list.d/jenkins.list

sudo apt-get install jenkins

sudo systemctl start jenkins

 

http://YOURDOMAIN:8080

sudo cat /var/lib/jenkins/secrets/initialAdminPassword

Do not forget to install the simple theme plugin.

Azure – List of all Azure Services

Just a list of all Azure Services (Jan. 2017)

Advisor
AKS
Analysis Services
API Management
App Service
Application Gateway
Application Insights
Authorization
Automation
Batch AI
Batch Management
Batch Service
Billing
CDN
Cognitive Services
Compute
Consumption
Container Instances
Container Registry
Container Service
Cosmos DB
Cosmos DB Resource Provider
Data Catalog
Data Factory
Data Lake Analytics
Data Lake Store
Dev Test Labs
DNS
Event Grid
Event Hubs
ExpressRoute
Graph RBAC
HDInsight
HDInsight Spark
Intune
IoT Hub
IoT Hub Device Provisioning Service
Key Vault
Load balancer
Location Based Services Functional API
Location Based Services Management API
Log Analytics
Logic Apps
Machine Learning
Media Services
Monitor
MySQL
Network Gateway
Network Watcher
Networking Operations
Notification Hubs
PostgreSQL
Power BI Embedded
Power BI Workspace Collections
Recovery Services
Recovery Services – Backup
Recovery Services – Site Recovery
Redis Cache
Relay
Reserved VM Instances
Resource Health
Resource Management
Scheduler
Search Management
Search Service
Server Management
Service Bus
Service Fabric
Service Map
SQL Database
Storage Import-Export
Storage Resource Provider
Storage Services
StorSimple
Stream Analytics
Time Series Insights
Time Series Insights Management
Traffic Manager
Virtual Networks

Azure – Using Azure REST API without Service Principle

Problem

  • You have no permission to create a service principle
  • You need to use the Azure API

Solution

Install the Powershell as described here:

Install-Module AzureRM -AllowClobber

Set-ExecutionPolicy Unrestricted

Import-Module AzureRM

Login to Azure using Powershell:

Login-AzureRmAccount

Download the powershell script from s_lapointe and install it or just executing it:

$ErrorActionPreference = ‘Stop’

if(-not (Get-Module AzureRm.Profile)) {
Import-Module AzureRm.Profile
}
$azureRmProfileModuleVersion = (Get-Module AzureRm.Profile).Version
# refactoring performed in AzureRm.Profile v3.0 or later
if($azureRmProfileModuleVersion.Major -ge 3) {
$azureRmProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile
if(-not $azureRmProfile.Accounts.Count) {
Write-Error “Ensure you have logged in before calling this function.”
}
} else {
# AzureRm.Profile < v3.0
$azureRmProfile = [Microsoft.WindowsAzure.Commands.Common.AzureRmProfileProvider]::Instance.Profile
if(-not $azureRmProfile.Context.Account.Count) {
Write-Error “Ensure you have logged in before calling this function.”
}
}

$currentAzureContext = Get-AzureRmContext
$profileClient = New-Object Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient($azureRmProfile)
Write-Debug (“Getting access token for tenant” + $currentAzureContext.Subscription.TenantId)
$token = $profileClient.AcquireAccessToken($currentAzureContext.Subscription.TenantId)
$token.AccessToken

All credits to s_lapointe for this script. Thank you.

Azure – Shrinking table size in AzureDB

Problem

  • AzureDB used more and more GByte
  • The inserted data should not wast so much space
  • The inserts came from Stream Analytics

Solution

First, check which table uses the most space

select
o.name,
max(s.row_count) AS ‘Rows’,
sum(s.reserved_page_count) as ‘PageCount’,
sum(s.reserved_page_count) * 8.0 / (1024 * 1024) as ‘GB’,
(8 * 1024 * sum(s.reserved_page_count)) / (max(s.row_count)) as ‘Bytes/Row’
from sys.dm_db_partition_stats s, sys.objects o
where o.object_id = s.object_id
group by o.name
having max(s.row_count) > 0
order by GB desc

The result should look like this:

tablespace

As you can see, two tables using more than 10 GB. You also will notice, that the PageCount is really high, because the table is fragmented.

To defragment the table and also using data compression, you can use this:

ALTER TABLE <<TABLENAME>> REBUILD PARTITION = ALL
WITH
(DATA_COMPRESSION = ROW
)

Kleines 1×1 für den Argentinienurlaub

Kürzlich waren wir in Argentinien und haben dabei einige Höhen und Tiefen erlebt. Deshalb hier unser 1×1 für den Argentinienurlaub:

  1. 20171031_012745.jpgStandard: Argentinien ist nicht Deutschland, sondern alles ist heruntergewirtschaftet. Man bekommt für das gleiche Geld einen deutlich schlechteren Standard verglichen mit Deutschland. Wer den deutschen Standard möchte (gerade bei Sanitäreinrichtungen), sollte bei der 5 Sterne Kategorie buchen.
  2. Menschen: Wir haben keinen unfreundlichen Menschen getroffen. Allen waren sehr hilfsbereit und höflich, trotz der Tatsache, dass wir nicht Spanisch sprachen.
  3. Cash: Vieles geht in Argentinien nicht mir Kreditkarte zu zahlen, deshalb zählt vor allem (viel) Cash. Nehmen Sie am Besten Bargeld (Euro oder 20171028_181902.jpgDollar) von zu hause mit, denn vor Ort wird es schwierig. Man kann am Automaten nur 2000 $ (ca. 100€) (Argentinische Pesos) abheben. Die Automatengebühr beträgt 106,50 $, d.h. ca. 5€ pro Vorgang. Es lohnt sich also, lieber Bargeld vor Ort zu tauschen. In vielen kleinen Dörfern gibt es zumeist auch nur max. einen Automaten, der schnell leer ist. Siehe hierzu auch Olis Blog.
  4. Preise: Argentinien ist bis auf Medikamente und Fleisch nichts billiger als Deutschland!
  5. Smartphone: Wenn Sie nicht gut spanisch sprechen, laden Sie sich Offline Übersetzer herunter. Dict.cc und Google Translate erbringen gute Dienste. Am besten derzeit ist jedoch deepl.com, wenn man den Netz hat (siehe 6).
  6. Wifi/WLan: Fast überall gibt es kostenloses WLan. Entweder nicht verschlüsselt und wenn zumeist ist das Passwort gleich der SSID (Namen). Ansonsten einfach erfragen. Es war zumeist unsere erste Frage in Restaurants.
  7. Englisch: Wir dachten wir kommen mit Englisch schon durch. Dem war nicht so. Lernen Sie wenigstens ein bisschen Spanisch.20171030_164928.jpg
  8. Busse: Busse sind in Argentinien allgegenwärtig und das Überland-Bussystem ist größer und besser als in Deutschland. Das Nutzen der Busse hat auch Vorteile:
    • preisgünstig
    • man sieht das Land
    • bequem, wenn man die Sitzklassen Cama oder “Cama Ejecutivo Promocional” bucht. Das würden wir auch empfehlen.
    • Buchen und Übersicht findet man bei Plataforma10.
  9. Postkarten: Schreiben Sie lieber WhatsApp Nachrichten. Der Versand von Postkarten kostet 85$, also 4€.
  10. Süß: Argentinier essen alles mögliche an Süßspeisen, vor allem früh. Wem das nicht schmeckt, sorgt selber vor, oder achtet bei der Buchung des Hotels auf ein ordentliches Frühstücksbuffet.
  11. Reiseapotheke:
    • Lassen Sie sich auf Hepatitis A impfen.
    • Nehmen sie Desinfektionsmittel und Tücher mit.
    • Machen Sie sich mit den Symptomen der Krätze vertraut. Kaufen Sie, wenn diese ausgebrochen ist, in der Apotheke entsprechende Arzneimittel. Diese sind billig und rezeptfrei zu bekommen. Fragen Sie Ihren Arzt und Apotheker.
    • Anti-Mückenspray!
  12. Buenos Aires: Ist eigentlich nur ein großer Slum.
    • Parkanlagen, Botanischer Garten, Japanischer Garten lohnen sich nicht.
    • U-Bahn ist preiswert und zuverlässig. Man benötigt dafür eine Smartcard (blau), die einmalig 25$ kostet. Jede Fahrt kostet 7,5$, egal wie weit. Man kann die Karte auch überziehen 😉 .
    • Hop on Hop Off Bus ist viel zu teuer. 50 US$ p.P.
    • Verkehr ist extrem aggressiv und kein Vergleich zum deutschen Stadtverkehr.
    • Straßen und Gehwege in einem erbärmlichen Zustand.
    • Hotel/Hostel Empfehlung: Chill House. Siehe auch hierzu Olis Blog.
    • Restaurantempfehlung: IL Vero Arturito. Eines der besten Restaurants, das wir je besuchen duften.
  13. Ezeiza: Zumeist kommt man in Ezeiza (Buenos Aires) an. Die Fahrt vom Flughafen kann schwierig und teuer werden. Es besteht die Möglichkeit mit Bus in die Innenstadt zu kommen (ca. 20€ p.P.) oder mit dem Taxi (ab 700 $). Die Busunternehmen fahren einen dann ab der Buszentrale zum jeweiligen Hotel.
  14. 20171030_142014.jpgCorboba: kurz – lassen sie es.
    • Die koloniale Architektur ist überbewertet und nur vereinzelt erkennbar.
    • Innenstadt von Slums umgeben.
    • Wir haben keine guten Restaurants gefunden.
    • Die Parkanlagen sind in einem katastrophalen Zustand.
    • Wir waren im Garden Hotel – nicht wirklich zu empfehlen.
  15. Mendoza: Eine Oase in der Wüste. Wunderbar grün und wahrscheinlich die schönste Stadt Argentiniens.
    • Unsere Hotels:
      • Posada del Arte: Nicht buchen!
      • Urban Class Hotel: Zu teuer.
      • Hotel Zamora: Inhabergeführtes Hotel mit Stil. Gutes Preis Leistungsverhältnis. Schlechtes WLan.
      • Grand Hotel Venus: Gleich gegenüber des Zamora. Bessere Ausstattung, aber etwas teuer. Trotzdem gut. Das WLan war aber auch bescheiden.
      • In Mendoza immer auf Klimaanlage achten.
    • Die Parkanlage ist sehr schön und wird aktiv gepflegt.
    • Restaurants: Das schönste war das LA LUCIA Grill & Bar.
  16. Touren: In Mendoza kann man allerlei Touren günstig buchen, sowohl Wein- als auch Andentouren. Wir haben bei Maya travel and tourism gebucht. Wir haben durch mehrere Touren Rabatt bekommen und alles war in Englisch.
    • Weintour (450$): Sehr schöne Weintour zu 3 Bodegas und einer Olivenfarm. Es war alles inklusive und vor allem die Bodega Domiciano ist zu empfehlen.
    • Wein Tour Hop on hop off (650$): Nicht zu empfehlen, da es kein Hop on hop off ist. Die Verkostungen kosten extra.
    • Villavicencio (500$): Schöne Tour ins Naturreservat und zur Villa. Nette Führung.
    • Canon del atuel (850$): Sehr lange Fahrt zum eindrucksvollen Canyon, der auch komplett durchfahren wird. Es lohnt sich.
    • High Mountain (750$): Fahrt zum Grenzübergang nach Chile durch die Anden (wenn es denn nicht schneit, also immer nach dem Wetter schauen). Eindrucksvolle Ansichten auf ein Hochgebirge, bei denen die Alpen nur das Vorgebirge wären. Stopps bei der Inka Bridge, Skigebiet und dem Blick auf den Aconcagua mit seinen 6920m.

P.s.: Wir fahren nicht mehr nach Argentinien bzw. Südamerika.

Useful Azure Links