2019年11月20日星期三

Data Driven Control

https://www.sciencedirect.com/science/article/pii/S0020025512004781

Data-Driven Control and Process Monitoring for Industrial Applications—Part I

https://ieeexplore.ieee.org/abstract/document/6776562

A comparison of model‐based and data‐driven controller tuning

https://onlinelibrary.wiley.com/doi/full/10.1002/acs.2415?casa_token=FAaAMIb_1-MAAAAA%3AqKE8R6feEK4oWId8K45Dl3Lkykz-_i-QbVoxMUDckZ8OjCRsxYX3zBRQr9AI6Xf0I0Pgr-C4iEQVxiM

Koopman Operator Framework for Time Series Modeling and Analysis

https://link.springer.com/article/10.1007%2Fs00332-017-9441-y

2019年11月19日星期二

Time Series Notes

ARIMA

by Python https://machinelearningmastery.com/arima-for-time-series-forecasting-with-python

SARIMA

by Python https://machinelearningmastery.com/sarima-for-time-series-forecasting-in-python/

2019年11月13日星期三

控制相關原始論文整理

穩定度

R. Kalman ; J. Bertram, "Control system analysis and design via the second method of lyapunov: (I) continuous-time systems (II) discrete time systems", IRE Transactions on Automatic Control ( Volume: 4 , Issue: 3 , Dec 1959 ) (now IEEE Transactions on Automatic Control ) [site1] [site2][PDF1][PDF2]

可控可觀

"On the general theory of control systems" in Proc. First IFAC Congress Automatic Control, Moscow, 1960, Butterworths, London, vol. 1, pages 481-492 可控制性、可觀察性，以及 duality 正式被稱為"純粹控制領域"

R.E. Kalman, "Lectures on Controllability and Observability", Kalman R. (2010) Lectures on Controllability and Observability. In: Evangelisti E. (eds) Controllability and Observability. C.I.M.E. Summer Schools, vol 46. Springer, Berlin, Heidelberg
L. Weiss, "Lectures on Controllability and Observability", Weiss L. (2010) Lectures on Controllability and Observability. In: Evangelisti E. (eds) Controllability and Observability. C.I.M.E. Summer Schools, vol 46. Springer, Berlin, Heidelberg
極零點對消會損失系統控制性或者觀察性
若系統不可控制則至少有一個 pole 無法被任意改變位置。
不可控制系統表示轉移函數發生 pole-zero cancellation。在此情況之下任何回授控制器都無法處理。

2019年4月3日星期三

Java Install

在乾淨的 Ubuntu 環境安裝 Java

Testbed : Ubuntu 18.04 LTS

確認一下有無安裝

java -version

Java SE 的整體架構

Jave SE Platform at a Glance

首先別忘了更新

sudo apt-get update

然後先安裝 JRE

apt-get install default-jre

JRE (Java Runtime Environment) 包含了 JVM 跟 standard library (Java SE API)。

然後安裝 JDK (Java Development Kit)
JDK 是開發者才需要的環境，如果只是要執行 Java code，只需安裝 JRE 即可。
JDK 包含編譯器，javac、appletviewer、javadoc工具程式.... 等。

apt-get install default-jdk

安裝特定版本的 JDK
如 Java 11 (單數都是開發版，雙數是 release 版)

sudo apt install openjdk-11-jdk

最後查查版本安裝結果

java -version

查 java 相關檔案
which java (找執行檔)
sudo dpkg -L openjdk-8-jdk (找套件詳細檔案)

2019年3月14日星期四

Hygieia

Github : https://github.com/Hygieia/Hygieia/tree/gh-pages/pages/hygieia
Document : http://hygieia.github.io/Hygieia/getting_started.html

Architecture of Hygieia

Components

Layer	Description
UI Layer	The UI layer (User Interface) is Hygieia’s front- end and contains all the Graphical User Interface (GUI) elements for users to view. It is here where users are also able to configure the dashboard.
API Layer	The Hygieia API layer contains Hygieia APIs and Audit APIs. Hygieia APIs contain all the typical REST API services that work with the source system data (collected by service tasks) and the Internet. Hygieia audit APIs are a collection of API endpoints that serve to audit CI/CD data gathered by Hygieia collectors. This layer is an abstraction of the local data layer and the source system data layer.
DevOps Tools	This layer entails the multitude of DevOps tools in a CI/CD pipeline. In the diagram, Jira, Git, Sonar, and XLDeploy are listed as examples.
Collectors’ Layer	The Collectors’ Layer fetches data from your DevOps tools. In turn, this data then appears on your Hygieia Dashboard. You can choose to install the collectors applicable to your DevOps tool set from the Hygieia Collectors Inventory.
Database Layer	Hygieia uses MongoDB as the database for storage and retrieval of data.

Build Hygieia

Build 的時候遇到的問題很多，所幸找到了一個連結。
https://github.com/pravsingh/HygieiaLight
裡面很多指令免得大家踩坑。

Build hygieia-core (這個會過)

git clone https://github.com/Hygieia/hygieia-core

cd hygieia-core

mvn clean install package (need to sudo apt install maven at first)

Build Hygieia (這個有點問題)

git clone https://github.com/Hygieia/Hygieia

cd Hygieia

mvn clean install package (不會過)

找到了這個可以直接 build image 的方法

find . | grep Dockerfile | sed -e 's#/docker/Dockerfile##g' | awk '{print "mvn clean package -pl "$1" docker:build";}' | grep -v "/target" | sh

(似乎要用 sudo )

2019年3月13日星期三

AWS DynamoDB

AWS DynamoDB

https://docs.aws.amazon.com/en_us/amazondynamodb/latest/developerguide/GettingStarted.Python.04.html

2019年3月12日星期二

AWS Lambda 自動打包

AWS Lambda 有好工具自動打包，事實上也可以打包到各個雲上。

工具 serverless ，是用 node.js 開發的。只要用 npm 安裝即可，npm 這個工具的介紹就不贅述，網路上資料很多。

安裝工具

npm install -g serverless

試用 serverless

這個工具有提供很多範例程式供人測試，我們這次使用 python / aws dynamoDB 這個例子。

git clone https://github.com/serverless/examples.git (載下範例來)

cd aws-python-rest-api-with-dynamodb (我們選用這個範例)

原本是可以直接用 serverless deploy 這個指令做 deploy，但是我們現在還沒有設好我們 AWS 上的 credentials，所以還需要設定。

設定 AWS credentials

這個影片教你如何在 IAM 中拿到 key ID 以及 secret，並且透過指令

serverless config credentials --provider aws --key xxxx --secret xxxx

將其存成預設執行的設定檔。

也有一些設定 credentials 的其他方法。

正式執行 deploy

serverless deploy

輸出如下:

Serverless: Packaging service...

Serverless: Excluding development dependencies...

Serverless: Creating Stack...

Serverless: Checking Stack create progress...

.....

Serverless: Stack create finished...

Serverless: Uploading CloudFormation file to S3...

Serverless: Uploading artifacts...

Serverless: Uploading service serverless-rest-api-with-dynamodb.zip file to S3 (5.37 KB)...

Serverless: Validating template...

Serverless: Updating Stack...

Serverless: Checking Stack update progress...

......................................................................................................

Serverless: Stack update finished...

Service Information

service: serverless-rest-api-with-dynamodb

stage: dev

region: us-east-1

stack: serverless-rest-api-with-dynamodb-dev

resources: 34

api keys:

None

endpoints:

POST - https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos

GET - https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos

GET - https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos/{id}

PUT - https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos/{id}

DELETE - https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos/{id}

functions:

create: serverless-rest-api-with-dynamodb-dev-create

list: serverless-rest-api-with-dynamodb-dev-list

get: serverless-rest-api-with-dynamodb-dev-get

update: serverless-rest-api-with-dynamodb-dev-update

delete: serverless-rest-api-with-dynamodb-dev-delete

layers:

None

部署完畢。

測試一下能否執行

範例裡面，會個別教學怎麼執行測試。我們直接列出執行狀況:

注意，REST 接觸的端口，就是上面部署完後的輸出結果，上面我用紅色標註。

建立 Todo 資料

$curl -X POST https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos --data '{ "text": "Learn Serverless" }'

輸出

{"text": "Learn Serverless", "checked": false, "id": "0828b186-4549-11e9-923d-eaf73cc0b517", "createdAt": 1552451558329, "updatedAt": 1552451558329}

查詢 Todo 資料

$ curl https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos

輸出

[{"text": "Learn Serverless", "checked": false, "id": "0828b186-4549-11e9-923d-eaf73cc0b517", "createdAt": 1552451558329, "updatedAt": 1552451558329}]

是可以正確執行的。

2019年2月11日星期一

FMEA

失效模式效應分析(Failure Mode Effect Analysis: FMEA)

由美國陸軍在 1949 年開發出來的(Military Procedure MIL-P-1629)
現在 FMEA 分析模式是以國際電工委員會 International Electrotechnical Commission ；IEC)所提出之規格為主

FMEA手法最初是用來

改善產品的可靠性
目前其應用跨越產品的生命週期，從產品規劃到設計、製造、建造以及使用等階段，以提高產品或系統的可靠性
預防性技術，分析方法，為了排除失效，在設計確定之前先尋求可能原因或徵兆，在失效發生前，設法減少發生機率，提高產品可靠性

FMEA的實行方式

是以表單形式來解析，指出故障原因，思考對策來改善系統品質
如：對產品地識別名稱、圖面編號、使用條件、故障對系統的影響度、故障等級、故障發生頻率等，找出故障模式的影響度與發生頻率，將其量化可進行故障效應分析
10 個步驟　https://fmea-training.com/10-steps-process-failure-mode-and-effects-analysis/

STEP 1: Review the process. ...
STEP 2: Brainstorm potential failure modes. ...
STEP 3: List potential effects of each failure. ...
STEP 4: Assign Severity rankings. ...
STEP 5: Assign Occurrence rankings. ...
STEP 6: Assign Detection rankings. ...
STEP 7: Calculate the RPN.

PFMEA vs DFMEA

Process FMEA's (PFMEA) and Design FMEA's (DFMEA) defined in the AIAG FMEA 4th edition

論文

簡單分析過程 http://bm.nsysu.edu.tw/tutorial/iylu/m1/38/B/B3-3.pdf

模板

模板很多範例之一如右 https://goleansixsigma.com/failure-modes-effects-analysis-fmea/

2019年1月31日星期四

開啟 flask debug mode

$ export FLASK_ENV=development

$ python flask_main.py

2019年1月28日星期一

Mirror

git clone --mirror source_repo
git push --mirror dest_repo

即使更新也可以這樣使用

2019年1月14日星期一

OpenShift 介紹

Openshift 是一個 Redhat 所建的 PaaS 服務，讓使用者可以在 k8s 跟 docker 的基礎上，方便快速建構應用程式。

整體架構如下，包含可以讓使用者程式碼可以被建成 image 的 source-to-image

Openshift Overview (10 mins)

詳細 stack 說明

- Redhat 的 OpenShift 投影片

Openshift Workshop (很多實作)

- AWS 上實現 openshift
https://aws.amazon.com/tw/quickstart/architecture/openshift/

- AWS 快速開始 openshift

Openshift CI/CD Demo (17mins)

Sonar : 代碼品質管理
Nexus : Maven Repo 管理器
Apache Maven : Java 專案管理與自動構建工具

Openshift Source-to-Image (s2i)

Openshift 產品線(紅帽)

PDF 檔案

紅帽被 IBM 收購後，有風險與質疑。但似乎金融界很多都採用紅帽方案。

認證相關課程
- Linux Academy
- Redhat

2019年1月7日星期一

OpenMP : 一個成熟穩定、使用 CPU 多核心的 library

一般單執行緒 (mono-thread) 的 code，多核心處理器是沒有辦法提升處理效能的，但多執行緒（multi-thread）的 code，可以透過多核心的平行計算，來達到加速目的。那要怎麼簡單使用CPU的多核心計算資源呢? OpenMP 就是一個好答案。

OpenMP 在 1997 年就開始了，一直維護改版至今。算是很穩定與老牌的函式庫了。
https://www.openmp.org/
https://zh.wikipedia.org/wiki/OpenMP

使用方法: (編輯 test.c)


#include     // 引入library

#include 

#include 



int main(int argc, char* argv[]) 

 { 

   #pragma omp parallel    //這一行很重要

   printf("Hello, world.\n"); 

   return 1; 

 }

`編譯方法: (編譯 test.c)`


gcc -o test -fopenmp test.c


直接執行編譯出來的執行檔即可

`解釋`



語法

#pragma omp  [clause[[,] clause] ...]  





其中，directive共11個：


atomic 記憶體位置將會原子更新（Specifies that a memory location that will be updated atomically.）
barrier 執行緒在此等待，直到所有的執行緒都執行到此barrier。用來同步所有執行緒。
critical 其後的程式碼塊為臨界區，任意時刻只能被一個執行緒執行。
flush 所有執行緒對所有共用物件具有相同的記憶體視圖（view of memory）
for 用在for迴圈之前，把for迴圈並列化由多個執行緒執行。迴圈變數只能是整型
master 指定由主執行緒來執行接下來的程式。
ordered 指定在接下來的程式碼塊中，被並列化的 for迴圈將依序執行（sequential loop）
parallel 代表接下來的程式碼塊將被多個執行緒並列各執行一遍。
sections 將接下來的程式碼塊包含將被並列執行的section塊。
single 之後的程式將只會在一個執行緒（未必是主執行緒）中被執行，不會被並列執行。
threadprivate 指定一個變數是執行緒局部儲存（thread local storage）








共計13個clause：

copyin 讓threadprivate的變數的值和主執行緒的值相同。
copyprivate 不同執行緒中的變數在所有執行緒中共用。
default Specifies the behavior of unscoped variables in a parallel region.
firstprivate 對於執行緒局部儲存的變數，其初值是進入並列區之前的值。
if 判斷條件，可用來決定是否要並列化。
lastprivate 在一個迴圈並列執行結束後，指定變數的值為迴圈體在順序最後一次執行時取得的值，或者#pragma sections在中，按文字順序最後一個section中執行取得的值。
nowait 忽略barrier的同步等待。
num_threads 設定執行緒數量的數量。預設值為目前電腦硬體支援的最大並行數。一般就是CPU的內核數目。超執行緒被作業系統視為獨立的CPU內核。
ordered 使用於 for，可以在將迴圈並列化的時候，將程式中有標記 directive ordered 的部份依序執行。
private 指定變數為執行緒局部儲存。
reduction Specifies that one or more variables that are private to each thread are the subject of a reduction operation at the end of the parallel region.
schedule 設定for迴圈的並列化方法；有 dynamic、guided、runtime、static 四種方法。

schedule(static, chunk_size) 把chunk_size數目的迴圈體的執行，靜態依序指定給各執行緒。
schedule(dynamic, chunk_size) 把迴圈體的執行按照chunk_size（預設值為1）分為若干組（即chunk），每個等待的執行緒獲得目前一組去執行，執行完後重新等待分配新的組。
schedule(guided, chunk_size) 把迴圈體的執行分組，分配給等待執行的執行緒。最初的組中的迴圈體執行數目較大，然後逐漸按指數方式下降到chunk_size。
schedule(runtime) 迴圈的並列化方式不在編譯時靜態確定，而是推遲到程式執行時動態地根據環境變數OMP_SCHEDULE 來決定要使用的方法。

shared 指定變數為所有執行緒共用。









































細節可參考 Wiki

訂閱：文章 (Atom)

2019年11月20日 星期三

From model-based control to data-driven control: Survey, classification and perspective