2020年3月26日 星期四

Python 實驗新版本能夠用 pythonxxx -m venv env 的方法 (如 python 3.8)


sudo apt-get update
sudo apt-get install python3.8
sudo apt-get install python3.8-venv
sudo apt-get install python3-env

python3.8 -m venv env

sudo apt-get install python3-pip

張貼者： 於 沒有留言:

2020年1月6日 星期一

讓 OBS 抓到 VSCode 的方法

如果不特別處理， OBS 擷取視窗會擷取不到 VSCode ，這是因為 VSCode 太先進，用到 GPU 加速來處理畫面，只要在命令列執行時，加上關閉 GPU 的選項:

$> code xxx.py  --disable-gpu

再用 OBS 擷取視窗就可以看見了。
張貼者： 於 沒有留言:
標籤：

2019年11月20日 星期三

Data Driven Control

From model-based control to data-driven control: Survey, classification and perspective


https://www.sciencedirect.com/science/article/pii/S0020025512004781



Data-Driven Control and Process Monitoring for Industrial Applications—Part I 


https://ieeexplore.ieee.org/abstract/document/6776562


A comparison of model‐based and data‐driven controller tuning

https://onlinelibrary.wiley.com/doi/full/10.1002/acs.2415?casa_token=FAaAMIb_1-MAAAAA%3AqKE8R6feEK4oWId8K45Dl3Lkykz-_i-QbVoxMUDckZ8OjCRsxYX3zBRQr9AI6Xf0I0Pgr-C4iEQVxiM

Koopman Operator Framework for Time Series Modeling and Analysis

https://link.springer.com/article/10.1007%2Fs00332-017-9441-y



張貼者： 於 沒有留言:
標籤：

2019年11月19日 星期二

Time Series Notes

ARIMA


SARIMA
張貼者： 於 沒有留言:

2019年11月13日 星期三

控制相關原始論文整理



    • R.E. Kalman, "Lectures on Controllability and Observability", Kalman R. (2010) Lectures on Controllability and Observability. In: Evangelisti E. (eds) Controllability and Observability. C.I.M.E. Summer Schools, vol 46. Springer, Berlin, Heidelberg
    • L. Weiss, "Lectures on Controllability and Observability", Weiss L. (2010) Lectures on Controllability and Observability. In: Evangelisti E. (eds) Controllability and Observability. C.I.M.E. Summer Schools, vol 46. Springer, Berlin, Heidelberg
    •  極零點對消會損失系統控制性或者觀察性
    • 若系統不可控制則 至少有一個 pole 無法被任意改變位置。
    • 不可控制系統表示 轉移函數發生 pole-zero cancellation。在此情況之下任何回授控制器都無法處理。
張貼者： 於 沒有留言:
標籤：

2019年4月3日 星期三

Java Install

在乾淨的 Ubuntu 環境安裝 Java

Testbed : Ubuntu 18.04 LTS

確認一下有無安裝

java -version

Java SE 的整體架構

Jave SE Platform at a Glance

首先別忘了更新

sudo apt-get update
然後先安裝 JRE
apt-get install default-jre

JRE (Java Runtime Environment) 包含了 JVM 跟 standard library (Java SE API)。


然後安裝 JDK (Java Development Kit)
JDK 是開發者才需要的環境，如果只是要執行 Java code，只需安裝 JRE 即可。
JDK 包含編譯器，javac、appletviewer、javadoc工具程式.... 等。

apt-get install default-jdk
安裝特定版本的 JDK
如 Java 11 (單數都是開發版，雙數是 release 版)

sudo apt install openjdk-11-jdk
最後查查版本安裝結果

java -version

查  java 相關檔案
which java (找執行檔)
sudo dpkg -L openjdk-8-jdk (找套件詳細檔案)

張貼者： 於 沒有留言:

2019年3月14日 星期四

Hygieia

Github : https://github.com/Hygieia/Hygieia/tree/gh-pages/pages/hygieia
Document : http://hygieia.github.io/Hygieia/getting_started.html

Architecture of Hygieia

Components

LayerDescription
UI LayerThe UI layer (User Interface) is Hygieia’s front- end and contains all the Graphical User Interface (GUI) elements for users to view. It is here where users are also able to configure the dashboard.
API LayerThe Hygieia API layer contains Hygieia APIs and Audit APIs. Hygieia APIs contain all the typical REST API services that work with the source system data (collected by service tasks) and the Internet. Hygieia audit APIs are a collection of API endpoints that serve to audit CI/CD data gathered by Hygieia collectors. This layer is an abstraction of the local data layer and the source system data layer.
DevOps ToolsThis layer entails the multitude of DevOps tools in a CI/CD pipeline. In the diagram, Jira, Git, Sonar, and XLDeploy are listed as examples.
Collectors’ LayerThe Collectors’ Layer fetches data from your DevOps tools. In turn, this data then appears on your Hygieia Dashboard. You can choose to install the collectors applicable to your DevOps tool set from the Hygieia Collectors Inventory.
Database LayerHygieia uses MongoDB as the database for storage and retrieval of data.

Build Hygieia

Build 的時候遇到的問題很多，所幸找到了一個連結。
https://github.com/pravsingh/HygieiaLight
裡面很多指令免得大家踩坑。

Build hygieia-core (這個會過)

git clone https://github.com/Hygieia/hygieia-core
cd hygieia-core
mvn clean install package (need to sudo apt install maven at first)

Build Hygieia (這個有點問題)

git clone https://github.com/Hygieia/Hygieia
cd Hygieia
mvn clean install package (不會過)

找到了這個可以直接 build image 的方法
find . | grep Dockerfile | sed -e 's#/docker/Dockerfile##g' | awk '{print "mvn clean package -pl "$1" docker:build";}' | grep -v "/target" | sh

(似乎要用 sudo )



張貼者： 於 沒有留言:

2019年3月13日 星期三

AWS DynamoDB

AWS DynamoDB

https://docs.aws.amazon.com/en_us/amazondynamodb/latest/developerguide/GettingStarted.Python.04.html


張貼者： 於 沒有留言:

2019年3月12日 星期二

AWS Lambda 自動打包

AWS Lambda 有好工具自動打包，事實上也可以打包到各個雲上。

工具 serverless ，是用 node.js 開發的。只要用 npm 安裝即可，npm 這個工具的介紹就不贅述，網路上資料很多。

安裝工具

npm install -g serverless

試用 serverless

這個工具有提供 很多範例程式 供人測試，我們這次使用 python / aws dynamoDB 這個例子。

git clone https://github.com/serverless/examples.git  (載下範例來)

cd aws-python-rest-api-with-dynamodb  (我們選用這個範例)

原本是可以直接用 serverless deploy 這個指令做 deploy，但是我們現在還沒有設好我們 AWS 上的 credentials，所以還需要設定。

設定 AWS credentials 

這個影片教你如何在 IAM 中拿到 key ID 以及 secret，並且透過指令

serverless config credentials --provider aws --key xxxx --secret xxxx

將其存成預設執行的設定檔。


也有一些設定 credentials 的其他方法。

正式執行 deploy

serverless deploy

輸出如下: 
Serverless: Packaging service...
Serverless: Excluding development dependencies...
Serverless: Creating Stack...
Serverless: Checking Stack create progress...
.....
Serverless: Stack create finished...
Serverless: Uploading CloudFormation file to S3...
Serverless: Uploading artifacts...
Serverless: Uploading service serverless-rest-api-with-dynamodb.zip file to S3 (5.37 KB)...
Serverless: Validating template...
Serverless: Updating Stack...
Serverless: Checking Stack update progress...
......................................................................................................
Serverless: Stack update finished...
Service Information
service: serverless-rest-api-with-dynamodb
stage: dev
region: us-east-1
stack: serverless-rest-api-with-dynamodb-dev
resources: 34
api keys:
  None
endpoints:
  POST - https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos
  GET - https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos
  GET - https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos/{id}
  PUT - https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos/{id}
  DELETE - https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos/{id}
functions:
  create: serverless-rest-api-with-dynamodb-dev-create
  list: serverless-rest-api-with-dynamodb-dev-list
  get: serverless-rest-api-with-dynamodb-dev-get
  update: serverless-rest-api-with-dynamodb-dev-update
  delete: serverless-rest-api-with-dynamodb-dev-delete
layers:
  None

部署完畢。

測試一下能否執行

範例裡面，會個別教學怎麼執行測試。我們直接列出執行狀況:

注意，REST 接觸的端口，就是上面部署完後的輸出結果，上面我用紅色標註。

建立 Todo 資料
$curl -X POST https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos --data '{ "text": "Learn Serverless" }'

輸出
{"text": "Learn Serverless", "checked": false, "id": "0828b186-4549-11e9-923d-eaf73cc0b517", "createdAt": 1552451558329, "updatedAt": 1552451558329}

查詢 Todo 資料
$ curl https://0c1qlf7h8a.execute-api.us-east-1.amazonaws.com/dev/todos

輸出
[{"text": "Learn Serverless", "checked": false, "id": "0828b186-4549-11e9-923d-eaf73cc0b517", "createdAt": 1552451558329, "updatedAt": 1552451558329}]

是可以正確執行的。


張貼者： 於 沒有留言:

2019年2月11日 星期一

FMEA

FMEA
失效模式效應分析(Failure Mode Effect Analysis: FMEA)
  • 由美國陸軍在 1949 年開發出來的(Military Procedure MIL-P-1629)
  • 現在 FMEA 分析模式是以國際電工委員會 International Electrotechnical Commission ；IEC)所提出之規格為主
FMEA手法最初是用來
  • 改善產品的可靠性
  • 目前其應用跨越產品的生命週期，從產品規劃到設計、製造、建造以及使用等階段，以提高產品或系統的可靠性
  • 預防性技術，分析方法，為了排除失效，在設計確定之前先尋求可能原因或徵兆，在失效發生前，設法減少發生機率，提高產品可靠性
FMEA的實行方式
  • 是以表單形式來解析，指出故障原因，思考對策來改善系統品質
  • 如：對產品地識別名稱、圖面編號、使用條件、故障對系統的影響度、故障等級、故障發生頻率等，找出故障模式的影響度與發生頻率，將其量化可進行故障效應分析
  • 10 個步驟　https://fmea-training.com/10-steps-process-failure-mode-and-effects-analysis/
    • STEP 1: Review the process. ...
      STEP 2: Brainstorm potential failure modes. ...
      STEP 3: List potential effects of each failure. ...
      STEP 4: Assign Severity rankings. ...
      STEP 5: Assign Occurrence rankings. ...
      STEP 6: Assign Detection rankings. ...
      STEP 7: Calculate the RPN.
PFMEA vs DFMEA
  • Process FMEA's (PFMEA) and Design FMEA's (DFMEA) defined in the AIAG FMEA 4th edition
論文
模板

張貼者： 於 沒有留言:
標籤：

2019年1月31日 星期四

開啟 flask debug mode 



$ export FLASK_ENV=development


$ python flask_main.py












張貼者：



於





沒有留言:
  


































          

        

          

        

2019年1月28日 星期一


          

        









Mirror 










git clone --mirror source_repo

git push --mirror dest_repo



即使 更新也可以這樣使用









張貼者：



於





沒有留言:
  


































          

        

          

        

2019年1月14日 星期一


          

        










OpenShift 介紹












OpenShift 介紹



Openshift 是一個 Redhat 所建的 PaaS 服務，讓使用者可以在 k8s 跟 docker 的基礎上，方便快速建構應用程式。















整體架構如下，包含可以讓使用者程式碼可以被建成 image 的 source-to-image











Openshift Overview (10 mins)











詳細 stack 說明











- Redhat 的 OpenShift 投影片







Openshift Workshop (很多實作)



- 超推薦

https://github.com/RedHatWorkshops/openshiftv3-workshop





- AWS 上實現 openshift

https://aws.amazon.com/tw/quickstart/architecture/openshift/







- AWS 快速開始 openshift



Openshift CI/CD Demo (17mins)



    Sonar : 代碼品質管理

    Nexus : Maven Repo 管理器

    Apache Maven : Java 專案管理與自動構建工具











Openshift Source-to-Image (s2i)











Openshift 產品線(紅帽)

PDF 檔案



紅帽被 IBM 收購後，有風險與質疑。但似乎金融界很多都採用紅帽方案。



認證相關課程

 - Linux Academy 

 - Redhat 










張貼者：



於





沒有留言:
  


































          

        

          

        

2019年1月7日 星期一


          

        









OpenMP :  一個成熟穩定、使用 CPU 多核心的 library










一般單執行緒 (mono-thread) 的 code，多核心處理器是沒有辦法提升處理效能的，但多執行緒（multi-thread）的 code，可以透過多核心的平行計算，來達到加速目的。那要怎麼簡單使用CPU的多核心計算資源呢?  OpenMP 就是一個好答案。



OpenMP 在 1997 年就開始了，一直維護改版至今。算是很穩定與老牌的函式庫了。

https://www.openmp.org/

https://zh.wikipedia.org/wiki/OpenMP





使用方法: (編輯 test.c)


#include     // 引入library

#include 

#include 



int main(int argc, char* argv[]) 

 { 

   #pragma omp parallel    //這一行很重要

   printf("Hello, world.\n"); 

   return 1; 

 }








編譯方法: (編譯 test.c)


gcc -o test -fopenmp test.c








直接執行編譯出來的執行檔即可








解釋




語法



#pragma omp  [clause[[,] clause] ...]  









其中，directive共11個：




    

  • atomic 記憶體位置將會原子更新（Specifies that a memory location that will be updated atomically.）
    • 

  • barrier 執行緒在此等待，直到所有的執行緒都執行到此barrier。用來同步所有執行緒。
    • 

  • critical 其後的程式碼塊為臨界區，任意時刻只能被一個執行緒執行。
    • 

  • flush 所有執行緒對所有共用物件具有相同的記憶體視圖（view of memory）
    • 

  • for 用在for迴圈之前，把for迴圈並列化由多個執行緒執行。迴圈變數只能是整型
    • 

  • master 指定由主執行緒來執行接下來的程式。
    • 

  • ordered 指定在接下來的程式碼塊中，被並列化的 for迴圈將依序執行（sequential loop）
    • 

  • parallel 代表接下來的程式碼塊將被多個執行緒並列各執行一遍。
    • 

  • sections 將接下來的程式碼塊包含將被並列執行的section塊。
    • 

  • single 之後的程式將只會在一個執行緒（未必是主執行緒）中被執行，不會被並列執行。
    • 

  • threadprivate 指定一個變數是執行緒局部儲存（thread local storage）
    • 














共計13個clause：


    

  • copyin 讓threadprivate的變數的值和主執行緒的值相同。
    • 

  • copyprivate 不同執行緒中的變數在所有執行緒中共用。
    • 

  • default Specifies the behavior of unscoped variables in a parallel region.
    • 

  • firstprivate 對於執行緒局部儲存的變數，其初值是進入並列區之前的值。
    • 

  • if 判斷條件，可用來決定是否要並列化。
    • 

  • lastprivate 在一個迴圈並列執行結束後，指定變數的值為迴圈體在順序最後一次執行時取得的值，或者#pragma sections在中，按文字順序最後一個section中執行取得的值。
    • 

  • nowait 忽略barrier的同步等待。
    • 

  • num_threads 設定執行緒數量的數量。預設值為目前電腦硬體支援的最大並行數。一般就是CPU的內核數目。超執行緒被作業系統視為獨立的CPU內核。
    • 

  • ordered 使用於 for，可以在將迴圈並列化的時候，將程式中有標記 directive ordered 的部份依序執行。
    • 

  • private 指定變數為執行緒局部儲存。
    • 

  • reduction Specifies that one or more variables that are private to each thread are the subject of a reduction operation at the end of the parallel region.
    • 

  • schedule 設定for迴圈的並列化方法；有 dynamic、guided、runtime、static 四種方法。
    • 

      

    • schedule(static, chunk_size) 把chunk_size數目的迴圈體的執行，靜態依序指定給各執行緒。
      • 

    • schedule(dynamic, chunk_size) 把迴圈體的執行按照chunk_size（預設值為1）分為若干組（即chunk），每個等待的執行緒獲得目前一組去執行，執行完後重新等待分配新的組。
      • 

    • schedule(guided, chunk_size) 把迴圈體的執行分組，分配給等待執行的執行緒。最初的組中的迴圈體執行數目較大，然後逐漸按指數方式下降到chunk_size。
      • 

    • schedule(runtime) 迴圈的並列化方式不在編譯時靜態確定，而是推遲到程式執行時動態地根據環境變數OMP_SCHEDULE 來決定要使用的方法。
      • 

    

  • shared 指定變數為所有執行緒共用。
    • 



      

    



    



    



    



    



    



    



    



    



    



    



    



      

    



      

    



    












細節可參考 Wiki















張貼者：



於





沒有留言:
  


































          

        

          

        

2018年12月23日 星期日


          

        










route 53 域名 連到 ec2 










EC2 建立就不多說，

1. 選擇基本設定，建立虛擬機。把 IP 從 dashboard 複製下來。

2. 記得 key pair 要把 .pem 檔保存下來。一般來說用 puTTYgen 轉成 .ppk 供 putty 使用。如果有設密碼保護，會在你連線 ec2 時問帳密，若用 Ubuntu，帳號名稱會是 ubuntu，密碼會是 所設的密碼保護。若沒在 key 設密碼保護，就會用 .ppk 直接登入。



去到 route 53 想設定的域名裡面，選擇 create record set









把想要的主機名稱填入右側 NAME

把 IP 填入 Value 即可









張貼者：



於





沒有留言:
  











































申請 AWS SSL 憑證










申請憑證方法很簡單，只要十分鐘以內就完成。



首先，要擁有自己的 domain name，我已經在 AWS route 53 上申請好了。



再來，進到 AWS 的 certificate manager : https://aws.amazon.com/tw/certificate-manager/











選取佈建憑證。(我們沒有要建立自己的私有憑證機制)















申請公有憑證。











把自己的網址打進來，我是使用 *. 作 domain 開頭。











因我們有 route 53 可以自己設定 DNS，所以選擇 DNS 驗證。確認檢閱後，則會出現:











將給出來的 CNAME 名稱，與值都複製下來。







進到 route 53，點入你要設定的域名裡，點選 create recorder set:



















選擇 type 為 CNAME，將剛剛 CNAME 的名稱填入右方 NAME，值填入右方 VALUE。







點選 create 以後，要等個三五分鐘，等待 DNS 資料在網路傳播開來。再回去 certificate manager 看，就會成為 "已發行" 的狀態。 至此成功。


























張貼者：



於





沒有留言:
  


































          

        

          

        

2018年11月15日 星期四


          

        









在 Pytorch Tensor 裡把 RGB 轉為 BGR












非在 影像層次，如果已經在 tensor 層次，要把 RGB 轉為 BGR 也不困難:



# 產生一個亂數 RGB

> t = torch.Tensor(np.arange(12).reshape(4, 3))


# 轉換的排列 RGB --> BGR 

> permute = [2, 1, 0]
> t[:, permute]
tensor([[  2.,   1.,   0.],
        [  5.,   4.,   3.],
        [  8.,   7.,   6.],
        [ 11.,  10.,   9.]])



就可以轉換成功









張貼者：



於





沒有留言:
  


































          

        

          

        

2018年11月12日 星期一


          

        









GPU 測量好物












Techpowerup



https://www.techpowerup.com/download/techpowerup-gpu-z/









張貼者：



於





沒有留言:
  


































          

        

          

        

2018年10月31日 星期三


          

        









PM專欄 1: 軟體週期與系統週期 ?!










System Development Life Cycle (SDLC) vs Software Development Life Cycle



SDLC vs SDLC?!



這是甚麼東西? 軟體開發生命週期(Software Development Life Cycle) 跟系統開發生命週期(System Development Life Cycle) 是不同的涵蓋面。



軟體開發流程包含了軟體工程所熟悉的: 需求分析、軟體設計、軟體實作、測試、部署、後續維護等等。但是系統開發生命週期就包含更多應該考量的因素，例如: 人的管理、流程管理、硬體相關設施與架構、人員訓練、組織佈達等等層面。



有此一說，當然也有人混用這些定義，不過這個也給我們比較宏觀另一面向的思考。









張貼者：



於





沒有留言:
  


































          

        

          

        

2018年10月11日 星期四


          

        









Pytorch 實作 word embedding : 運用 nn.Embedding()














Pytorch 產生 word embedding : 運用 nn.Embedding()





用法





torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sparse=False, _weight=None)











num_embeddings (int) : embeddings 字典裡面有多少個詞



embedding_dim (int) : 產生的 embedding vector 要有多少維度?  --> 這個要自己決定



其他細節參數看這裡













範例




import torch

import torch.nn as nn 

from torch.autograd import Variable 



# embedding 字典

word_dict = {'hello': 0, 'paul': 1, 'chao': 2} #三個詞，三個相對 tensors 數值



embeds = nn.Embedding(3, 10) #三個詞(tensors數值)，設十維



#從 dictionary 產生 tensor 數值

paul_idx = torch.LongTensor([word_dict['paul']]) 

print(paul_idx) 



#產生變數

paul_idx = Variable(paul_idx) 

print(paul_idx) 



#進行 embedding

paul_embed = embeds(paul_idx) 

print(paul_embed)











結果







tensor([2])




tensor([2])



tensor([[ 1.3302,  0.4645,  0.5615, -0.0327,  1.5131, -1.9684, -0.8720, -0.5227, 1.2371,  0.6098]], grad_fn=)





最後便產生了一個十維的 word embedding 可供運用




















張貼者：



於





沒有留言:
  


































        

      









訂閱：
文章 (Atom)