Category Archives: Paper

(paper comment) Concrete Problems in AI Safety

I can only think of this paper as great. It explains the current unsolved problems of AI, and by looking at it, I thought about how God made humans. And people usually think that robots have no emotions, but I thought that it can be made! Looking at the paper, it overlaps with the memories that trained my dog’s bowel training, and I thought that it may be related to not only the education of artificial life(or intelligence) but also the interaction (or education) of living and human beings in the natural ecosystem.

This is the first paper that leads me have various ideas and imagination when I read it. It’s so fun and I really think humanity needs to control this topic. Likewise a man is not uncontrollable if it is not educated in his childhood, I thought that an artificial intelligence could be similarly if it is not educated.

In fact, I don’t know if humans can control this finely. In that sense, I feel fears in this situation. I thought that the situation in the scene of Matrix can be one of our possible futures.

This paper is really fun. There are a lot of references to related studies, which can help you keep track of them.

이 논문은 정말 대단하다고 밖에 생각할 수 없다. 인공지능의 현재 해결되지 않은 문제들을 설명해 주고 있는데, 그것을 보면서 하나님이 인간을 어떻게 만드셨을까를 생각해 보게 되었고, 보통은 로봇이 감정이 없다고 생각하는데 마치 이 논문을 보면서 감정이라는 것이 만들어질 수도 있겠구나! 라고 생각했다. 논문을 보면서 우리집의 강아지의 배변훈련을 시켰던 기억들과 오버랩되면서 이게 인공 생명체에 대한 교육 뿐만 아니라 현재 자연 생태계에 있는 생명체와 인간과의 상호작용(혹은 교육이라고도 볼 수 있는)과도 연관이 있을 수 있겠다고 생각했다.

논문을 보면서 이렇게 오만가지 잡생각과 상상을 하면서 본 논문은 처음이다. 그만큼 재미 있고 이 주제를 정말 인류가 제어를 해야 할 필요가 있겠다는 생각이 들었다. 왜냐면 사람도 어렸을때 제대로 교육을 받지 못하게 되면 제어가 불가능하고 말썽을 부리는 사람이 되듯이 인공 생명체도 그리 될 수도 있겠다는 생각이 들었다.

사실 인류가 인공 지능을 그만큼 이것을 세세하게 제어를 할 수 있을지에 대해서는 잘 모르겠다. 그런 측면에서는 두려움도 생기게 되었다. 매트릭스 영화에서 나온 장면의 상황은 우리의 가능한 미래들 중에 하나일 수도 있겠다는 생각이 들었다.

이 논문 진짜 재미있다. 관련 연구를 레퍼런스 한것도 엄청 많이 해 놓아서 연구들을 추적하는데도 도움이 많이 된다.

(paper comment) Writing Good Technical Safety Requirements

It seems that a few people know how to specify safety requirements. The reason that I was surprised in the FuSa project was that many engineers don’t understand what our safety requirement shall be.

if you have a trouble with writing safety requirements, then this paper will give you a benefit how to start.

It is not enough though, but it is useful. Example in this paper helps you to understand better. but it is somewhat simplified, so it looks less practical.


Specification of Safety Requirements

Functional safety project without safety requirement

(paper comment) Bridging software and hardware FMEA in complex systems

This paper address FMEA that should cover boundary between SW scope and HW scope. Considering FMEA in the SW application level of the layered architecture), it seems to be quite different.

It depends on scale of system’s size, but it covers method how to work together with system engineer, Low level SW engineer, and EE engineer.

Scope of SW level in the paper is not application level, but firmware level.

Someone may think that device drivers are outsourced from vendors, so it does not related to them. Even though it may be true, it can be related to FMEDA based on EE schematics in supplier side, and it is common problem of confusing about scope when engineers perform safety analysis. As a result it is worth reading it.

It published in 2013, and is still useful.


소프트웨어와 하드웨어의 경계상에 있는 지점에 대한 FMEA를 수행하려고 할 때 고려해야 할 점이다.

순수하게 application level에서 보면(layered architecture상에서 봤을때), 굉장히 거리감이 있다고 볼 수 있다.

시스템의 규모에 따라 다를 수 있을 것으로 보이는데, 이 내용은 시스템, low level SW, EE엔지니어가 co-work를 하기 위한 방법이라고 볼 수 있다.

소프트웨어의 어플리케이션 레벨은 아니고 firmware 레벨이라고 볼 수 있다.

어떻게 생각하면, 디바이스 드라이버의 경우는 공급을 받는 쪽에 가깝기 때문에 아마도 이런 수준까지 고려하지 않고 외주를 받아서 처리하는 방식으로 간주할 수 있을지도 모른다.

그럼에도 불구하고 EE레벨의 회로도를 기반으로 FMEDA와 맞닿는 부분이 있을 수 있기 때문에, 또한 실무적으로 안전 분석을 하게 될때 흔하게 발생하는 문제인 scope과 관련된 혼동이 있기 때문에, 이 논문은 그런 점에서 읽을만한 가치가 있다.

논문은 2013년 논문인데, 현재도 여전히 유용한 것 같다.