konodas

Tattoos are associated with criminals, particularly the yakuza, afaik.

Wenn die ihn offensichtlich anders behandeln würden könnte er sich als Opfer hinstellen.

Which premise? Could you elaborate?

I would argue that we also know how brains work on a physical/chemical level, but that does not mean that we understand how they work on a system level. Just like we know how NNs work on a mathematical level, but not on a system level.

When someone claims that some object does not have a certain property, I would expect them to define what the necessary conditions for this property are, and then show that these conditions are not satisfied by the object.

As far as I know, the current consensus hypothesis is that sentience/consciousness emerges from certain patterns of information processing. So, one would have to show that the necessary kind of information processing is not happening in some object. One can argue that dead brains are not conscious, as there is not information processing going on at all. However, as it is unknown what kind of information processing is necessary for consciousness to arise, you can currently not exactly define the necessary conditions (beyond "there has to be some information processing"), and therefore not show that NNs do not fulfill these conditions. So, I think it is difficult to be "certain".

He did not claim that shorting caused the 08 crash, or am i missing something?

According to "the big short", the reason was that banks gave loans to people who could not really afford them in case of an unexpected drop in the housingmarket (mortage backed, as you say), bundled the loans into packages, went to rating agencies who gave best ratings for the packages, sold them to other institutions and then shorted them when they noticed that the market unexpectedly dropped, knowing people would not be able to pay back the loans in the packages. Which was completely reasonable, just somewhat unethical.

So, i think you could say it was an error of the rating agencies, as they underestimated the risk of a drop in the housing market when giving out the rating.

I enjoyed it. Linear algebra and optimization are treated much more in depth compared to MML. IIRC he then goes to linear regression and derives most other models from there, which is an interesting perspective.

Ich denke dass man nicht sagen kann das systeme mit einer starken oder gar nur einer partei zwangsläufig rechts sind. Gegenbeispiele wären die KPCh, das sovjetische russland, oder eben die DDR.

Oder etwas pointiert: Wenn ich mir eine starke komminustische partei wünsche die die interessen der bevölkerung gegen den kapitalismus durchsetzen kann, bin ich dann rechts?

Ich würde sogar behaupten dass viele, die so antworten, sich nicht einmal als mitte, sondern als links sehen.

What we know for certain is that Bing, ChatGPT, and other language models are not sentient

I wonder how we can "certainly" know that.

I second that. Being able to test medium sized models locally can make debugging much easier.

I have a 3070 with 8GB VRAM, which can train e.g. a GPT2 with a batch-size of 1 with full precision.

Pattern Recognition and Machine Learning from Bishop is really good, imho. Its relatively math-heavy, so depending on your skill, reading Mathmatics for ML or Linear algebra and optimization for ML by c. aggarwal might be a good idea.

Ja, das stimmt wohl.

Das ist denke ich so nicht ganz richtig.

In den 50ern standen such-basierte ansätze im vordergrund die automatisiert Spiele wie Schach spielen, mathematische Theoreme beweisen, oder allgemein logische schlüsse ziehen konnten. Mein taschenrechner kann das nicht. (Neuronale netze gab es auch schon, wenn auch nicht ganz in der heutigen form.)

Als sich das als zu unflexibel für reale anwendungsfälle erwies wurde im bereich probabilistische systeme gearbeitet, welche mit unsicherheit umgehen konnten. Aber auch hier kannte man die regeln nach denen das system arbeitet noch.

In den 90ern, als es durch mehr EDV auch größere datensätze gab, haben sich in eineigen anwendungsfällen machine learning systeme durchgesetzt, welche die regeln anhand von daten selbst lernen.

Seit den 10ern hat sich gezeigt, dass sich machine learning ansätze, insbesondere neuronale netze, mit mehr daten und rechenleistung scheinbar beliebig skallieren lassen. Und das ist im wesentlichen das, was seit 11 jahren passiert.

LLM sind nur skalierte machine learning modelle für sprache. Die grundlagen kommen aber aus den 50/60ern.